AI の活用によるコネクテッドカーの実現

wejo 社は、卓越したサービスを顧客に提供するために、5000 万台におよぶコネクテッドカーのストリーミングデータを取り込み、3 秒毎に OEM や衛星ナビゲーションシステムからのデータを処理しています。これらのデータは、新しいイノベーションの洞察をもたらし、渋滞解消や交通流の円滑化、交通事故の削減、安全確保、緊急サービスの改善、駐車場の最適化などの実現に役立てられます。しかし、分散した数多くのソースからさまざまなデータストリームが取り込まれるため、データサイエンスを駆使してもデータから気づきを得ることは非常に困難で、リソースも大量に必要となります。また、wejo 社では、既存システムの環境に次のような課題を抱えていました。

• 膨大なデータボリューム：1 か月当たり 3 兆を超えるデータポイントを処理しており、その全てが自動車から市場までのストリーミング環境で 40 秒以内に処理される。このためには大規模な低遅延環境が必要。

• スケールの限界：同社の膨大な量のデータを取り込むには、サイズが固定され、利用できるライブラリも限られている Mapreduce クラスタでは不十分。適切な Python モジュールがインストールされるまで何日もかかり、イノベーションを阻害していた。

• 低性能：長時間にわたるジョブの処理に数時間、場合によっては数日かかっていた。

wejo 社は、Databricks の統合データ分析プラットフォームによってスケーラブルな共同作業環境を構築しました。データサイエンス部門とデータエンジニアリング部門のコラボレーションが促進され、データを活用したイノベーションを加速、機械学習を利用したイノベーションを自動車業界にもたらしました。

• クラウド上のマネージド型プラットフォームにより、あらゆるサイズのコンピューティングクラスタのプロビジョニングを簡素化。

• 複数の言語（SQL、Scala、Python、R）をサポートし、データエンジニア、データサイエンティスト、アナリスト間のコラボレーションを向上。

• Delta Lake のネイティブサポートにより、データエンジニアリングチームは、同じデータでバッチパイプラインとストリーミングパイプラインの両方を確実に実行およびスケーリングできます。

wejo 社は、Databricks の導入によって、大規模なデータ処理や機械学習をより高速かつ低コストで行えるようになりました。しかし、同社にとって最も重要なことは、各部門や組織全体で成果を簡単に共有できるようになったことです。これにより、誰もが市場にイノベーションをもたらすことが可能になりました。

• 運用効率の向上：クラスタの自動スケーリングなどの機能によってデータエンジニアリング業務が改善、ダウンストリーム分析のためのパイプラインが数週間から数分に短縮。

• 部門間の連携：複数の言語に対応した共有ノートブック環境により、各部門の生産性が向上。

• 迅速な洞察抽出：Databricks 上で Spark を利用することで 20 倍以上の性能向上を達成、市場投入までの時間を 90% 短縮。