データと AI による長距離トラックの安全性の確保

人為的ミスによる車両事故を削減するための課題

米国運輸省によると、車両事故の約94％は人為的なミスに起因するとされています。この課題に取り組むにあたり、Embark社はまずトラックの周囲を撮影することから始めました。その結果、膨大な量のHiDEFビデオ、LiDAR、RADARデータが記録され、モデルをトレーニングします。しかしながら、この膨大な量の高密度データを抱えたことで、技術的な課題に直面することになりました。Embark社は最初、社内のマシンやノートPCを使用してデータにアクセスし、クエリと分析を実行していましたが、膨大なデータ量が原因で、一度に分析できるのは、わずか30秒分のデータのみでした。そのため、37000時間分もある記録データの分析は不可能な状況でした。

データへのアクセスが限られていることに加え、共同作業にも問題がありました。チームは複数のノートPCを個別に使用していたため、必要なデータを1つの場所に保存することができず、データを社内外に移動する時間とコストがかかりました。また、小さな障害や変更でも、解決するまでに膨大なエンジニアリング時間と、数日間のマシン時間を費やさなければいけませんでした。「以前は、一度に30秒分のデータしか表示できず、十分な情報に基づいた意思決定を行うことが本当に困難でした」（Embark社 開発プラットフォーム部門 ソフトウェアエンジニア主任　ジェイソン・スネル氏）

データと機械学習／AIの活用による完全自動運転の実現

Databricksを導入したことで、Embark社は、これまで抱えていた課題を解決しました。データ分析への統合アプローチは、データの取り組みとETLの管理を容易にし、分散型プラットフォームは、データの要件に対応するスケーリングを可能にしました。さらにEmbark社は、メモリが限られた個々のPCから、大規模なクラウド環境へのデータ移行を実施し、クラスタをシンプルにしました。これにより、データサイエンティストは、インフラ管理ではなく、データに注力できるようになりました。

部門間のコラボレーションも、インタラクティブなNotebookを使用することで改善されました。チーム内で作成されたコードと結果を1か所で可視化できるようになり、データエンジニア、製品管理、データサイエンティストなどさまざまな部門との共有を容易にし、共同作業が可能になりました。

「Databricksのおかげで、35,000時間以上に及ぶトラックの記録データに取り組むことができました。我々のエンジニアは、あらゆる解析度とサイズのデータにいつでもアクセスできます。」（ジェイソン・スネル氏）

分析面では、Embark社のデータアナリストは Tableau を介して Databricks を活用したダッシュボードを生成し、ソフトウェアとモーションセンサーのパフォーマンスの理解度を高めています。

Databricksを使用したデータとAIで新たな業界誕生を加速

Embark社はDatabricksを導入したことで、データ処理やモデルトレーニングに必要な大規模なスケーリングを行い、これまで以上に安全性を意識した開発を実現しました。たとえば、Embark社は新しいモデルを道路走行させる前に、そのパフォーマンスをオフラインで測定し、安全基準を満たしていることを確認していますが、Databricks導入以前は、変更のたびに数日を要していました。Databricks導入後は、このオフライン分析がわずか数分間にスケーリングされ、高速かつ安全な反復処理が可能になりました。

「自動運転のトラック開発は、これまで一度も行われていません。Databricksのおかげで、膨大な創造性、問題解決力、直感力を求めらるこの事業を達成できました。」（ジェイソン・スネル氏）