メインコンテンツへジャンプ

DatabricksとAzure DevOpsでスケーラブルなAIをエッジにもたらす

Andres Urrutia
ハワード・ウー
Nicole Lu
Bala Amavasai

September 13, 2023 in 業界

Share this post

翻訳:Junichi Maruyama.  -  Original Blog Link

製造業における機械学習とAIの機会は、計り知れません消費者の需要と生産のより良い整合性から、工程管理、歩留まり予測、欠陥検出の改善まで、予知保全出荷最適化もっともっと、ML/AIはメーカーがビジネスを運営する方法を変革する用意があり、これらのテクノロジーはインダストリー4.0構想における主要な注力分野となっている

しかし、この可能性を実現することに課題がないわけではありません。機械学習と AI に関して、的外れになる方法はたくさんありますが、その 1 つは、モデルを運用プロセスにどのように統合するかを予測していないことです

ショップフロアの予測にはエッジデバイスが不可欠

製造業では、ML/AIを即座に活用する機会の多くは、現場やその周辺にある。機械、計測器、デバイス、センサーから送信された信号はモデルに送られ、モデルによってこの情報が予測に変換され、オペレーションを管理したり、アラートのトリガーになったりする。これらのモデルがこれらの活動を制御できるかどうかは、現場のデバイスとモデル間の信頼性が高く、安全で、低レイテンシーの接続性に依存する。

しかし、大規模ネットワークは、モデルのトレーニングに必要な量のデータを収集するために必要なものだ。モデルのトレーニング中、アルゴリズムは、データ内の関連パターンに焦点を当てるために、これらの実デバイスまたはシミュレートされたデバイスから収集された様々な値を繰り返し導入される。これは計算集約的で時間のかかるプロセスであり、クラウドで管理するのが最適だ。

トレーニングにはこのようなリソースへのアクセスが必要だが、結果として得られるモデルは驚くほど軽量になることが多い。テラバイトのデータから学習された情報は、学習済みモデル内ではメガバイトやキロバイトのメタデータに凝縮されることもある。つまり、クラウドで学習された典型的なモデルは、非常に小さな計算デバイスのサポートで、高速かつ正確な予測を生成することができるのだ。これにより、軽量なデバイスでモデルを現場やその近くに展開する機会が生まれる。このようなエッジ展開により、統合シナリオをサポートするための大規模で高速なネットワークへの依存を減らすことができます(図1)

Figure 1. Relationship between cloud and edge device for model training and edge deployment
Figure 1. モデルのトレーニングとエッジ展開におけるクラウドとエッジデバイスの関係

DatabricksとAzure DevOpsがエッジデバイスの導入を可能にする

すべてのパーツを組み合わせるには、クラウドにプッシュされた最初のデータ収集と、モデルをトレーニングするためのプラットフォームが必要です。統合されたクラウドベースのアナリティクス・データ・プラットフォームとして、Databricksは幅広いML/AIモデルを高速かつスケーラブルにトレーニングできる環境を提供する。

次に、訓練されたモデルをコンテナ・イメージにデプロイする必要がある。このコンテナは、モデルとそのすべての依存関係をホストするだけでなく、多種多様な外部アプリケーションからアクセス可能な方法でモデルを提示する必要がある。今日、REST APIは、そのような方法でアプリケーションを表示するためのゴールド・スタンダードである。堅牢な REST API を定義するのは少し大変ですが、Databricks は MLflow モデル管理およびデプロイメント・プラットフォームを統合することで、1 行のコードでこれを実現することができます。

コンテナが定義されたら、今度はそれをエッジデバイスにデプロイする必要がある。一般的なデバイスは、64ビットプロセッサ、数ギガバイトのRAM、WiFiまたはイーサネット接続を提供し、コンテナイメージを実行できるLinuxなどの軽量オペレーティングシステムを実行する。さまざまなデバイスへのコンテナのデプロイメントを管理するために構築されたAzure DevOpsなどのツールを使用して、クラウドからデバイスにモデルコンテナをプッシュし、その上でローカルの予測サービスを起動することができます。

モデル・トレーニング、パッケージング、エッジ・デプロイメントのこのプロセスをお客様が検討できるよう、Databricksからエッジまでの各ステップを詳細に文書化した構築済みリソースを備えたソリューション・アクセラレータを構築しました。これらのアセットがエッジ展開プロセスを解明する一助となり、企業が展開プロセスの仕組みではなく、予測能力によっていかに現場のオペレーションを改善できるかに集中できるようになることを期待しています。

Databricks 無料トライアル

関連記事

グレート・アンロック: 製造業における大規模言語モデル

May 30, 2023 Sam Steinyシヴ・トリサル による投稿 in 業界
Original: The Great Unlock: Large Language Models in Manufacturing 翻訳: junichi.maruyama 製造業は、自動化を進め、オペレーションを可視化し、製品・技術開発を加速させるための新しい方法を常に模索しています。そのため、企業は常に深い技術的進歩の最前線にいることが求められます。製造業で最近見られる技術的進歩のひとつに、Generative AI、特にLarge Language Models(LLM)の利用があります。Generative AIは、既存のデータから認識したパターンに基づいて新しいユニークなデータを作成することができますが、LLMはさらに一歩進んで、複雑な情報を理解・整理し、人間のような対話を生成する能力を備えています。 製造業では、接続された車両、工場、建物、作業員によって生成される大量の複雑な非構造化データ(センサー、画像、ビデオ、テレメトリ、LiDARなど)が発生しますが、その多くは、データをリアルタイムでストリー

製造業向けレイクハウス

April 4, 2023 シヴ・トリサルSam SteinyBala Amavasai による投稿 in 業界
Original Blog : The Lakehouse for Manufacturing 翻訳: junichi.maruyama あらゆる業界が、生成的AI、データ共有、生産性、予測分析といったトピックについてどう考えるかが問われています。しかし、これは製造業において特に何を意味するのでしょうか?なぜこのようなシフトが重要なのでしょうか?なぜ、未来がそれに左右されるのでしょうか? 製造業は、次のSKU、機械、自動車、飛行機といった主要な生産単位を効率的に提供するだけでなく、より高い成長性、より安定した収益源、外部ショックに対するより高い回復力といった、より高い拡張性を示すテクノロジー対応のビジネスを提供することに常に焦点を当て、ビジネスを再構築しています。 この業界は膨大な量のデータ(小売、メディア、金融サービスなどの業界の2~4倍)を生成し、このデータは今後5年間で200~500%と推定される指数関数的な速度で成長しています。この膨大なデータの増加は、コネクテッドワーカー、ビル、車両、工場から発せられる
業界一覧へ