メインコンテンツへジャンプ

現代の製造業者にとって、効率化され自動化されたワークフローは、手動データ管理や設備のダウンタイムなどの課題を克服するために不可欠です。自動化されたワークフローを活用し、予測保守を可能にすることで、製造業者は非効率性と廃棄物を減らすリアルタイムの生産洞察を得ることができます。データのサイロ化の排除と分析のスケーリング能力は、より良い意思決定を可能にし、増大する運用データの量をサポートします。データ駆動の風景では、自動化されたワークフローはビジネス成功のために不可欠となり、データ実践者が反応的な問題解決から積極的なイノベーションへとシフトすることを可能にします。

Databricks Workflowsは、データ、分析、AIの統一されたオーケストレーションツールで、ETL、分析、機械学習パイプラインの自動化ワークフローを簡単に定義、管理、監視することで、データチームの増大する要求に対応するのに役立ちます。データインテリジェンスプラットフォームと完全に統合されたWorkflowsは、シンプルなワークフロー定義体験、高度な観測可能性、そして高い信頼性を提供します。Workflowsは、ノートブック、JARファイル、Pythonスクリプト、Databricks SQLクエリとダッシュボード、Delta Live Tablesパイプライン、dbtタスクなど、幅広いタスクタイプを提供します。ワークフローには、最近の進歩からの機能が含まれています。これには、データトリガー型テーブルファイル到着の自動化からAIによるcron構文生成、サーバーレスコンピューティングまでが含まれます。

このブログでは、Databricks WorkflowsがCorning、Volvo、Cox Automotiveといった製造業のリーダーたちにどのように役立ち、データパイプラインの簡素化、リアルタイムの洞察の改善、メンテナンスのオーバーヘッドの削減を実現したかをレビューします。Workflowsを使用することで、これらのデータチームは革新に焦点を当てることができました。結果として、在庫の可視性の向上、運用効率の向上、そしてより良い顧客体験が向上し、Databricks Workflowsが製造業にどのように利益をもたらすかを示しています。

Databricks Workflowsを使用して、これらの企業は工場の床にあるIoTデバイスから予測保守モデルへのデータの流れを自動化し、ピンポイントの精度でスケジュールとアラートを生成し、運用からの大量のデータを処理するための分析ワークロードをスケールアップすることができました。その結果、彼らは出力に意味のある変化をもたらしました - 最適化された生産スケジュールの提供、事故が発生する前の設備の故障の予測、供給チェーンのリアルタイムビューを持つことで、製品が時間通りに到着するように積極的に管理することができました。いくつかの製造業の成功事例について詳しく見てみましょう。

 

コーニング

CorningのエンドツーエンドのデータオーケストレーションはDatabricks Workflowsを活用して運用効率を向上させます

Corningは、Databricks Workflowsを用いてデータ管理プロセスを真に革新しました。Corningは材料科学の革新者であり、データを活用して革新と特許を推進しています。Corningのエンジニアは以前はApache Airflowをデータオーケストレーションツールとして使用していましたが、完全にDatabricks Workflowsに移行しました。この移行により、Corningは約2,500のジョブ(約5ペタバイトのデータ)を管理し、900人のアクティブなグローバルユーザーをサポートすることが可能になりました。プラットフォームの自動化機能はデータのキュレーションを効率化し、サイロを壊し、データエンジニアと科学者が大量のデータをスケールで処理しながら、繰り返し可能で再利用可能なワークフローを確立することを可能にしました。これらの進歩は、運用効率を向上させ、革新に不可欠な迅速な洞察を提供しました。

「Databricks Workflowsは、私たちが自分たちのスケジュールで、全体のパイプラインオーケストレーションを繰り返し実行し、Data Intelligence Platformを通じてエンドツーエンドのデータフローを実現する上で重要な役割を果たしています。」
— Jibreal Hamenoo、主任システムエンジニア、データエンジニアリング、Corning Incorporated

Databricks Workflowsを使用して、Corningはリソースの使用状況を評価し、最適化の機会を迅速に特定することで、監視とコスト管理を改善しました。強化された観測性により、データチームは潜在的な問題に積極的に対処し、全体のワークフローを再起動することなくタスクの一部を修復することができました。その結果、Corningは市場の変化に迅速に対応し、サプライチェーンの信頼性を向上させ、顧客体験を高めるという、大幅なアジリティの向上を達成しました。

 

Volvo

Volvoのサプライチェーンの改革:Databricks Workflowsによるリアルタイムの在庫管理

Volvo Groupは、Azure Data Factory (ADF)からDatabricks Workflowsに切り替えることで、その運用を大幅に最適化しました。この変更により、サプライヤーからトラックディーラーまでの大規模なグローバル供給チェーンの在庫管理が効率化されます。毎年約200,000台の新しいVolvoトラックが販売され、さらに数百万台が道路を走行しており、世界中の倉庫には何十万ものスペアパーツが広がっています。リアルタイムデータ処理により、Volvoは不足が発生するのを待つのではなく、在庫レベルを継続的に監視することができます。グローバルなサプライチェーンビジネスでは、毎分が勝負であり、データがすぐに古くなることは避けたいと考えています。この積極的で統一されたソリューションにより、データエンジニアは在庫の必要量をより正確に予測し、部品の最適な利用可能性を確保しながら、過剰な在庫を最小限に抑えることができます。

“Workflowsは私たちにとって素晴らしいオーケストレーターでした。データベースAPIを使用してすべてのデータをクエリし、ジョブが失敗しているかどうか、平均してどれくらいの時間がかかっているか、そのジョブの平均以上に時間がかかっているかどうかを確認するための監視レポートを作成することができます。”
— Bruno Magri、シニアデータエンジニア、Volvo Group Service Market Logistics

VolvoはDatabricks WorkflowsとDelta Live Tables (DLT)を統合することで、グローバルなサプライチェーンの運用を効率化しました。自動化されたワークフローにより、Volvoのサプライチェーンチームは在庫の必要量をより正確に予測し、最適な部品の利用可能性を確保し、過剰な在庫を最小限に抑えることができました。DLTとワークフローの組み合わせは、大量のデータを処理する効率を最大40%向上させるだけでなく、Volvoが顧客の要求に迅速に適応し、よりスマートな物流を推進し、全体的なサプライチェーンのパフォーマンスを大幅に向上させることを可能にしました。

 

Cox Automotive

Cox AutomotiveはDatabricks Workflowsを活用してデータ効率と敏捷性を向上させています。

Cox AutomotiveはDatabricks Workflowsを活用してデータ運用を変革し、自動化されたワークフローを用いて大規模なデータをボトルネックなく管理しています。

Cox Automotive Europeは、世界最大の自動車サービス組織であるCox Automotiveの一部で、世界が車を購入、販売、所有、使用する方法を変革するというミッションを持っています。エンタープライズデータサービスチームは、主にビジネスユニット全体の内部顧客にサービスを提供するデータプラットフォームを維持していますが、彼らはまた第三者へのいくつかのデータフィードも維持しています。チームは、複数の内部ソースとビジネスユニットからデータを収集します。

「Databricks Workflows をデフォルトのオーケストレーションツールとして使用して ETL を実行し、約 300 件のジョブの自動化を実現しています。そのうちの約 120 件は、定期的に実行されるようにスケジュールされています。」Cox Automotive 社 エンタープライズデータサービス部門 リードデータエンジニア Robert Hamlet 氏

今日では大量のデータがプロダクションパイプラインで処理され、スケジュールされたジョブは会社内外のさまざまなエリアからデータを引き出します。HamletはDatabricks Workflowsを使用してデータをデータサイエンスチーム、Tableauを通じて社内のデータレポーティングチーム、または直接Power BIに提供します。Workflowsは、すべてのワークフローの実行とすべての失敗通知の観察可能性を提供し、彼らが問題を迅速に先取りし、データサイエンスチームが影響を受ける前にトラブルシューティングを行うことができます。

Databricks Workflowsは、ETLタスクの自動化とパイプライン全体の高度な観測性を提供することで、Cox Automotiveのデータ運用を簡素化します。この統合により、データエンジニアはスムーズなデータフローを確保し、問題を迅速に検出し、パフォーマンスを最適化することができます。Workflowsが分析ツールへのリアルタイムデータ配信をオーケストレーションすることで、Coxはより迅速なデータ駆動型の意思決定を行い、運用を効率化し、市場変動への対応力を向上させることができ、効率性と敏捷性を向上させています。

まとめ

これらの成功事例は、Corning、Volvo、Cox Automotiveといったグローバルな製造業のリーダーたちがDatabricks Workflowsを使用することで得られる測定可能な影響を示しています。統一されたオーケストレーションサービスを使用することで、これらの製造業のリーダーたちは、運用効率を向上させるだけでなく、リアルタイムで行動可能な洞察を提供するためのイノベーションを加速させました。供給チェーンの効率化、在庫の準備状況の確保、大規模なワークフローの自動化など、Databricks Workflowsは組織がより敏捷で効率的でデータ駆動型になることを可能にしています。

Databricks Workflowsを使い始めるには?

Databricks Workflowsは、Data Intelligence Platform上のデータとAIのためのシンプルで信頼性の高いオーケストレーションソリューションを提供します。Workflowsを使用すると、ETLパイプラインの実装、MLトレーニングワークフローなど、統一されたワークフローオーケストレーションを持つことができます。また、Workflowsは強化された制御フロー機能を提供し、さまざまなタスクタイプとトリガーオプションをサポートします。

Databricks 無料トライアル

関連記事

Databricksワークフローの最新アップデート

Databricksワークフロー はDatabricksデータインテリジェンスプラットフォームの土台であり、世界中の数千の組織の重要なデータとAIのワークロードを動かす オーケストレーションエンジン として機能します。これを認識して、Databricksは現代のデータエンジニアリングとAIプロジェクトの進化するニーズを満たすために、ワークフローの進化に投資を続けています。 この夏、私たちはこれまでで最大の Data + AI Summit を開催し、Databricksワークフローにいくつかの画期的な機能と強化を発表しました。Data + AI Summitで発表された最近のアップデートには、新たなデータ駆動型トリガー、AI支援のワークフロー作成、強化されたSQL統合などが含まれており、これらはすべて信頼性、スケーラビリティ、使いやすさの向上を目指しています。また、自動管理のためのIaC(インフラストラクチャ・アズ・コード)ツールであるPyDABsやTerraform、そしてワークフローのサーバーレスコンピューテ

ノートブック、ワークフロー、Delta Live Tables 用のサーバーレス コンピューティングの一般提供開始のお知らせ

Translation Reviewed by Hiroyuki Nakazato ノートブック、ジョブ、Delta Live Tables(DLT)のサーバーレスコンピューティングが AWS および Azure で一般提供開始となりましたので、お知らせいたします。お客様は Databricks SQL および Databricks モデル サービング 用の高速でシンプル、かつ信頼性の高いサーバーレス コンピューティングをすでに利用しています。 同じ機能が、Apache Spark や...

Databricks LakeFlowの登場: データエンジニアリングのための統一されたインテリジェントソリューション

Translation Review by saki.kitaoka 本日、私たちはDatabricks LakeFlowを発表します。これは、プロダクションデータパイプラインを構築および運用するために必要なすべてを含む新しいソリューションです。MySQL、Postgres、SQL Server、Oracleなどのデータベースや、Salesforce、Microsoft Dynamics、NetSuite、Workday、ServiceNow、Google Analyticsなどの企業アプリケーション向けの新しいネイティブで高スケーラビリティのコネクタが含まれています。ユーザーは標準SQLおよびPythonを使用して、バッチおよびストリーミングでデータを変換できます。 さらに、Apache Spark向けのリアルタイムモードを発表し、従来のマイクロバッチよりもはるかに高速なレイテンシでストリーム処理が可能になります。最後に、CI/CDを使用してワークフローをオーケストレーションおよびモニタリングし、本番環境にデプ

Databricksワークフローで反復的なタスクを合理化

Databricksワークフローのタスクループ化に For Each を使用したループが一般に利用可能になったことをお知らせします!この新しいタスクタイプは、ランタイムで定義された動的なパラメーターセットをループすることにより、反復的なタスクを自動化することがこれまで以上に簡単になります。これは、 Databricksワークフロー の 強化された制御フロー機能 への我々の継続的な投資の一部です。 For Each を使用すると、ワークフローの効率とスケーラビリティを向上させ、複雑なロジックではなく洞察に集中する時間を確保できます。 ループ処理は繰り返しタスクの処理を劇的に改善します 複雑なワークフローの管理は、しばしば複数のデータセットの処理や複数の操作の実行を必要とする反復的なタスクを扱うことを含みます。ループのサポートがないデータオーケストレーションツールは、いくつかの課題を提示します。 複雑なロジックの簡略化 以前は、ユーザーは反復的なタスクを管理するために手動で、保守が難しいロジックに頼ることが多かったで
業界一覧へ