メインコンテンツへジャンプ

ワークフロー

レイクハウスのデータ、分析、AI のための統合オーケストレーション

Workflows

Databricks Workflows は、Databricks プラットフォームと完全に統合されたマネージドオーケストレーションサービスです。ETL、分析、機械学習パイプラインのマルチタスクワークフローの定義や管理、監視を容易にします。また、多様なタスクをサポートしており、高度なオブザーバビリティ(可観測性)と高い信頼性を備えています。Databricks Workflows を利用することで、あらゆるパイプラインの自動化とオーケストレーションが促進され、データチームの生産効率が向上します。

yipit

「もし、2018 年の時点で、Databricks Workflows が利用可能であったなら、カスタムAirflow セットアップを構築することは考えなかったでしょう。Workflows を使うだけです。」

YipitData 社 エンジニアリングマネージャー Hillevi Crognale 氏
詳しく見る

graphic 6

シンプルなオーサリング

データエンジニア、データアナリスト、データサイエンティストのいずれであっても、わずか数クリックで容易にワークフローを定義したり、任意の IDE を使用することができます。

graphic

実用的なインサイト

ワークフローで実行されている各タスクを完全に可視化し、トラブルシューティングが必要な問題については直ちに通知されます。

Icon Graphic

高い信頼性

完全に管理されたオーケストレーションサービスにより、プロダクションワークフローが稼働しているという安心感を得ることができます。稼働率 99.95% の Databricks Workflows は、何千もの組織から信頼されています。

仕組み

workflows marketecture

Databricksデータインテリジェンスプラットフォームとの統合

生産における信頼性

詳細な監視と観測可能性

バッチ/ストリーミング

効率的なコンピューティング

シームレスなユーザー体験

wood mackenzie

「Databricks Workflows を使用することで、コラボレーションを促進し、プロセスの異なる段階間の壁を取り払うことができました。そのおかげで、チーム間の連携がスムーズになりました。」

ウッドマッケンジー社 データ部門 VP Yanyan Wu 氏
詳しく見る
workflows

Databricks データインテリジェンスプラットフォームとの統合

外部のオーケストレーションツールとは異なり、Databricks Workflows は Databricks プラットフォームと完全に統合されています。これは、ワークスペースでのネイティブなワークフローオーサリングが可能になり、Delta Live Table パイプライン、Databricks NotebookDatabricks SQL のクエリなど、レイクハウスのあらゆる機能を自動化できることを意味します。Unity Catalog を使用すると、あらゆるワークフローでデータのリネージが自動化されるため、組織全体でデータ資産を管理できます。

reliability at scale

大規模環境での信頼性

何千もの組織が Databricks Workflows を信頼し、AWS、Azure、 GCP で何百万もの本番ワークロードを 99.95% の稼働率で日々実行しています。Databricks プラットフォームに完全に管理されたオーケストレーションツールが組み込まれているため、オーケストレーションのための別のツールを保守、更新、トラブルシューティングする必要はありません。

deep monitoring and observability

詳細な監視と観測可能性

Databricks Workflows は Databricks データインテリジェンスプラットフォームと完全に統合されているため、外部のオーケストレーションツールよりも優れた観測性を提供します。実行中のワークフローの全容を把握し、メール、Slack、PagerDuty、またはカスタム Webhook を介してチームにアラートを送信するための障害通知を設定することで、問題を迅速に把握し、データ利用者に影響が及ぶ前にトラブルシューティングを行うことができます。

batch and streaming

バッチ/ストリーミング

Databricks Workflows は、レイクハウス上のあらゆるシナリオでタスクをオーケストレーションするための単一のソリューションを提供します。あらかじめ設定した時間にバッチインジェストを行う定期的なジョブには、スケジュールされたワークフロー実行を使用するか、継続的に実行されるリアルタイムのデータパイプラインを実装します。また、ファイル到着トリガーを使用して、新しいデータが利用可能になったときに実行するようにワークフローを設定することもできます。

efficient compute

効率的なコンピューティング

Databricks Workflows でオーケストレーションすることで、自動化された本番ワークロードの価格性能が向上します。コストが低く、ジョブがスケジュールされたときにのみ実行される自動化されたジョブクラスタを利用することで、コストを大幅に削減することができます。未使用のリソースにコストを支払う必要はありません。さらに、共有ジョブクラスタでは、複数のタスクにコンピューティングリソースを再利用できるため、リソースの使用率を最適化できます。

workflows

シームレスなユーザー体験

任意環境でワークフローを定義できます。Databricks ワークスペース UI または任意の IDEを使用して容易にワークフローを作成できます。Databricks Repo またはリモート Git リポジトリでバージョン管理された Notebookを使用し、CI/CD などの DevOps ベストプラクティスを遵守するタスクを定義します。

grip

「一度クラスタを立ち上げ、さまざまなステップで再利用し、終わったらスピンダウンすることが容易にできます。」

Grip 共同創業者兼 CTO Jimmy Cooper 氏
詳しく見る

統合

Databricks Workflows は、業界をリードするパートナーとのシームレスな統合を提供し、ニーズに合ったワークフローを任意のデータソリューションで柔軟に定義できます。

dbt labs logo
Arcion
Matillion
Azure Data Factory logo
apache airflow
fivetran-logo-small.svg
dbt labs logo
Arcion
Matillion
Azure Data Factory logo
apache airflow
fivetran-logo-small.svg

よくある質問

データ、分析、AI におけるオーケストレーションとは、ETL データパイプラインや機械学習モデルトレーニングなどのワークフローの自動化、導入、管理を指します。オーケストレーションはデータ運用の重要な部分であり、データソリューションを本番稼動させるために不可欠です。オーケストレーションには、ワークフロータスク間の依存関係を管理し、これらのタスクが実行されるようにスケジューリングすることも含まれます。また、コンピュートリソースの割り当てやワークフローのモニタリングも含まれます。

無料お試し・その他ご相談を承ります