Databricks Workflows は、Databricks プラットフォームと完全に統合されたマネージドオーケストレーションサービスです。ETL、分析、機械学習パイプラインのマルチタスクワークフローの定義や管理、監視を容易にします。また、多様なタスクをサポートしており、高度なオブザーバビリティ（可観測性）と高い信頼性を備えています。Databricks Workflows を利用することで、あらゆるパイプライ ンの自動化とオーケストレーションが促進され、データチームの生産効率が向上します。
シンプルなオーサリング
データエンジニア、データアナリスト、データサイエンティストのいずれであっても、わずか数クリックで容易にワークフローを定義したり、任意の IDE を使用することができます。
実用的なインサイト
ワークフローで実行されている各タスクを完全に可視化し、トラブルシューティングが必要な問題については直ちに通知されます。
高い信頼性
完全に管理されたオーケストレーションサービスにより、プロダクションワークフローが稼働しているという安心感を得ることができます。稼働率 99.95% の Databricks Workflows は、何千もの組織から信頼されています。
仕組み
Databricksデータインテリジェンスプラットフォームとの統合
生産における信頼性
詳細な監視と観測可能性
バッチ／ストリーミング
効率的なコンピューティング
シームレスなユーザー体験
Databricks データインテリジェンスプラットフォームとの統合
外部のオーケストレーションツールとは異なり、Databricks Workflows は Databricks プラットフォームと完全に統合されています。これは、ワークスペースでのネイティブなワークフローオーサリングが可能になり、Delta Live Table パイプライン、Databricks Notebook、Databricks SQL のクエリなど、レイクハウスのあらゆる機能を自動化できることを意味します。Unity Catalog を使用すると、あらゆるワークフローでデータのリネージが自動化されるため、組織全体でデータ資産を管理できます。
大規模環境での信頼性
何千もの組織が Databricks Workflows を信頼し、AWS、Azure、 GCP で何百万もの本番ワークロードを 99.95% の稼働率で日々実行しています。Databricks プラットフォームに完全に管理されたオーケストレーションツールが組み込まれているため、オーケストレーションのための別のツールを保守、更新、トラブルシューティングする必要はありません。
詳細な監視と観測可能性
Databricks Workflows は Databricks データインテリジェンスプラットフォームと完全に統合されているため、外部のオーケストレーションツールよりも優れた観測性を提供します。実行中のワークフローの全容を把握し、メール、Slack、PagerDuty、またはカスタム Webhook を介してチームにアラートを送信するための障害通知を設定することで、問題を迅速に把握し、データ利用者に影響が及ぶ前にトラブルシューティングを行うことができます。
バッチ／ストリーミング
Databricks Workflows は、レイクハウス上のあらゆるシナリオでタスクをオーケストレーションするための単一のソリューションを提供します。あらかじめ設定した時間にバッチインジェストを行う定期的なジョブには、スケジュールされたワークフロー実行を使用するか、継続的に実行されるリアルタイムのデータパイプラインを実装します。また、ファイル到着トリガーを使用して、新しいデータが利用可能になったときに実行するようにワークフローを設定することもできます。
シームレスなユーザー体験
任意環境でワークフローを定義できます。Databricks ワークスペース UI または任意の IDEを使用して容易にワークフローを作成できます。Databricks Repo またはリモート Git リポジトリでバージョン管理された Notebookを使用し、CI/CD などの DevOps ベストプラクティスを遵守するタスクを定義します。
