Databricks Workflows

データインテリジェンスプラットフォームのデータ、分析、AI のための統合オーケストレーション

Databricks Workflows は、Databricks データインテリジェンス・プラットフォームと完全に統合されたマネージドオーケストレーションサービスです。ETL、分析、機械学習パイプラインのマルチタスクワークフローの定義や管理、監視を容易にします。また、多様なタスクをサポートしており、高度なオブザーバビリティ（可観測性）と高い信頼性を備えています。Databricks Workflows を利用することで、あらゆるパイプラインの自動化とオーケストレーションが促進され、データチームの生産効率が向上します。

Simple Authoring

Whether you’re a data engineer, a data analyst or a data scientist, easily define workflows with just a few clicks or use your favorite IDE.

Actionable Insights

Get full visibility into each task running in every workflow and get notified immediately on issues that require troubleshooting.

Proven Reliability

Having a fully managed orchestration service means having the peace of mind that your production workflows are up and running. With 99.95% uptime, Databricks Workflows is trusted by thousands of organizations.

仕組み

Databricksデータインテリジェンスプラットフォームとの統合

生産における信頼性

詳細な監視と観測可能性

バッチ／ストリーミング

効率的なコンピューティング

シームレスなユーザー体験

Databricks データインテリジェンスプラットフォームとの統合

外部のオーケストレーションツールとは異なり、Databricks Workflows は Databricks データインテリジェンスプラットフォームと完全に統合されています。これは、ワークスペースでのネイティブなワークフローオーサリングが可能になり、Delta Live Tables パイプライン、Databricks Notebook、Databricks SQL のクエリなど、プラットフォームのあらゆる機能を自動化できることを意味します。Unity Catalog を使用すると、あらゆるワークフローでデータのリネージが自動化されるため、組織全体でデータ資産を管理できます。

大規模環境での信頼性

何千もの組織が Databricks Workflows を信頼し、AWS、Azure、 GCP で何百万もの本番ワークロードを 99.95% の稼働率で日々実行しています。Databricks データインテリジェンスプラットフォームに完全に管理されたオーケストレーションツールが組み込まれているため、オーケストレーションのための別のツールを保守、更新、トラブルシューティングする必要はありません。

詳細な監視と観測可能性

Databricks Workflows は Databricks データインテリジェンスプラットフォームと完全に統合されているため、外部のオーケストレーションツールよりも優れた観測性を提供します。実行中のワークフローの全容を把握し、メール、Slack、PagerDuty、またはカスタム Webhook を介してチームにアラートを送信するための障害通知を設定することで、問題を迅速に把握し、データ利用者に影響が及ぶ前にトラブルシューティングを行うことができます。

バッチ／ストリーミング

Databricks Workflows は、データインテリジェンスプラットフォーム上のあらゆるシナリオでタスクをオーケストレーションするための単一のソリューションを提供します。あらかじめ設定した時間にバッチインジェストを行う定期的なジョブには、スケジュールされたワークフロー実行を使用するか、継続的に実行されるリアルタイムのデータパイプラインを実装します。また、ファイル到着トリガーを使用して、新しいデータが利用可能になったときに実行するようにワークフローを設定することもできます。

効率的なコンピューティング

Databricks Workflows でオーケストレーションすることで、自動化された本番ワークロードの価格性能が向上します。コストが低く、ジョブがスケジュールされたときにのみ実行される自動化されたジョブクラスタを利用することで、コストを大幅に削減することができます。未使用のリソースにコストを支払う必要はありません。さらに、共有ジョブクラスタでは、複数のタスクにコンピューティングリソースを再利用できるため、リソースの使用率を最適化できます。

シームレスなユーザー体験

任意環境でワークフローを定義できます。Databricks ワークスペース UI または任意の IDEを使用して容易にワークフローを作成できます。Databricks Repo またはリモート Git リポジトリでバージョン管理された Notebookを使用し、CI/CD などの DevOps ベストプラクティスを遵守するタスクを定義します。