Deltaを使用したCDCパイプライン

このデモでは、Spark APIとDelta Lakeを使用してCDC（Change Data Capture）フローを実装する方法を強調します。

CDCは通常、Fivetran、Debeziumなどのツールを使用して外部システム（ERP、SQLデータベース）から変更を取り込むことによって行われます。

このデモでは、CDC情報を利用してテーブルを再作成する方法をご紹介します。

最終的には、複数の受信フォルダをプログラムでスキャンし、Nストリーム（各CDCテーブルごとに1つ）をトリガーする方法をお見せします。

Delta Live Tables（DLT）を使用すると、CDCが容易になることに注意してください。DLT CDCデモを試してみることをお勧めします！

 

デモをインストールするには、無料のDatabricksワークスペースを取得し、Pythonノートブックで以下の2つのコマンドを実行してください。

Dbdemosは、ワークスペースに完全なDatabricksデモをインストールするPythonライブラリです。Dbdemosはノートブック、Delta Live Tablesパイプライン、クラスター、Databricks SQLダッシュボード、ウェアハウスモデルをロードして開始します... dbdemosの使い方をご覧ください

 

DbdemosはGitHubプロジェクトとして配布されています。

詳細については、GitHubのREADME.mdファイルをご覧いただき、ドキュメンテーションに従ってください。
Dbdemosはそのまま提供されています。詳細はライセンスと通知をご覧ください。
Databricksは、dbdemosおよび関連資産に対して公式のサポートを提供していません。
問題が発生した場合は、チケットを開いてください。デモチームが最善を尽くして対応します。