CDCパイプラインとデルタライブテーブル

このデモでは、Delta Live TablesがCDC（Change Data Capture）をどのように簡素化するかを強調しています。

CDCは通常、FivetranやDebeziumなどのツールを使用して、外部システム（ERP、SQLデータベース）からの変更を取り込むことによって行われます。

このデモでは、CDC情報を利用してテーブルを再作成する方法をご紹介します。

私たちはまた、SCD2（タイプ2のゆっくりと変化する次元テーブル）を実装します。これはデータが順不同で到着するときに実装するのが非常に難しい場合がありますが、DLTはたった一つのキーワードでこれを超簡単にします。

最終的には、Pythonを使用してDLTを活用し、複数の受信フォルダをプログラムでスキャンし、Nストリーム（各CDCテーブルごとに1つ）をトリガーする方法をお見せします。

 

デモをインストールするには、無料のDatabricksワークスペースを取得し、Pythonノートブックで以下の2つのコマンドを実行してください。

Dbdemosは、ワークスペースに完全なDatabricksデモをインストールするPythonライブラリです。Dbdemosはノートブック、Delta Live Tablesパイプライン、クラスター、Databricks SQLダッシュボード、ウェアハウスモデルをロードして開始します... dbdemosの使い方をご覧ください

 

DbdemosはGitHubプロジェクトとして配布されています。

詳細については、GitHubのREADME.mdファイルをご覧いただき、ドキュメンテーションに従ってください。
Dbdemosはそのまま提供されています。詳細はライセンスと通知をご覧ください。
Databricksは、dbdemosおよび関連資産に対して公式のサポートを提供していません。
問題が発生した場合は、チケットを開いてデモチームがベストエフォートで対応します。