CDC Pipeline mit Delta Live Tables

Diese Demo zeigt, wie Delta Live Tables die CDC (Change Data Capture) vereinfacht.

CDC wird normalerweise durch das Einlesen von Änderungen aus externen Systemen (ERP, SQL-Datenbanken) mit Tools wie Fivetran, Debezium usw. durchgeführt.

In dieser Demo zeigen wir Ihnen, wie Sie Ihre Tabelle unter Verwendung von CDC-Informationen neu erstellen können.

Wir werden auch eine SCD2 (langsam ändernde Dimensionstabelle vom Typ 2) implementieren. Obwohl dies wirklich schwierig zu implementieren sein kann, wenn Daten in falscher Reihenfolge eintreffen, macht DLT dies mit nur einem Schlüsselwort super einfach.

Letztendlich zeigen wir Ihnen, wie Sie programmgesteuert mehrere eingehende Ordner scannen und N Streams (einen für jede CDC-Tabelle) auslösen können, indem Sie DLT mit Python nutzen.

 

Um die Demo zu installieren, besorgen Sie sich eine kostenlose Databricks-Arbeitsumgebung und führen Sie die folgenden zwei Befehle in einem Python-Notizbuch aus

Dbdemos ist eine Python-Bibliothek, die vollständige Databricks-Demos in Ihren Arbeitsbereichen installiert. Dbdemos lädt und startet Notebooks, Delta Live Tables Pipelines, Cluster, Databricks SQL Dashboards, Warehouse-Modelle ... Sehen Sie wie man dbdemos verwendet

 

Dbdemos wird als ein GitHub-Projekt verteilt.

Für weitere Details, bitte das GitHub README.md Datei ansehen und die Dokumentation befolgen.
Dbdemos wird so wie es ist bereitgestellt. Siehe die Lizenz und Hinweis für weitere Informationen.
Databricks bietet keinen offiziellen Support für dbdemos und die zugehörigen Assets.
Bei Problemen, bitte ein Ticket öffnen und das Demo-Team wird sich nach bestem Bemühen darum kümmern.