Pipeline CDC avec Delta Live Tables

Cette démo met en évidence comment Delta Live Tables simplifie le CDC (capture de données modifiées).

Le CDC est généralement effectué en ingérant des modifications à partir de systèmes externes (ERP, bases de données SQL) avec des outils comme Fivetran, Debezium, etc.

Dans cette démo, nous allons vous montrer comment recréer votre table en consommant des informations CDC.

Nous mettrons également en œuvre une SCD2 (table de dimension à changement lent de type 2). Bien que cela puisse être vraiment délicat à mettre en œuvre lorsque les données arrivent dans le désordre, DLT rend cela super simple avec juste un mot-clé.

Finalement, nous vous montrerons comment analyser programmatiquement plusieurs dossiers entrants et déclencher N flux (un pour chaque table CDC), en exploitant DLT avec Python.

 

Pour installer la démo, obtenez un espace de travail Databricks gratuit et exécutez les deux commandes suivantes dans un carnet de notes Python.

Dbdemos est une bibliothèque Python qui installe des démonstrations complètes de Databricks dans vos espaces de travail. Dbdemos chargera et démarrera des carnets de notes, des pipelines Delta Live Tables, des clusters, des tableaux de bord Databricks SQL, des modèles d'entrepôt... Voir comment utiliser dbdemos

 

Dbdemos est distribué en tant que projet GitHub.

Pour plus de détails, veuillez consulter le GitHub fichier README.md et suivez la documentation.
Dbdemos est fourni en l'état. Voir le Licence et Avis pour plus d'informations.
Databricks n'offre pas de support officiel pour dbdemos et les actifs associés.
Pour tout problème, veuillez ouvrir un ticket et l'équipe de démonstration y jettera un coup d'œil sur une base de meilleurs efforts.