CDC Pipeline Avec Delta
Type de démo
Tutoriel de produit
Durée
À votre rythme
Contenu associé
Qu'allez-vous apprendre ?
Cette démo mettra en évidence comment mettre en œuvre un flux CDC (capture de données modifiées) avec Spark API et Delta Lake.
La CDC est généralement réalisée en ingérant des modifications à partir d'un système externe (ERP, bases de données SQL) avec des outils comme Fivetran, Debezium, etc.
Dans cette démo, nous allons vous montrer comment recréer votre table en consommant des informations CDC.
En fin de compte, nous vous montrerons comment analyser programmatiquement plusieurs dossiers entrants et déclencher N flux (un pour chaque table CDC).
Notez que CDC est facilité avec Delta Live Tables (DLT). Nous vous recommandons d'essayer la démo DLT CDC !
Pour installer la démo, obtenez un espace de travail Databricks gratuit et exécutez les deux commandes suivantes dans un carnet de notes Python.
Dbdemos est une bibliothèque Python qui installe des démonstrations complètes de Databricks dans vos espaces de travail. Dbdemos chargera et démarrera des carnets de notes, des pipelines Delta Live Tables, des clusters, des tableaux de bord Databricks SQL, des modèles d'entrepôt... Voir comment utiliser dbdemos
Dbdemos est distribué en tant que projet GitHub.
Pour plus de détails, veuillez consulter le GitHub fichier README.md et suivez la documentation.
Dbdemos est fourni en l'état. Voir le Licence et Notice pour plus d'informations.
Databricks n'offre pas de support officiel pour dbdemos et les ressources associées.
Pour tout problème, veuillez ouvrir un ticket et l'équipe de démonstration examinera sur une base de meilleur effort.
