Pipeline CDC con Delta Live Tables

Questa demo evidenzia come Delta Live Tables semplifichi il CDC (change data capture).

CDC viene tipicamente eseguito ingerendo modifiche da sistemi esterni (ERP, database SQL) con strumenti come Fivetran, Debezium ecc.

In questa demo, ti mostreremo come ricreare la tua tabella utilizzando le informazioni CDC.

Implementeremo anche una SCD2 (tabella di dimensioni che cambiano lentamente di tipo 2). Anche se può essere davvero complicato da implementare quando i dati arrivano in ordine sparso, DLT rende tutto molto semplice con una sola parola chiave.

Alla fine, ti mostreremo come eseguire la scansione programmata di molteplici cartelle in arrivo e attivare N flussi (uno per ogni tabella CDC), sfruttando DLT con Python.

 

Per installare la demo, ottieni un spazio di lavoro Databricks gratuito ed esegui i seguenti due comandi in un notebook Python

Dbdemos è una libreria Python che installa demo complete di Databricks nei tuoi spazi di lavoro. Dbdemos caricherà e avvierà quaderni, pipeline di Delta Live Tables, cluster, cruscotti Databricks SQL, modelli di magazzino... Vedi come usare dbdemos

 

Dbdemos è distribuito come un progetto GitHub.

Per ulteriori dettagli, si prega di consultare il GitHub file README.md e seguire la documentazione.
Dbdemos è fornito così com'è. Consulta la Licenza e Avviso per ulteriori informazioni.
Databricks non offre supporto ufficiale per dbdemos e gli asset associati.
Per qualsiasi problema, si prega di aprire un ticket e il team di demo darà un'occhiata nel miglior modo possibile.