CDC Pipeline Com Delta Live Tables

Esta demonstração destaca como o Delta Live Tables simplifica o CDC (captura de dados de alteração).

CDC geralmente é feito ao ingerir mudanças de sistemas externos (ERP, bancos de dados SQL) com ferramentas como Fivetran, Debezium etc.

Nesta demonstração, mostraremos como recriar sua tabela consumindo informações do CDC.

Nós também implementaremos uma SCD2 (tabela de Dimensão Lentamente Mutável do tipo 2). Embora isso possa ser realmente complicado de implementar quando os dados chegam fora de ordem, o DLT torna isso super simples com apenas uma palavra-chave.

No final, mostraremos como escanear programaticamente várias pastas de entrada e acionar N fluxos (um para cada tabela CDC), aproveitando o DLT com Python.

 

Para instalar a demonstração, obtenha uma área de trabalho gratuita do Databricks e execute os dois comandos seguintes em um notebook Python

Dbdemos é uma biblioteca Python que instala demonstrações completas do Databricks em seus espaços de trabalho. Dbdemos carregará e iniciará notebooks, pipelines Delta Live Tables, clusters, painéis Databricks SQL, modelos de armazém ... Veja como usar dbdemos

 

Dbdemos é distribuído como um projeto do GitHub.

Para mais detalhes, por favor, veja o arquivo GitHub README.md e siga a documentação.
Dbdemos é fornecido como está. Veja a Licença e Aviso para mais informações.
A Databricks não oferece suporte oficial para dbdemos e os ativos associados.
Para qualquer problema, por favor, abra um ticket e a equipe de demonstração dará uma olhada com base no melhor esforço.