Monitore a Qualidade dos Seus Dados com o Monitoramento Lakehouse

O Monitoramento Lakehouse permite que você faça o perfil, diagnóstico e imponha qualidade diretamente na Plataforma de Inteligência de Dados Databricks. Sem a necessidade de ferramentas adicionais ou complexidade, o Monitoramento Lakehouse ajuda as equipes a descobrir proativamente problemas de qualidade antes que os processos a jusante sejam impactados.

Por meio deste tutorial, você pode ver como é fácil criar um monitor em qualquer tabela no Catálogo Unity e obter insights sobre tendências de dados e anomalias. Este tutorial ilustrará um caso de uso no varejo monitorando dados de transações e passará pelas melhores práticas ao configurar um monitor. No final da demonstração, você receberá um painel gerado automaticamente para descobrir problemas de qualidade/anomalias em:

• Volume de dados
• Integridade de Dados
• Mudança na Distribuição Numérica
• Mudança na Distribuição Categórica

Com o Monitoramento Lakehouse integrado ao Catálogo Unity, esta demonstração também mostrará como a qualidade integrada com metadados permite que você realize análises de causa raiz e análises de impacto com linhagem.

Para mais informações sobre o Monitoramento Lakehouse, por favor, consulte nossa documentação do produto (AWS | Azure) para começar hoje mesmo.

Para instalar a demonstração, obtenha uma área de trabalho Databricks gratuita e execute os dois comandos seguintes em um notebook Python.

%pip instale dbdemos

import dbdemos
dbdemos.install('lakehouse-monitoring', catalog='main', schema='dbdemos_lhm')

Dbdemos é uma biblioteca Python que instala demonstrações completas do Databricks em seus espaços de trabalho. Dbdemos irá carregar e iniciar notebooks, pipelines Delta Live Tables, clusters, painéis Databricks SQL e modelos de armazém... Veja como usar dbdemos

Dbdemos é distribuído como um projeto do GitHub.

Para mais detalhes, por favor, veja o GitHub arquivo README.md e siga a documentação.
Dbdemos é fornecido como está. Veja a Licença e Aviso para mais informações.
Databricks não oferece suporte oficial para dbdemos e os ativos associados.
Para qualquer problema, por favor, abra um ticket e a equipe de demonstração dará uma olhada com o melhor esforço possível.