Surveillez la qualité de vos données avec Lakehouse Monitoring

La surveillance de Lakehouse vous permet de profiler, de diagnostiquer et d'appliquer la qualité directement dans la plateforme d'intelligence de données Databricks. Sans outils supplémentaires ou complexité, Lakehouse Monitoring aide les équipes à découvrir proactivement les problèmes de qualité avant que les processus en aval ne soient impactés.

Grâce à ce tutoriel, vous pouvez voir à quel point il est facile de créer un moniteur sur n'importe quelle table dans Unity Catalog et d'obtenir des informations sur les tendances et les anomalies des données. Ce tutoriel illustrera un cas d'utilisation de détail surveillant les données de transaction et passera en revue les meilleures pratiques lors de la configuration d'un moniteur. À la fin de la démo, vous obtiendrez un tableau de bord généré automatiquement pour découvrir des problèmes de qualité/anomalies dans :

• Volume de données
• Intégrité des Données
• Changement de Distribution Numérique
• Changement de distribution catégorielle

Avec la surveillance Lakehouse intégrée dans Unity Catalog, cette démo vous montrera également comment la qualité intégrée avec les métadonnées vous permet d'effectuer une analyse des causes profondes et une analyse d'impact avec la lignée.

Pour plus d'informations sur la surveillance de Lakehouse, veuillez consulter notre documentation produit (AWS | Azure) pour commencer dès aujourd'hui.

 

Pour installer la démo, obtenez un espace de travail Databricks gratuit et exécutez les deux commandes suivantes dans un carnet Python

Dbdemos est une bibliothèque Python qui installe des démonstrations Databricks complètes dans vos espaces de travail. Dbdemos chargera et démarrera des carnets de notes, des pipelines Delta Live Tables, des clusters, des tableaux de bord Databricks SQL et des modèles d'entrepôt... Voir comment utiliser dbdemos

 

Dbdemos est distribué en tant que projet GitHub.

Pour plus de détails, veuillez consulter le GitHub fichier README.md et suivez la documentation.
Dbdemos est fourni en l'état. Voir le Licence et Notice pour plus d'informations.
Databricks n'offre pas de support officiel pour dbdemos et les ressources associées.
Pour tout problème, veuillez ouvrir un ticket et l'équipe de démonstration examinera sur une base de meilleur effort.