Pipeline Complet de Tables Live Delta — Prêt

Cette démo est une introduction à Delta Live Tables, un cadre ETL qui rend l'ingénierie des données accessible à tous. Il vous suffit de déclarer vos transformations en SQL ou Python, et DLT gérera la complexité de l'ingénierie des données pour vous :

• Accélérer le développement ETL: Permettre aux analystes et aux ingénieurs de données d'innover rapidement avec un développement et une maintenance de pipeline simples
• Supprimer la complexité opérationnelle: En automatisant les tâches administratives complexes et en obtenant une visibilité plus large sur les opérations de pipeline
• Faites confiance à vos données: Avec des contrôles de qualité intégrés et une surveillance de la qualité pour garantir une BI, une science des données et un ML précis et utiles.
• Simplifiez les lots et le streaming: Avec l'auto-optimisation et l'auto-dimensionnement des pipelines de données pour le traitement par lots ou en streaming

Dans cette démo, nous utiliserons en entrée un ensemble de données brutes contenant des informations sur les prêts de nos clients et leurs transactions historiques. Notre objectif est d'ingérer ces données en temps quasi réel et de construire des tables pour notre équipe d'analystes tout en garantissant la qualité des données.

 

Pour installer la démo, obtenez un espace de travail Databricks gratuit et exécutez les deux commandes suivantes dans un carnet de notes Python.

Dbdemos est une bibliothèque Python qui installe des démonstrations complètes de Databricks dans vos espaces de travail. Dbdemos chargera et démarrera des carnets de notes, des pipelines Delta Live Tables, des clusters, des tableaux de bord Databricks SQL, des modèles d'entrepôt... Voir comment utiliser dbdemos

 

Dbdemos est distribué en tant que projet GitHub.

Pour plus de détails, veuillez consulter le fichier README.md sur GitHub et suivre la documentation.
Dbdemos est fourni tel quel. Voir la Licence et Notice pour plus d'informations.
Databricks n'offre pas de support officiel pour dbdemos et les actifs associés.
Pour tout problème, veuillez ouvrir un ticket et l'équipe de démonstration examinera sur une base de meilleurs efforts.