Delta Live Tables (DLT) facilite la création et la gestion de pipelines fiables fournissant des données de haute qualité sur Delta Lake. DLT aide les équipes de data engineering à simplifier le développement et la gestion desETL avec le développement de pipelines déclaratifs, des tests de données automatiques et une visibilité approfondie pour la surveillance et la restauration.

Construire et maintenir plus facilement des pipelines de données

Avec Delta Live Tables, définissez facilement des pipelines de données de bout en bout en spécifiant la source, la logique de transformation et la destination des données, au lieu d'assembler manuellement des traitements de données en silo. Maintenez automatiquement toutes les dépendances de données au sein du pipeline et réutilisez les pipelines ETL avec une gestion des données indépendante de l'environnement. Lancez l'exécution en mode batch ou streaming et spécifiez un calcul incrémental ou complet pour chaque table.

Test automatique

Delta Live Tables aide à garantir une BI, une data science et un Machine Learning précis et utiles avec des données de haute qualité pour les utilisateurs en aval. Empêchez les données de mauvaises qualité de pénétrer dans les tables par le biais de contrôles de validation et d'intégrité, et évitez les erreurs de qualité des données grâce à des procédures d'erreur prédéfinies (échec, suppression, alerte ou mise en quarantaine des données). D'autre part, vous pouvez suivre les tendances en matière de qualité des données au fil du temps afin d'obtenir des insights sur l'évolution de vos données, et savoir si des changements sont nécessaires.

Visibilité approfondie pour un monitoring et une restauration facilitées

Obtenez une visibilité en profondeur des opérations liées aux pipelines grâce à des outils permettant de suivre visuellement les statistiques opérationnelles et le lignage des données.Réduisez les périodes d'arrêt grâce à la gestion automatique des erreurs et à un replay facile. Accélérez la maintenance grâce au déploiement et aux mises à niveau en un clic.

Cas d’utilisation

Répondre aux exigences règlementaires

Capturez automatiquement toutes les informations relatives à votre table à des fins d'analyse et d'audit, grâce au journal des évènements. Comprenez comment les données circulent au sein de votre organisation et répondez aux exigences de conformité.

Simplifier le déploiement et les tests des pipelines de données

Grâce à l'isolation et à la mise à jour de différentes copies de données par le biais d'une base de code unique, il est possible de capturer et d'utiliser les informations relatives au lignage des données afin de les maintenir à jour en tout lieu. Ainsi, le même ensemble de définitions de requêtes peut être exécuté au cours des phases de développement, de pré-production et de production.

Réduisez la complexité opérationnelle grâce à un traitement unifié par batch et en streaming

Créez et exécutez des pipelines par batch et en streaming en un seul endroit avec des paramètres de rafraîchissement contrôlables et automatisés, ce qui permet de gagner du temps et de réduire la complexité opérationnelle.

Success-stories

Témoignage de client

La migration vers le cloud s'impose dans une nouvelle ère de la vente au détail basée sur les données

La migration vers le cloud s'impose dans une nouvelle ère de la vente au détail basée sur les données

Témoignage de client

Mettre la santé des patients au premier plan
avec les données et l'IA

Mettre la santé des patients au premier plan
avec les données et l'IA

flèche précédente
flèche suivante
Diaporama

Chez Shell, nous regroupons toutes les données de nos capteurs dans un magasin de données intégré. Delta Live Tables a aidé nos équipes à gagner du temps et à gérer les données à [l'échelle de plusieurs milliers de milliards d'enregistrements], tout en améliorant continuellement nos capacités d'ingénierie de l'IA.Grâce à cette capacité, qui vient s'ajouter à l'architecture lakehouse existante, Databricks bouleverse les marchés de l'ETL et des entrepôts de données, ce qui est majeur pour des entreprises comme la nôtre. Nous sommes ravis de continuer à travailler avec Databricks en tant que partenaire innovant.
– Dan Jeavons, Directeur général – Data Science, Shell

Ressources

Séries d'e-books

Conférences et formations technologiques

Webinaires