Delta Lake on Databricks

Delta Lake permet d'améliorer la fiabilité, la performance et la gestion du cycle de vie des datalakes. Dites adieu à l'ingestion de données maladroite, aux difficultés liées à la suppression des données pour des raisons de conformité et aux problèmes liés à la modification des données lors de la capture des changements. Accélérez l'apport de données de haute qualité dans votre datalake et la rapidité avec laquelle les équipes peuvent exploiter ces données grâce à un service cloud sécurisé et évolutif.

Avantages

OUVERT & EXTENSIBLE

Delta Lake est un projet open source de la Linux Foundation. Les données sont stockées au format ouvert Apache Parquet, et sont donc lisibles par n'importe quel lecteur adapté. Les API sont ouvertes et compatibles avec Apache Spark™.

FIABILITÉ DES DONNÉES

Les données des datalakes sont souvent sujettes à des problèmes de qualité, issues d'un manque de contrôle sur les données ingérées. Delta Lake ajoute une couche de stockage aux datalakes pour contrôler la qualité de leur contenu, garantissant ainsi que ces derniers ne renferment que des données de haute qualité destinées aux consommateurs.

GESTION DU CYCLE DE VIE DES DONNÉES

Gérez l'évolution des enregistrements et des schémas à mesure que les besoins de l'entreprise progressent. Ne vous contentez pas d'une architecture lambda et profitez d'un traitement en batch ou en streaming véritablement unifié, qui utilise le même moteur, les mêmes API et le même code.

Fonctionnalités

ACID Transactions: Multiple data pipelines can read and write data concurrently to a data lake. ACID Transactions ensure data integrity with serializability, the strongest level of isolation. Learn more at Diving into Delta Lake: Unpacking the Transaction Log.

Updates and Deletes: Delta Lake provides DML APIs to merge, update and delete datasets. This allows you to easily comply with GDPR/CCPA and simplify change data capture.

Schema Enforcement: Specify your data lake schema and enforce it, ensuring that the data types are correct and required columns are present, and preventing bad data from causing data corruption.For more information, refer to Diving Into Delta Lake: Schema Enforcement & Evolution.

Time Travel (Data Versioning): Data snapshots enable developers to access and revert to earlier versions of data to audit data changes, rollback bad updates or reproduce experiments. Learn more in Introducing Delta Lake Time Travel for Large Scale Data Lakes.

Scalable Metadata Handling: Delta Lake treats metadata just like data, leveraging Spark’s distributed processing power. This allows for petabyte-scale tables with billions of partitions and files.

Open format : toutes les données de Delta Lake sont stockées au format Apache Parquet. Cela permet à Delta Lake de profiter de la compression efficace et des schémas de codage natifs chez Parquet.

Batch, source de streaming et récepteur unifiés : une table dans Delta Lake est tout à la fois un batch, une source de streaming et un récepteur de données. L'ingestion de données en streaming, le renvoi d'historiques par batch et les requêtes interactives fonctionnent tous sans effort supplémentaire.Évolution des schémas : le big data évolue en permanence. Delta Lake vous permet d’apporter des modifications à un schéma de tableau, et grâce à l'option d'application automatique, il n'est pas nécessaire de recourir à un langage de définition des données fastidieux.

Historique en vue d'un audit : le journal des transactions de Delta Lake enregistre les détails de chaque modification apportée aux données, fournissant un historique complet des modifications à des fins de conformité, d'audit et de reproduction.

100 % compatible avec l'API Apache Spark : les développeurs peuvent utiliser Delta Lake sur leurs pipelines de données existants. Très peu de changements sont nécessaires car celui-ci est entièrement compatible avec Spark, le moteur de traitement de big data le plus courant.

See our Product News from Azure Databricks and AWS to learn more about our latest features.

À la place de parquet…

dataframe
   .write
   .format("parquet")
   .save("/data")

…écrivez simplement delta

dataframe
   .write
   .format("delta")
   .save("/data")

Démarrer

Data Ingestion Network

Native connectors to easily ingest data into Delta Lake quickly and reliably from all your applications, databases, and file storage

Comment ça marche

À la découverte de Delta Lake

Par Michael Armbrust, créateur de Delta Lake

Delta Lake est une couche de stockage open source qui repose sur votre stockage de fichiers datalake existant, comme par exemple AWS S3, Azure Data Lake Storage ou HDFS. Il utilise des fichiers Apache Parquet™ à versions pour stocker vos données. Delta Lake stocke également un journal des transactions pour garder une trace de toutes les validations (« commits ») visant à fournir des fonctionnalités étendues telles que les transactions ACID, la gestion des versions de données et l'historique en vue d'un audit. Pour accéder aux données, vous pouvez utiliser les API Spark ouvertes, n'importe lequel des différents connecteurs ou un lecteur Parquet pour déchiffrer les fichiers directement.