Databricks Unity Catalog apporte une couche de gouvernance unifiée aux données et à l'IA hébergées dans la Data Intelligence Platform de Databricks. Avec Unity Catalog, les entreprises peuvent unifier la gouvernance de leurs données structurées et non structurées, des modèles de machine learning, des notebooks, des tableaux de bord et des fichiers stockés sur tous les clouds et toutes les plateformes. Les data scientists, analystes et ingénieurs peuvent utiliser Unity Catalog pour découvrir et consulter des données de confiance et des assets d'IA de façon sécurisée et collaborative, en s'appuyant sur l'IA pour gagner en productivité et exploiter tout le potentiel de l'architecture lakehouse. Cette approche unifiée de la gouvernance accélère les initiatives de données et d'IA tout en simplifiant la mise en conformité réglementaire.
« Unity Catalog réduit les autorisations à leurs plus simples éléments en supprimant la complexité induite par les politiques IAM et autres plateformes de contrôle des données. Cela nous permet de nous concentrer sur ce qui est important pour notre cas d'usage métier. »
— Joseph Kesting, Ingénieur logiciel
Comment ça marche
Une visibilité unifiée sur les données et l'IA
Découvrez et classez des données structurées et non structurées, des modèles de ML, des notebooks, des tableaux de bord et des fichiers arbitraires répartis sur tous les types de cloud. Rassemblez, mappez et interrogez au même endroit les données de différentes plateformes : MySQL, PostgreSQL, Amazon Redshift, Snowflake, Azure SQL, Azure Synapse, Google BigQuery, etc. Accélérez vos initiatives de données et d'IA en centralisant l'exploration des données en un point unique. Optimisez la productivité de vos équipes en utilisant le langage naturel pour la recherche, l'interprétation et l'extraction d'insights dans vos projets de données et d'IA.
Un modèle de permission unique, commun aux données et à l'IA
Simplifiez la gestion des accès grâce à une interface unifiée permettant de définir des stratégies d'accès aux assets de données et d'IA et de garantir la cohérence de leur application et des contrôles, quels que soient le cloud ou la plateforme de données. Accédez en toute sécurité aux données des autres plateformes de calcul à l'aide d'interfaces ouvertes et centralisez la gestion des autorisations pour une coh érence maximale. Renforcez la sécurité à l'aide de contrôles granulaires à l'échelle de la ligne et de la colonne, et encadrez les accès à l'aide de stratégies low-code basées sur des attributs, applicables à grande échelle.
Supervision et observabilité basée sur l'IA
Misez sur la puissance de l'IA pour automatiser la supervision, diagnostiquer les erreurs et maintenir la qualité des données et des modèles ML. Bénéficiez d'alertes proactives qui détectent automatiquement les données à caractère personnel, suivent les dérives des modèles et résolvent rapidement les problèmes qui touchent vos pipelines de données et d'IA, dans un souci constant de précision et d'intégrité. Simplifiez les activités de débogage, d'analyse des causes profondes et d'évaluation d'impact grâce à un data lineage automatisé à l'échelle de la colonne. Grâce à l'intelligence opérationnelle, obtenez une observabilité complète sur vos données et vos projets d'IA, et utilisez les tables système intégrées pour gérer la facturation, les audits, le lineage et bien d'autres aspects.
Partage des données ouvert
Partagez en toute simplicité des assets de données et d'IA entre plusieurs clouds, régions et plateformes à l'aide de Delta Sharing, un outil open source intégré nativement à Unity Catalog. Collaborez en toute sécurité avec tout type d'acteur, où qu'il se trouve, afin de mettre au jour de nouveaux flux de revenus et de générer de la valeur commerciale, sans subir les inconvénients des formats propriétaires, des processus ETL complexes et des réplications de données coûteuses.
« Unity Catalog nous a permis d'obtenir une vue unifiée de notre parc de données et de simplifier la collaboration des différentes équipes de BlackBerry. Nous disposons désormais d'une approche standard pour gérer les autorisations d'accès et auditer les fichiers et les tables de notre datalake. Nous pouvons même définir des contrôles granulaires à l'échelle de la ligne ou de la colonne. Le data lineage automatisé nous a permis de comprendre d'où viennent les données afin de localiser précisément la source d'une menace potentielle, mais aussi de déterminer quels projets et équipes de recherche exploitent les données pour détecter les menaces. »
« Unity Catalog nous permet de gérer de façon centralisée des utilisateurs répartis sur de multiples espaces de travail, ce qui simplifie considérablement la tâche. D'autre part, la disponibilité immédiate de la fonction de data lineage nous aide à identifier les dépendances en aval sans effort manuel inutile. Nous pouvons, par exemple, identifier la circulation des données de BI et où les utilisateurs les stockent à l'aide du data lineage.
Intégrations
Unity Catalog se coordonne avec vos catalogues de données existants, systèmes de stockage de données et solutions de gouvernance : vous préservez vos investissements précédents tout en créant un modèle de gouvernance à l’épreuve du temps, sans les coûts élevés d'une migration.
