Directement intégré à la Data Intelligence Platform de Databricks, Unity Catalog est la seule solution de gouvernance ouverte et unifiée pour les données et l'IA. Avec Unity Catalog, les entreprises peuvent unifier la gouvernance de tous les formats de données structurées et non structurées, des modèles de machine learning, des notebooks, des tableaux de bord et des fichiers stockés sur tous les clouds et toutes les plateformes. Les data scientists, analystes et ingénieurs peuvent découvrir et consulter des données de confiance et des assets d'IA répartis sur différentes plateformes de façon sécurisée et collaborative. Ils s'appuient sur l'IA pour gagner en productivité et exploiter tout le potentiel de l'environnement lakehouse. Cette approche ouverte et unifiée de la gouvernance favorise l'interopérabilité et accélère les initiatives de données et d'IA, tout en simplifiant la mise en conformité réglementaire.
« Databricks Unity Catalog fait désormais partie intégrante de la PepsiCo Data Foundation, notre système global qui centralise plus de 6 pétaoctets de données provenant du monde entier. L'outil simplifie le processus de prise en main de plus de 1 500 utilisateurs actifs, unifie la découverte des données pour plus de 30 équipes produit dans le monde et sous-tend des applications de business intelligence et d'intelligence artificielle. »
— Bhaskar Palit, Directeur senior, données et analytique
Comment ça marche
Une visibilité unifiée sur les données et l'IA
Découvrez et classez simplement tous les formats de données structurées et non structurées, et unifiez les modèles de machine learning, notebooks, tableaux de bord et fichiers de toutes les plateformes cloud. Gérez, encadrez et interrogez dans une même interface les données des bases de données et data warehouses externes comme MySQL, PostgreSQL, Amazon Redshift, Snowflake, Azure SQL, Azure Synapse et Google BigQuery, mais aussi celles de catalogues HMS ou AWS Glue. Accélérez vos initiatives de données et d'IA en centralisant l'exploration des données en un point unique. Améliorez la productivité des équipes grâce aux fonctions intelligentes de recherche et de découverte, ainsi qu'aux insights et à la documentation générés automatiquement.
Un modèle de permission unique, commun aux données et à l'IA
Simplifiez la gestion des accès grâce à une interface unifiée permettant de définir des stratégies d'accès aux assets de données et d'IA et de garantir la cohérence de leur application et des contrôles, quels que soient le cloud ou la plateforme de données. Accédez en toute sécurité aux données des autres plateformes de calcul à l'aide d'interfaces ouvertes et centralisez la gestion des autorisations pour une cohérence maximale. Renforcez la sécurité à l'aide de contrôles granulaires à l'échelle de la ligne et de la colonne, et encadrez les accès à l'aide de stratégies low-code basées sur des attributs, applicables à grande échelle.
Supervision et observabilité basée sur l'IA
Misez sur la puissance de l'IA pour automatiser la supervision, diagnostiquer les erreurs et maintenir la qualité des données et des modèles ML. Bénéficiez d'alertes proactives qui détectent automatiquement les données à caractère personnel, suivent les dérives des modèles et résolvent rapidement les problèmes qui touchent vos pipelines de données et d'IA, dans un souci constant de précision et d'intégrité. Simplifiez les activités de débogage, d'analyse des causes profondes et d'évaluation d'impact grâce à un data lineage automatisé à l'échelle de la colonne. Grâce à l'intelligence opérationnelle, obtenez une observabilité complète sur vos données et vos projets d'IA, et utilisez les tables système intégrées pour gérer la facturation, les audits, le lineage et bien d'autres aspects.
Accessibilité et ouverture
Accédez en toute sécurité à vos assets de données et d'IA depuis n'importe quel moteur de calcul en utilisant des API ouvertes et des interfaces standard. Partagez des assets de données et d'IA entre plusieurs clouds, régions et plateformes grâce à Delta Sharing, un outil de partage open source. Collaborez en toute sécurité avec tout type d'acteur, où qu'il se trouve, afin de mettre au jour de nouveaux flux de revenus et de générer de la valeur commerciale, sans subir les inconvénients des formats propriétaires, des processus ETL complexes et des réplications de données coûteuses.
« Unity Catalog nous a permis d'obtenir une vue unifiée de notre parc de données et de simplifier la collaboration des différentes équipes de BlackBerry. Nous disposons désormais d'une approche standard pour gérer les autorisations d'accès et auditer les fichiers et les tables de notre datalake. Nous pouvons même définir des contrôles granulaires à l'échelle de la ligne ou de la colonne. Le data lineage automatisé nous a permis de comprendre d'où viennent les données afin de localiser précisément la source d'une menace potentielle, mais aussi de déterminer quels projets et équipes de recherche exploitent les données pour détecter les menaces. »
« Unity Catalog nous donne la possibilité de gérer l'accès aux tables et même à Amazon S3 comme à une base de données traditionnelle. Cela nous permet de mettre en œuvre un contrôle des accès bien plus fin qu'auparavant. Nous disposons également d'un lineage bien plus documenté pour nos pipelines et d'un métastore au niveau du compte. C'est pour profiter de cette granularité que nous avons renoncé au metastore Hive. »
« Unity Catalog a amélioré notre gouvernance et élargi l'utilisation des données, nous permettant de les mettre à disposition des systèmes externes et de nos clients de façon encadrée et réfléchie. Notre entreprise a ainsi pu organiser plus de 150 000 tables et attribuer des autorisations avec une grande efficacité. Après cette rationalisation, près de 70 % des ressources de l'infrastructure cloud personnalisée de notre précédente architecture RBAC sont devenues obsolètes. »
Intégrations
Unity Catalog se coordonne avec vos catalogues de données existants, systèmes de stockage de données et solutions de gouvernance : vous préservez vos investissements précédents tout en créant un modèle de gouvernance à l’épreuve du temps, sans les coûts élevés d'une migration.
