Databricks Unity Catalog ist die branchenweit einzige einheitliche und offene Governance-Lösung für Daten und KI, die in die Data Intelligence Platform von Databricks integriert ist. Unternehmen können damit nahtlos strukturierte wie unstrukturierte Daten in beliebigen Formaten sowie Machine-Learning-Modelle, Notebooks, Dashboards und Dateien in jeder Cloud und auf jeder Plattform verwalten. Data Scientists, Analysten und Engineers können auf sichere Weise vertrauenswürdige Daten und KI-Assets plattformübergreifend erkunden, darauf zugreifen und sie gemeinsam bearbeiten. So nutzen sie KI zur Produktivitätssteigerung und schöpfen das volle Potenzial der Lakehouse-Umgebung aus. Dieser einheitliche und offene Governance-Ansatz fördert Interoperabilität, beschleunigt Daten- und KI-Initiativen und erleichtert die Einhaltung der gesetzlichen Vorgaben.
„Databricks Unity Catalog ist jetzt ein integraler Bestandteil der PepsiCo Data Foundation, unseres zentralen Systems, das weltweit mehr als 6 Petabyte Daten konsolidiert. Es rationalisiert den Onboarding-Prozess für mehr als 1.500 aktive Benutzer und ermöglicht eine einheitliche Datenerkennung für unsere über 30 digitalen Produktteams weltweit. Hierdurch werden sowohl Business-Intelligence- als auch KI-Anwendungen unterstützt.“
– Bhaskar Palit, Senior Director, Data & Analytics
Wie es funktioniert
Einheitliche Sicht auf Daten und KI
Entdecken und klassifizieren Sie strukturierte und unstrukturierte Daten in beliebigen Formaten, einschließlich Machine-Learning-Modellen, Notebooks, Dashboards und Dateien auf allen Cloud-Plattformen. Profitieren Sie von nahtloser Verwaltung, Governance und Datenabfragen aus externen Datenbanken und Data Warehouses wie MySQL, PostgreSQL, Amazon Redshift, Snowflake, Azure SQL, Azure Synapse, Google BigQuery und Katalogen wie HMS und AWS Glue an zentraler Stelle. Beschleunigen Sie Ihre Daten- und KI-Initiativen mit einem gemeinsamen Zugangspunkt für die Datenexploration. Steigern Sie die Produktivität mit intelligenter Suche, Erkennung und automatisch generierten Datenauswertungen und -dokumentationen.
Einheitliches Berechtigungsmodell für Daten und KI
Vereinfachen Sie die Zugriffsverwaltung mit einer einheitlichen Oberfläche, auf der Sie Zugriffsrichtlinien für Daten und KI-Assets definieren und sie dann auf jeder Cloud- oder Datenplattform konsistent anwenden und auditieren können. Greifen Sie von anderen Computerplattformen aus sicher auf Daten zu – durch Verwendung offener Schnittstellen und mit einheitlich und zentral verwalteten Berechtigungen. Verbessern Sie die Sicherheit durch eine differenzierte Kontrolle von Zeilen und Spalten und verwalten Sie den Zugriff effizient durch Low-Code-Zugriffsrichtlinien, die mit Attributen arbeiten und nahtlos skalierbar sind.
KI-gestützte Überwachung und Beobachtungsfunktionen
Nutzen Sie die Möglichkeiten der KI, um das Monitoring zu automatisieren, Fehler zu diagnostizieren und die Qualität von Daten und ML-Modellen zu gewährleisten. Profitieren Sie von proaktiven Alerts, die automatisch personenbezogene Daten (PII) erkennen, Modelldrift im Blick behalten und Probleme in Ihren Daten- und KI-Pipelines effektiv beheben, um Integrität und Fehlerfreiheit zu gewährleisten. Optimieren Sie Debugging, Ursachenanalyse und Folgenabschätzung mit automatischer Datenherkunft auf Spaltenebene. Verschaffen Sie sich einen umfassenden Überblick über Ihre Daten und KI mit operativer Intelligenz und unter Verwendung der integrierten Systemtabellen für Abrechnung, Auditing, Datenherkunft und mehr.
Offene Zugänglichkeit
Greifen Sie mit jeder beliebigen Compute-Engine über offene APIs und Standardschnittstellen sicher auf Ihre Daten und KI-Assets zu. Geben Sie Daten und KI-Assets cloud-, regions- und plattformübergreifend mit dem quelloffenen Delta Sharing frei. Arbeiten Sie sicher und ortsunabhängig mit anderen zusammen, um neue Umsatzquellen zu erschließen und den Geschäftswert zu steigern, ohne auf proprietäre Formate, komplexe ETL-Prozesse oder eine kostspielige Datenreplikation angewiesen zu sein.
„Mit Unity Catalog konnten wir eine ganzheitliche Sicht auf unseren Datenbestand erstellen und so die Zusammenarbeit zwischen den Teams bei BlackBerry vereinfachen. Wir haben jetzt ein Standardverfahren für die Verwaltung von Zugriffsrechten und das Auditing von Dateien oder Tabellen in unserem Lake und können differenzierte Zugriffskontrollen für Zeilen und Spalten definieren. Mithilfe der automatisierten Datenherkunft konnten wir feststellen, woher die Daten stammen, so den Ursprung einer potenziellen Bedrohung ermitteln und nachvollziehen, welche Forschungsprojekte oder Teams die betreffenden Daten nutzen.“
„Mit Unity Catalog können wir den Zugriff auf Tabellen und sogar auf Amazon S3 wie eine herkömmliche Datenbank verwalten und haben so eine viel differenziertere Zugriffssteuerung als vorher. Wir haben auch eine besser dokumentierte Herkunft für unsere Pipelines und einen Metastore auf Kontoebene. Dieses Maß an Granularität ist der Grund dafür, dass wir uns vom Hive-Metastore verabschiedet haben.“
„Unity Catalog hat die Governance verbessert, die Nutzung von Datasets optimiert und Daten auf sinnvolle Art und Weise externen Systemen und Kunden zugänglich gemacht. So konnte das Unternehmen über 150.000 Tabellen organisieren und Berechtigungen effizient zuweisen. Damit wurden etwa 70 % der angepassten Cloud-Infrastrukturressourcen aus der früheren RBAC-Architektur obsolet.“
Integrationen
Unity Catalog funktioniert mit Ihren vorhandenen Datenkatalogen, Datenspeichersystemen und Governance-Lösungen, sodass Sie Ihre vorhandenen Investitionen nutzen und ein zukunftssicheres Governance-Modell ohne teure Migrationskosten aufbauen können.
