Open-Sourcing von Unity Catalog

In diesem Video erfahren Sie mehr über den Unity Catalog, den ersten Open-Source-Katalog der Branche für Daten- und KI-Governance über Clouds, Datenformate und Datenplattformen hinweg. Hier sind die wichtigsten Säulen der Vision des Unity-Katalogs:

• Open Source API und Implementierung: Sie basiert auf der OpenAPI-Spezifikation und einer Open Source Server-Implementierung unter der Apache Lizenz 2.0. Es ist auch kompatibel mit der Spark Hive Metastore API und der Apache Iceberg™ REST API.
• Unterstützung mehrerer Formate: Es ist erweiterbar und unterstützt Delta Lake, Apache Iceberg über UniForm, Apache Parquet, CSV und alle anderen vorhandenen Formate.
• Unterstützung für mehrere Engines: Mit seinen offenen APIs ermöglicht Unity Catalog, dass katalogisierte Daten von nahezu allen Rechen-Engines gelesen werden können.
• Multimodal: Es unterstützt alle Ihre Daten und KI-Ressourcen, einschließlich Tabellen, Dateien, Funktionen und KI-Modelle.
• Lebendiges Ökosystem: Dies ist eine Gemeinschaftsanstrengung und wir sind äußerst begeistert, von Amazon Web Services, Microsoft Azure, Google Cloud, NVIDIA, Salesforce, DuckDB, LangChain, dbt Labs, Fivetran, Confluent, Unstructured, Onehouse, Immuta, Informatica und vielen mehr unterstützt zu werden.

Das Projekt ist ab heute auf GitHub verfügbar, als erster Schritt auf unserem Weg, die Vision des Unity-Katalogs in Open Source zu bringen. Der Unity-Katalog wird bei LF AI & Data gehostet, einer Dachstiftung der Linux Foundation, die Open-Source-Innovationen in künstlicher Intelligenz und Daten unterstützt, und wir freuen uns darauf, in den kommenden Jahren mit den Open-Source-Gemeinschaften zusammenzuarbeiten, um diese Vision zu verwirklichen.