Unity Catalog en open source

Dans cette vidéo, vous apprendrez à propos du Catalogue Unity, le premier catalogue open source de l'industrie pour la gouvernance des données et de l'IA à travers les nuages, les formats de données et les plateformes de données. Voici les piliers les plus importants de la vision du Catalogue Unity :

• API et implémentation open source: Il est construit sur la spécification OpenAPI et une implémentation de serveur open source sous Licence Apache 2.0. Il est également compatible avec l'API Spark Hive Metastore et l'API REST Apache Iceberg™.
• Support multi-format: Il est extensible et prend en charge Delta Lake, Apache Iceberg via UniForm, Apache Parquet, CSV et tous les autres formats existants.
• Support multi-moteur: Grâce à ses API ouvertes, Unity Catalog permet à pratiquement tous les moteurs de calcul de lire les données cataloguées.
• Multimodal: Il prend en charge tous vos actifs de données et d'IA, y compris les tables, les fichiers, les fonctions et les modèles d'IA.
• Écosystème dynamique: Il s'agit d'un effort communautaire et nous sommes extrêmement enthousiastes d'être soutenus par Amazon Web Services, Microsoft Azure, Google Cloud, NVIDIA, Salesforce, DuckDB, LangChain, dbt Labs, Fivetran, Confluent, Unstructured, Onehouse, Immuta, Informatica et bien d'autres encore.

Le projet est disponible sur GitHub aujourd'hui comme la première étape de notre voyage vers la réalisation de la vision du Catalogue Unity en open source. Unity Catalog est hébergé chez LF AI & Data, une fondation parapluie de la Linux Foundation qui soutient l'innovation open source en intelligence artificielle et en données, et nous sommes ravis de travailler avec les communautés open source dans les nombreuses années à venir pour réaliser cette vision.