Unity Catalog de código aberto

Neste vídeo, você aprenderá sobre o Unity Catalog, o primeiro catálogo de código aberto da indústria para governança de dados e IA em nuvens, formatos de dados e plataformas de dados. Aqui estão os pilares mais importantes da visão do Catálogo Unity:

• API de código aberto e implementação: Foi construído com base na especificação OpenAPI e uma implementação de servidor de código aberto sob a Licença Apache 2.0. Também é compatível com a API Spark Hive Metastore e a API REST do Apache Iceberg™.
• Suporte a múltiplos formatos: É extensível e suporta Delta Lake, Apache Iceberg via UniForm, Apache Parquet, CSV e todos os outros formatos existentes.
• Suporte a múltiplos motores: Com suas APIs abertas, o Unity Catalog permite que os dados catalogados sejam lidos por praticamente todos os motores de cálculo.
• Multimodal: Suporta todos os seus dados e ativos de IA, incluindo tabelas, arquivos, funções e modelos de IA.
• Ecossistema vibrante: Este é um esforço da comunidade e estamos extremamente animados por sermos apoiados pela Amazon Web Services, Microsoft Azure, Google Cloud, NVIDIA, Salesforce, DuckDB, LangChain, dbt Labs, Fivetran, Confluent, Unstructured, Onehouse, Immuta, Informatica e muitos outros.

O projeto está disponível no GitHub hoje como o primeiro passo em nossa jornada para trazer a visão do Catálogo Unity para o código aberto. O Catálogo Unity é hospedado na LF AI & Data, uma fundação guarda-chuva da Linux Foundation que apoia a inovação de código aberto em inteligência artificial e dados, e estamos animados para trabalhar com as comunidades de código aberto nos muitos anos que virão para realizar essa visão.