오픈 소스 Unity Catalog
학습할 내용
이 비디오에서는 클라우드, 데이터 형식 및 데이터 플랫폼 전반에 걸쳐 데이터 및 AI 관리를 위한 업계 최초의 오픈 소스 카탈로그인 Unity Catalog에 대해 배우게 됩니다. 다음은 Unity 카탈로그 비전의 가장 중요한 기둥들입니다:
- 오픈 소스 API 및 구현: 이것은 OpenAPI 사양과 Apache License 2.0 하에 있는 오픈 소스 서버 구현에 기반을 두고 있습니다. 또한 Spark Hive Metastore API와 Apache Iceberg™ REST API와 호환됩니다.
- 다양한 형식 지원: 이것은 확장 가능하며 Delta Lake, Apache Iceberg를 UniForm을 통해, Apache Parquet, CSV 및 기타 모든 형식을 지원합니다.
- 다중 엔진 지원: 오픈 API를 통해 Unity Catalog는 카탈로그화된 데이터를 거의 모든 계산 엔진에서 읽을 수 있게 합니다.
- 멀티모달: 테이블, 파일, 함수 및 AI 모델을 포함한 모든 데이터와 AI 자산을 지원합니다.
- 활기찬 생태계: 이는 커뮤니티의 노력이며, Amazon Web Services, Microsoft Azure, Google Cloud, NVIDIA, Salesforce, DuckDB, LangChain, dbt Labs, Fivetran, Confluent, Unstructured, Onehouse, Immuta, Informatica 등 많은 기업들의 지원을 받게 되어 매우 기쁩니다.
이 프로젝트는 오늘 GitHub에서 사용할 수 있으며, 이는 Unity Catalog 비전을 오픈 소스로 가져오는 여정의 첫 걸음입니다. Unity Catalog는 인공 지능과 데이터 분야에서 오픈 소스 혁신을 지원하는 Linux Foundation의 우산 재단인 LF AI & Data에서 호스팅되며, 우리는 이 비전을 실현하기 위해 앞으로 수년 동안 오픈 소스 커뮤니티와 함께 일하는 것을 기대하고 있습니다.
