Unity Catalog のオープンソース化
動画の内容
このビデオでは、クラウド、データ形式、データプラットフォーム全体でのデータとAIのガバナンスのための業界初のオープンソースカタログであるUnity Catalogについて学びます。これがUnity Catalogビジョンの最も重要な柱です:
- オープンソースAPIと実装:これはOpenAPI仕様とApache License 2.0の下でのオープンソースサーバー実装に基づいて構築されています。これはまた、Spark Hive Metastore APIとApache Iceberg™ REST APIとも互換性があります。
- マルチフォーマット対応:拡張性があり、UniFormを介してDelta Lake、Apache Iceberg、Apache Parquet、CSVなど、他のすべての形式をサポートしています。
- マルチエンジン対応:オープンAPIを備えたUnity Catalogは、カタログ化されたデータをほぼすべての計算エンジンで読み取ることを可能にします。
- マルチモーダル:テーブル、ファイル、関数、AIモデルを含む、あなたのすべてのデータとAIアセットをサポートします。
- 活気あふれるエコシステム:これはコミュニティの取り組みであり、Amazon Web Services、Microsoft Azure、Google Cloud、NVIDIA、Salesforce、DuckDB、LangChain、dbt Labs、Fivetran、Confluent、Unstructured、Onehouse、Immuta、Informaticaなど、多くの企業からの支援を大変嬉しく思っています。
このプロジェクトは、Unity Catalogのビジョンをオープンソースにするための最初のステップとして、今日GitHubで利用可能です。Unity Catalogは、人工知能とデータのオープンソースイノベーションを支援するLinux Foundationの傘下団体であるLF AI&Dataでホストされており、私たちはこのビジョンを実現するために、今後数年間でオープンソースコミュニティと協力することを楽しみにしています。