Unity Catalog で Hive Metastore & AWS Glue 連携がついに一般提供開始(GA)！

Unity Catalog における Hive Metastore（HMS）および AWS Glue 連携の一般提供開始を発表できることを嬉しく思います！

この新機能により、Unity Catalog から Hive Metastore（セルフホストまたは Databricks ホスト）や AWS Glue 上のテーブルにシームレスにアクセス・ガバナンスが可能になります。これは、外部データソース（データベース、DWH、カタログなど）を Unity Catalog のもとで統一的に管理するという「Lakehouse Federation」ビジョンにおける重要なマイルストーンです。

これにより、データのフォーマットや保存場所に関係なく、すべてのデータを単一のプラットフォームで簡単に発見・クエリ・管理できるようになります。組織全体でのオープンなデータアクセスとコラボレーションを促進し、あらゆるデータソースにデータインテリジェンスを拡張することが可能になります。

本ブログでは、HMSおよびAWS Glue Federationのメリット、仕組み、導入方法について詳しくご紹介します。

なぜHive MetastoreとAWS Glue Federationなのか？

HMSはビッグデータシステムにおけるデータカタログ化の初期標準として広く採用されてきました。しかし、現代のデータとAIワークロードに求められる行・列レベルの細かいアクセス制御、データの系統管理（リネージ）、モニタリング、監査といった包括的なガバナンスには十分対応できていません。

Unity Catalogはこれらの課題を解決し、データやAI資産を統合管理できる唯一のオープンガバナンスソリューションを提供します。ファイル、テーブル、MLモデル、AIツール、ノートブック、メトリクスなどを統一カタログにキュレーションし、細かいアクセス制御や監査、リネージ、クロスプラットフォーム共有を実現します。現在、10,000以上の企業がUnity Catalogを活用してデータ資産をガバナンスしています。

HMSとAWS Glue Federationは、HMSがデータアーキテクチャに深く組み込まれている組織にとって大きなメリットをもたらします。既存のHMSやAWS Glueのデプロイメントを活かしつつ、Unity Catalogの高度な機能を無理なく活用できる移行パスを提供します。これにより、既存のワークフローを維持しながら、データとワークスペースをUnity Catalogに段階的にアップグレードすることが可能です。

主なメリット

1. シームレスな統合
   手動によるメタデータ移行なしで、既存のHMSやAWS GlueカタログをUnity Catalogに直接接続。

2. データ探索の簡素化
   Unity Catalog内で他のデータやAI資産と並列に、HMSやAWS Glueからメタデータを統一されたインターフェイスで探索可能。

3. 包括的なガバナンス
   Unity Catalogの細かいアクセス制御、タグ付け、分類、系統管理（リネージ）、監査機能をHMSやAWS Glueに保存されたデータに適用可能。

「私たちの外部Hive Metastoreには、何年分ものデータセットがカタログ化されています。HMS Federationのおかげで、これらすべてのテーブルをUnity Catalogに移行する手間をかけることなく、強力なアクセス制御やGenie Spacesを通じたセルフサービスAIツールなど、Unity Catalogの特有のメリットを即座に享受できるようになりました。」

— James Davidheiser, Technical Lead, Data Infrastructure, Asana

「Unity Catalog の HMS Federation を活用することで、お客様への影響を最小限に抑えながら段階的な移行を実現できました。 短期的なニーズと長期的な目標を見極める上で、Databricks とのパートナーシップは非常に重要でした。 私たちは Unity Catalog の機能を早い段階から取り入れることで、ガバナンスとアクセス制御を強化した、スケーラブルかつ効率的なデータプラットフォームを構築し、モダナイゼーションの取り組みを大きく前進させることができました。」

— Nationwide リードデータエンジニア Praveena Edward

仕組み

Unity Catalog に、Hive Metastore（HMS）および AWS Glue 向けのフェデレーションコネクタが新たに追加されました。これらのコネクタは、Unity Catalog と外部メタストアの間で翻訳レイヤーとして機能し、HMS カタログ（内部・外部の両方）や AWS Glue を Unity Catalog 内の外部カタログとしてマウントできるようにします。マウントされたカタログは、Unity Catalog 上であたかもネイティブなオブジェクトのように扱うことができます。

これにより、きめ細かなアクセス制御の設定、データリネージの確認、監査、クエリ実行などが可能になります。Databricks エンジンを使って、HMS や AWS Glue が管理するテーブルに直接アクセスでき、Databricks ワークスペース内の内部HMSには読み書き両方、外部HMSやAWS Glueには読み取り専用でアクセスできます。

この機能により、HMS や AWS Glue にある Parquet、Delta、Iceberg（※Icebergは近日中にパブリックプレビュー予定） のすべてのテーブルをシームレスに読み取り、アクセス・ガバナンスの対象とすることが可能になります。

下のビデオチュートリアルをチェックして、AWS GlueとHMS Federationの動作を探ってみてください。

一般提供（GA）で追加された新機能とは？

GA リリースでは、以下の新機能が追加されています：

• Hive Metastore v3.1 のサポート

• SQL Server または Postgres 上にホストされた Hive Metastore への対応（※MySQL は既にサポート済み）

• ストレージファイアウォールの背後にある DBFS ルートベースのテーブルへのアクセス（Azure）

• Hive テーブルに対する行レベル／カラムレベルのマスクのサポート

さらに以下の機能も追加されています：

• Hive Metastore 上に定義された Delta シャロークローンの読み取りがパブリックプレビューで利用可能に

• 複数ワークスペース間での DBFS マウントベースのテーブル読み取りがプライベートプレビューで提供開始（※ご利用希望の方は Databricks の担当者にお問い合わせください)

まずはここから

Unity Catalog を Lakehouse アーキテクチャの中核として活用することで、データとAI資産全体にわたる統一されたオープンなガバナンスを実現できます。

• HMS Federationのガイド(AWS,Azure ,GCP)
• Unity Catalogのガイド (AWS, Azure, GCP)