メインコンテンツへジャンプ

Databricks Unity Catalogは、組織がさまざまなデータとAI資産を安全に発見、アクセス、監視、コラボレーションできる統合ソリューションを提供することで、データとAIのガバナンスを簡素化します。 これにはテーブル、MLモデル、ファイル、関数が含まれ、最終的に生産性を高め、Lakehouse環境の可能性を最大限に引き出します。

本日、Unity CatalogがAWSとAzure上の新しいプレミアム・ワークスペースに事前設定され、アクセス可能になったことを発表できることを嬉しく思います。 この機能は、アカウントや地域ごとに順次展開されます。 詳しくは担当者にお問い合わせください。

Unityカタログで事前設定されたワークスペースの概要

ワークスペースにいくつかの新機能が追加されていることにお気づきでしょう。

ワークスペースでUnityカタログが自動で有効になる
Databricks Unity Catalog enabled in a workspace
  1. ワークスペースは、Unityカタログへのアクセス設定済みで提供されます! アカウント管理者によるその後の有効化手順は必要ありません。
  2. ワークスペースにちなんだ名前のカタログが見つかります(この例では「acme prod」)。 このカタログは、テーブル、モデル、ファイル、関数などのデータやAI資産を置く場所として機能します。 このカタログは、ワークスペース専用のクラウドストレージを使用して基礎データを保存します。
  3. カタログはワークスペースの管理者が所有し、さらに管理することができる。 例えば、アセットをさらに整理するためにカタログ内に「スキーマ」を作成し、誰がそれらのスキーマにアセットを追加できるかを選択することができます。カタログ内には、すべてのワークスペース・ユーザーがアセットを作成できる「default」と呼ばれるスキーマがあります(必要に応じて、ワークスペース管理者がこれらの権限を絞り込むことができます)。
  4. このリリースはDatabricksの旧バージョンをベースにしており、Hiveメタストアへのアクセスは事前に設定されています。 ワークスペースがデフォルトで使用するカタログは、'Default catalog for the workspace'(AWS|Azure)という新しい設定で指定できる。

Unity Catalogで今すぐ試すべき3つのこと!

ワークスペースがUnity Catalogにアクセスできるようになったことで、さまざまな機能が利用できるようになりました! ノートを使って今日から試してほしい3つのことを紹介しよう!

組織のデータとAI資産のカタログを作成し、安全に共有する。

データとAIの民主化には、データとAI資産へのアクセシビリティとセキュリティを確保する必要がある。 Unity Catalogは、データおよびAIリソースを容易に管理するための中央ハブをユーザーに提供することで、このプロセスを簡素化します。 これにより、ユーザーはテーブル、AIモデル、関数、ファイルを生成し、アクセス制御と監査可能性を維持しながら、それらを一箇所でカタログ化することができる。

データやAI資産を登録し、アクセス許可を定義する方法については、以下のデモをご覧ください。

 

リアルタイムのデータリネージュ(系統)を調べる

Unity Catalogは、すべてのワークロードについて、カラムレベルまでのデータリネージュ(系統)をリアルタイムで推論します。 この機能により、データおよびAI資産に対する信頼を構築し、影響分析を実施し、エンドユーザーのデータ発見を促進することができます。

以下のデモで、データ・リネージの動きをご覧ください。

 

行および列レベルのきめ細かなセキュリティの適用

Unity Catalogは、アクセスポリシーの管理を合理化し、Databricksワークロードの行と列の両方のレベルできめ細かなパーミッションの作成を可能にします。クラウドにとらわれない SQL ベースのインターフェイスにより、わかりやすく使いやすいエクスペリエンスが保証されます。ガイド(AWSAzureGCP)を参照して、 Unity Catalogの行フィルタと列マスクの詳細を確認してください。

Unityカタログのカラムマスキングについては、以下のデモをご覧ください。

 

より多くのリソースをお探しですか?

Unity CatalogをLakehouseアーキテクチャの礎として採用することで、データとAIのエコシステム全体をカバーする柔軟で拡張性の高いガバナンスソリューションの可能性が広がります。包括的なドキュメントについては AWSAzureGCPで利用可能なUnity Catalogガイドを参照して ください。その他のチュートリアルについては、Databricks Demo Centerで UnityCatalogのチュートリアルをご覧ください。 Databricks Lakehouse PlatformがデータおよびAIガバナンスの課題にどのように対処するかについては、データおよびAIガバナンスに関する無料のeBookをダウンロードしてください。

Databricks 無料トライアル

関連記事

Unity Catalogによる分散型データガバナンスと孤立した環境の実現

Original : Distributed Data Governance and Isolated Environments with Unity Catalog 翻訳: junichi.maruyama データ、アナリティクス、AIに業務を依存する組織では、効果的なデータガバナンスが不可欠です。多くの組織で、集中型データガバナンスの価値提案に対する認識が高まってきています。しかし、最高の意図を持っていても、適切な組織プロセスとリソースがなければ、集中型ガバナンスの導入は困難な場合があります。多くの組織では、最高データ責任者(CDO)の役割がまだ確立されておらず、誰が組織全体のデータガバナンス方針を定義し、実行するのかについて疑問が残ります。 その結果、組織全体のデータガバナンスポリシーを定義し実行する責任が一元化されていないことが多く、組織内のビジネスライン、サブユニット、その他の部門間でポリシーが異なったり、管理団体が異なったりすることになります。簡単のため、このパターンを分散型ガバナンスと呼ぶことにしま

Data and AI Summit 2023におけるUnityカタログの最新情報

翻訳:Junichi Maruyama. - Original Blog Link データ管理に不可欠な、説明責任、コンプライアンス、品質、透明性といったガバナンスの基本原則は、今やAIにとっても同様に不可欠なものとなっています。Databricksは Unity Catalog で、クラウドとデータプラットフォームにわたるデータとAIガバナンスのための業界唯一の統合ソリューションをリリースすることで、先駆的なアプローチを取りました。 組織はUnity Catalogを使用することで、あらゆるデータプラットフォームやクラウドでファイル、テーブル、MLモデル、ノートブック、ダッシュボードを安全に発見、アクセス、監視、コラボレーションすることができます。 私たちは、 Lakehouse Federation 、 Governance for AI 、AIを活用したガバナンス( Lakehouse Monitoring、Lakehouse Observability...

UnityカタログにLakehouseフェデレーション機能を導入

翻訳: Masahiko Kitamura オリジナル記事: Introducing Lakehouse Federation Capabilities in Unity Catalog データチームは、データの断片化、データの統合にかかる時間とコスト、多数のシステムにわたるデータガバナンスの管理の難しさなどが主な原因で、適切なデータに素早くアクセスするために多くの課題に直面しています。 そのため、本日 Data+AI Summit で、組織が統一されたガバナンスを備えた、拡張性とパフォーマンスの高いデータメッシュアーキテクチャを構築できるUnity CatalogのLakehouse Federation機能を発表できることを嬉しく思います。 Unity Catalog は、データとAIのための統合ガバナンスソリューションを提供します。Unity CatalogのLakehouseフェデレーション機能により、MySQL、PostgreSQL、Amazon Redshift、Snowflake、Azure...
製品一覧へ