Unity Catalogに新機能！Hive MetastoreとAWS Glue Federationのパブリックプレビュー開始！
Hive Metastore（HMS）とAWS Glue Federationのパブリックプレビュー開始をお知らせします！ この新機能により、Unity CatalogはDatabricks内外に存在するHive MetastoreやAWS Glueに保存されたテーブルにシームレスにアクセスし、統一的なガバナンスを提供できるようになります。これは、Unity Catalogを通じてデータベース、データウェアハウス、カタログといった外部データソースを統一ガバナンスフレームワークの下にまとめる Lakehouse Federation ビジョンの重要な一歩となります。 形式や場所を問わず、すべてのデータを単一のプラットフォームから簡単に発見、ガバナンス、クエリ可能になり、組織全体のオープンなアクセスとコラボレーションを促進します。また、データインテリジェンスをすべてのデータソースに拡張することが可能になります。 このブログでは、HMSとAWS Glue Federationのメリット、仕組み、導入方法について解説しま
Data + AI Summit 2024：Databricks Unity Catalogの最新情報
Translation Review by saki.kitaoka 急速に進化する人工知能とデータやジェネレーティブAIツールの爆発的な増加が特徴の時代において、企業はデータとAIのガバナンスの断片化に直面しており、データとAIの民主化の努力が妨げられています。この時代に成功するためには、企業はデータとAIのガバナンスにおいてオープンで統一されたアプローチを採用する必要があります。これには次のことが含まれます： オープンな接続性： データの出所や形式に関係なく、すべてのデータの信頼できる単一の情報源を作成する。 統一されたガバナンス： すべてのデータ（ファイル、テーブル）およびAI資産（MLモデル、AIツール、ノートブック）が中央システムで発見され、安全に管理され、監視され、追跡されるように包括的な監督を実施する。 オープンなアクセシビリティ： データとAIリソースにどのツール、コンピュートエンジン、プラットフォームからでもアクセスできる柔軟性を提供し、ロックインを回避するためにオープンスタンダードとインターフ
Databricksワークスペースに組み込まれたガバナンス機能
Databricks Unity Catalogは 、組織がさまざまなデータとAI資産を安全に発見、アクセス、監視、コラボレーションできる統合ソリューションを提供することで、データとAIのガバナンスを簡素化します。 これにはテーブル、MLモデル、ファイル、関数が含まれ、最終的に生産性を高め、Lakehouse環境の可能性を最大限に引き出します。 本日、Unity CatalogがAWSとAzure上の新しいプレミアム・ワークスペースに事前設定され、アクセス可能になったことを発表できることを嬉しく思います。 この機能は、アカウントや地域ごとに順次展開されます。 詳しくは担当者にお問い合わせください。 Unityカタログで事前設定されたワークスペースの概要 ワークスペースにいくつかの新機能が追加されていることにお気づきでしょう。 ワークスペースは、Unityカタログへのアクセス設定済みで提供されます！ アカウント管理者によるその後の有効化手順は必要ありません。 ワークスペースにちなんだ名前のカタログが見つかります（こ
Data and AI Summit 2023におけるUnityカタログの最新情報
翻訳：Junichi Maruyama. - Original Blog Link データ管理に不可欠な、説明責任、コンプライアンス、品質、透明性といったガバナンスの基本原則は、今やAIにとっても同様に不可欠なものとなっています。Databricksは Unity Catalog で、クラウドとデータプラットフォームにわたるデータとAIガバナンスのための業界唯一の統合ソリューションをリリースすることで、先駆的なアプローチを取りました。 組織はUnity Catalogを使用することで、あらゆるデータプラットフォームやクラウドでファイル、テーブル、MLモデル、ノートブック、ダッシュボードを安全に発見、アクセス、監視、コラボレーションすることができます。 私たちは、 Lakehouse Federation 、 Governance for AI 、AIを活用したガバナンス（ Lakehouse Monitoring、Lakehouse Observability...
Unity Catalogによる分散型データガバナンスと孤立した環境の実現
Original : Distributed Data Governance and Isolated Environments with Unity Catalog 翻訳： junichi.maruyama データ、アナリティクス、AIに業務を依存する組織では、効果的なデータガバナンスが不可欠です。多くの組織で、集中型データガバナンスの価値提案に対する認識が高まってきています。しかし、最高の意図を持っていても、適切な組織プロセスとリソースがなければ、集中型ガバナンスの導入は困難な場合があります。多くの組織では、最高データ責任者（CDO）の役割がまだ確立されておらず、誰が組織全体のデータガバナンス方針を定義し、実行するのかについて疑問が残ります。 その結果、組織全体のデータガバナンスポリシーを定義し実行する責任が一元化されていないことが多く、組織内のビジネスライン、サブユニット、その他の部門間でポリシーが異なったり、管理団体が異なったりすることになります。簡単のため、このパターンを分散型ガバナンスと呼ぶことにしま
一般提供を発表：Unity Catalog でのデータリネージ
本日、AWS と Azure で利用可能な Unity Catalog において、データリネージの一般提供を開始したことをお知らせします。データリネージの一般提供により、Databricks レイクハウスプラットフォーム上のミッションクリティカルなワークロードに対して、最高レベルの安定性、サポート、エンタープライズレディネスを期待することができます。データリ ネージガイド（ AWS | Azure ）を参照してください。 このブログでは、データリネージを実用的なデータガバナンス戦略の重要な手段として活用する方法、GA リリースで利用できる主要機能の一部、および Unity Catalog でデータリネージを開始する方法について説明します。 データリネージでデータの観測性とコンプライアンスを向上させる Unity Catalog は、データ、分析、AIのための統合ガバナンスソリューションで、データチームがすべてのデータとAI資産をカタログ化し、ANSI SQL に基づく使い慣れたインターフェースを使用してきめ細かいア