Unity Catalogに新機能！Hive MetastoreとAWS Glue Federationのパブリックプレビュー開始！
Hive Metastore（HMS）とAWS Glue Federationのパブリックプレビュー開始をお知らせします！ この新機能により、Unity CatalogはDatabricks内外に存在するHive MetastoreやAWS Glueに保存されたテーブルにシームレスにアクセスし、統一的なガバナンスを提供できるようになります。これは、Unity Catalogを通じてデータベース、データウェアハウス、カタログといった外部データソースを統一ガバナンスフレームワークの下にまとめる Lakehouse Federation ビジョンの重要な一歩となります。 形式や場所を問わず、すべてのデータを単一のプラットフォームから簡単に発見、ガバナンス、クエリ可能になり、組織全体のオープンなアクセスとコラボレーションを促進します。また、データインテリジェンスをすべてのデータソースに拡張することが可能になります。 このブログでは、HMSとAWS Glue Federationのメリット、仕組み、導入方法について解説しま
UCXを使用したUnity Catalogアップグレードワークフローの自動化
組織がデータとAIのニーズに対してDatabricks Data Intelligence Platformをますます活用するにつれて、 Unity Catalog へのアップグレードは、プラットフォームの全潜在能力を引き出すための発見、ガバナンス、セキュリティを強化するための重要なステップです。Databricks Labsが開発した強力なツールであるUCXは、この遷移を自動化することでアップグレードプロセスを簡素化し、よりスムーズで効率的な旅を保証します。このブログでは、Unity Catalogへのアップグレード計画にUCXがどのように強力なパートナーとなるかを示します。 UCXとは？ UCX は、組織が非Unity CatalogワークスペースをUnity Catalogにアップグレードするのを支援するために設計されたオープンソースのDatabricks Labsプロジェクトです。このようなアップグレードの複雑さを直接理解している経験豊富なDatabricksの専門家チームによって開発されたUCXは、この
正式リリース！Unity CatalogからMicrosoft Power BIサービスへの直接公開が可能に！
「Unity Catalog から Microsoft Power BI Service へのデータ公開」機能が正式に利用可能となりました！この新機能により、 Unity Catalog のデータから数クリックで Power BI Web レポートを作成できるようになり、シームレスなカタログ統合とデータモデル同期が実現しました。Databricks の UI を離れることなく、Power BI Service に直接データセットを公開することが可能です。 Unity Catalog...
Lakehouse Federationの一般提供を開始
本日、Unity CatalogのLakehouse FederationがAWS、Azure、GCPで一般提供 (GA) されたことをお知らせします。Lakehouse Federationを使用すると、すべてのデータを一か所で発見、クエリ、管理することができます。このGAリリースにより、連携ワークロードに対する安定性、セキュリティ、エンタープライズ対応が強化されます。 このブログ投稿では、Lakehouse FederationのGA機能について説明し、世界をリードする企業でのアジャイルな分析をどのように支えているかを探求し、次に何が 来るのかを議論します。 Lakehouse Federation入門 世界中の組織は、規模や業界に関係なく、データとAIを活用して革新を推進しています。しかし、歴史的、組織的、技術的な理由から、データはしばしば複数の運用および分析システムに分散して残っています。この断片化はいくつかの課題を引き起こします： すべてのデータを発見し、アクセスするのが難しい エンジニアリングのボトルネ
Databricksデータインテリジェンスプラットフォームで実現する責任あるAI
人 工知能（AI）の変革的な可能性は明白です。生産性の向上、コスト削減、そしてあらゆる業界での意思決定の改善に至るまで、AIはバリューチェーンを革新しています。特に2022年後半からの生成AIの登場、特にChatGPTのリリース以来、この技術に対する市場の関心と熱意はさらに高まっています。 McKinsey and Co. によると、生成AIの経済的潜在能力、つまりAIによって可能になるユースケースや労働者の生産性は、世界経済に17兆ドルから26兆ドルの価値をもたらす可能性があるとされています。 この結果として、ますます多くの企業が、競争優位性を築くためにAIをビジネス戦略の中心に据えようとしています。 ゴールドマン・サックス 経済研究所は、2025年までにAIへの投資が米国で1,000億ドル、世界全体で2,000億ドルに達する可能性があると予測しています。 しかし、企業がAIを導入する際には、AIの目標に対する信頼を確立するために、品質、セキュリティ、およびガバナンスをカバーする責任あるAIの実践を優先することが
Data + AI Summit 2024：Databricks Unity Catalogの最新情報
Translation Review by saki.kitaoka 急速に進化する人工知能とデータやジェネレーティブAIツールの爆発的な増加が特徴の時代において、企業はデータとAIのガバナンスの断片化に直面しており、データとAIの民主化の努力が妨げられています。この時代に成功するためには、企業はデータとAIのガバナンスにおいてオープンで統一されたアプローチを採用する必要があります。これには次のことが含まれます： オープンな接続性： データの出所や形式に関係なく、すべてのデータの信頼できる単一の情報源を作成する。 統一されたガバナンス： すべてのデータ（ファイル、テーブル）およびAI資産（MLモデル、AIツール、ノートブック）が中央システムで発見され、安全に管理され、 監視され、追跡されるように包括的な監督を実施する。 オープンなアクセシビリティ： データとAIリソースにどのツール、コンピュートエンジン、プラットフォームからでもアクセスできる柔軟性を提供し、ロックインを回避するためにオープンスタンダードとインターフ
Data + AI サミット 2024：ガバナンスとセキュリティの必聴カタログガイド
Data + AI Summit 2024 は、2024年6月10日から13日まで対面とバーチャルで開催され、期待の高まる基調講演、セッション、デモ、ワークショップ、トレーニング、ネットワーキングイベントが予定されています。 データとAIガバナンスについてもっと知りたい方は、ぜひこのブログをご覧ください。ここでは、Databricks、お客様、パートナーによるデータガバナンストラックのセッション概要を紹介します。サミットの セッション カタログ で、すべてのセッションをチェックできます。 Databricksのセッション 基調講演 6月13日（木）朝、Databricks共同創業者Matei Zahariaが率いるアクション満載のデータガバナンス基調講演をお見逃しなく。今年の基調講演では、Databricks Data Intelligence Platformの統合ガバナンスとセキュリティレイヤーである Databricks Unity Catalog の最新進展、および デー タ共有とコラボレーション スタック
Unity Catalog ボリュームの一般提供を開始し ました！
本日 、 Unity Catalog ボリューム が AWS、Azure、GCPで一般利用可能に なったことを発表 します。 Unity Catalog は 、 Databricks Data Intelligence Platformにネイティブに組み込まれた、データおよびAI向けの統合ガバナンスソリューションを提供 します。 Unity Catalog ボリュームを使用することで、データおよびAIチームは、表データやMLモデルだけでなく、 非構造化データ、半構造化データ、構造化データなど、あらゆる種類のデータのカタログ化、セキュア化、管理 、共有、リネージ追跡を一元的に行うことができます。 このブログでは、Unity...
Databricksワークスペースに組み込まれたガバナンス機能
Databricks Unity Catalogは 、組織がさまざまなデータとAI資産を安全に発見、アクセス、監視、コラボレーションできる統合ソリューションを提供することで、データとAIのガバナンスを簡素化します。 これにはテーブル、MLモデル、ファイル、関数が含まれ、最終的に生産性を高め、Lakehouse環境の可能性を最大限に引き出します。 本日、Unity CatalogがAWSとAzure上の新しいプレミアム・ワークスペースに事前設定され、アクセス可能になったことを発表できることを嬉しく思います。 この機能は、アカウントや地域ごとに順次展開されます。 詳しくは担当者にお問い合わせください。 Unityカタログで事前設定されたワークスペースの概要 ワークスペースにいくつかの新機能が追加されていることにお気づきでしょう。 ワークスペースは、Unityカタログへのアクセス設定済みで提供されます！ アカウント管理者によるその後の有効化手順は必要ありません。 ワークスペースにちなんだ名前のカタログが見つかります（こ
Databricks UnityカタログにおけるAI生成ドキュメントのパブリックプレビューを発表
翻訳：Saki Kitaoka. - Original Blog Link 本日、 Databricks Unity Catalog のAI生成ドキュメンテーションのパブリックプレビューを発表します。この機能は、生成AIを活用し、テーブルやカラムの説明やコメントの追加を自動化することで、組織のデータやAI資産の文書化、キュレーション、ディスカバリーを簡素化します。 今日のデータ主導の状況 では、データは情報に基づいた意思決定の基盤であり、チームワークの強固な基盤を確立するには、シームレスなデータの発見性と明確性が重要です。しかし、データチームはしばしば、包括的なデータ説明がないために文脈が理解できないという重大な課題に直面します。この不足は、ユーザーがデータの潜在能力を十分に活用する妨げとなるため、このギャップを埋める簡素なデータ記述の必要性が強調されています。 さらに、表や列の適切なメタデータや説明文がないことが問題を複雑にしており、その結果、いくつかの問題が生じています： データの曖昧さ ： データの曖昧さ：表