本日、Unity CatalogのLakehouse FederationがAWS、Azure、GCPで一般提供 (GA) されたことをお知らせします。Lakehouse Federationを使用すると、すべてのデータを一か所で発見、クエリ、管理することができます。このGAリリースにより、連携ワークロードに対する安定性、セキュリティ、エンタープライズ対応が強化されます。 このブログ投稿では、Lakehouse FederationのGA機能について説明し、世界をリードする企業でのアジャイルな分析をどのように支えているかを探求し、次に何が来るのかを議論します。 Lakehouse Federation入門 世界中の組織は、規模や業界に関係なく、データとAIを活用して革新を推進しています。しかし、歴史的、組織的、技術的な理由から、データはしばしば複数の運用および分析システムに分散して残っています。この断片化はいくつかの課題を引き起こします： すべてのデータを発見し、アクセスするのが難しい エンジニアリングのボトルネ

人工知能（AI）の変革的な可能性は明白です。生産性の向上、コスト削減、そしてあらゆる業界での意思決定の改善に至るまで、AIはバリューチェーンを革新しています。特に2022年後半からの生成AIの登場、特にChatGPTのリリース以来、この技術に対する市場の関心と熱意はさらに高まっています。 McKinsey and Co. によると、生成AIの経済的潜在能力、つまりAIによって可能になるユースケースや労働者の生産性は、世界経済に17兆ドルから26兆ドルの価値をもたらす可能性があるとされています。 この結果として、ますます多くの企業が、競争優位性を築くためにAIをビジネス戦略の中心に据えようとしています。 ゴールドマン・サックス 経済研究所は、2025年までにAIへの投資が米国で1,000億ドル、世界全体で2,000億ドルに達する可能性があると予測しています。 しかし、企業がAIを導入する際には、AIの目標に対する信頼を確立するために、品質、セキュリティ、およびガバナンスをカバーする責任あるAIの実践を優先することが

Translation Review by saki.kitaoka 急速に進化する人工知能とデータやジェネレーティブAIツールの爆発的な増加が特徴の時代において、企業はデータとAIのガバナンスの断片化に直面しており、データとAIの民主化の努力が妨げられています。この時代に成功するためには、企業はデータとAIのガバナンスにおいてオープンで統一されたアプローチを採用する必要があります。これには次のことが含まれます： オープンな接続性： データの出所や形式に関係なく、すべてのデータの信頼できる単一の情報源を作成する。 統一されたガバナンス： すべてのデータ（ファイル、テーブル）およびAI資産（MLモデル、AIツール、ノートブック）が中央システムで発見され、安全に管理され、監視され、追跡されるように包括的な監督を実施する。 オープンなアクセシビリティ： データとAIリソースにどのツール、コンピュートエンジン、プラットフォームからでもアクセスできる柔軟性を提供し、ロックインを回避するためにオープンスタンダードとインターフ

Data + AI Summit 2024 は、2024年6月10日から13日まで対面とバーチャルで開催され、期待の高まる基調講演、セッション、デモ、ワークショップ、トレーニング、ネットワーキングイベントが予定されています。 データとAIガバナンスについてもっと知りたい方は、ぜひこのブログをご覧ください。ここでは、Databricks、お客様、パートナーによるデータガバナンストラックのセッション概要を紹介します。サミットの セッション カタログ で、すべてのセッションをチェックできます。 Databricksのセッション 基調講演 6月13日（木）朝、Databricks共同創業者Matei Zahariaが率いるアクション満載のデータガバナンス基調講演をお見逃しなく。今年の基調講演では、Databricks Data Intelligence Platformの統合ガバナンスとセキュリティレイヤーである Databricks Unity Catalog の最新進展、および データ共有とコラボレーション スタック

本日 、 Unity Catalog ボリューム が AWS、Azure、GCPで一般利用可能に なったことを発表 します。 Unity Catalog は 、 Databricks Data Intelligence Platformにネイティブに組み込まれた、データおよびAI向けの統合ガバナンスソリューションを提供 します。 Unity Catalog ボリュームを使用することで、データおよびAIチームは、表データやMLモデルだけでなく、 非構造化データ、半構造化データ、構造化データなど、あらゆる種類のデータのカタログ化、セキュア化、管理、共有、リネージ追跡を一元的に行うことができます。 このブログでは、Unity...

Databricks Unity Catalogは 、組織がさまざまなデータとAI資産を安全に発見、アクセス、監視、コラボレーションできる統合ソリューションを提供することで、データとAIのガバナンスを簡素化します。 これにはテーブル、MLモデル、ファイル、関数が含まれ、最終的に生産性を高め、Lakehouse環境の可能性を最大限に引き出します。 本日、Unity CatalogがAWSとAzure上の新しいプレミアム・ワークスペースに事前設定され、アクセス可能になったことを発表できることを嬉しく思います。 この機能は、アカウントや地域ごとに順次展開されます。 詳しくは担当者にお問い合わせください。 Unityカタログで事前設定されたワークスペースの概要 ワークスペースにいくつかの新機能が追加されていることにお気づきでしょう。 ワークスペースは、Unityカタログへのアクセス設定済みで提供されます！ アカウント管理者によるその後の有効化手順は必要ありません。 ワークスペースにちなんだ名前のカタログが見つかります（こ

翻訳：Saki Kitaoka. - Original Blog Link 本日、 Databricks Unity Catalog のAI生成ドキュメンテーションのパブリックプレビューを発表します。この機能は、生成AIを活用し、テーブルやカラムの説明やコメントの追加を自動化することで、組織のデータやAI資産の文書化、キュレーション、ディスカバリーを簡素化します。 今日のデータ主導の状況では、データは情報に基づいた意思決定の基盤であり、チームワークの強固な基盤を確立するには、シームレスなデータの発見性と明確性が重要です。しかし、データチームはしばしば、包括的なデータ説明がないために文脈が理解できないという重大な課題に直面します。この不足は、ユーザーがデータの潜在能力を十分に活用する妨げとなるため、このギャップを埋める簡素なデータ記述の必要性が強調されています。 さらに、表や列の適切なメタデータや説明文がないことが問題を複雑にしており、その結果、いくつかの問題が生じています： データの曖昧さ ： データの曖昧さ：表

翻訳：Junichi Maruyama. - Original Blog Link Data and AI Summit 2023では、Databricks Unity Catalogの Volumes を紹介した。この機能により、Unity Catalog内の表形式データとともに、非構造化データ、半構造化データ、構造化データなど、あらゆる非表形式データの発見、管理、処理、系譜の追跡が可能になります。本日、AWS、Azure、GCPで利用可能な Volumes のパブリックプレビューを発表できることを嬉しく思います。 このブログでは、表形式以外のデータに関連する一般的なユースケースについて説明し、Unity CatalogのVolumesを使用した主な機能の概要を提供し、Volumesの実用的なアプリケーションを示す作業例を紹介し、Volumesを開始する方法の詳細を提供します。 非表形式データのガバナンスとアクセスに関連する一般的なユースケース Databricks Lakehouse...

翻訳：Saki Kitaoka. - Original Blog Link Databricksは、データ、アナリティクス、AIを横断するデータ共有とコラボレーション( data sharing and collaboration )のための初のオープンソースアプローチを提供します。お客様は、ベンダーに依存することなく、プラットフォーム、クラウド、地域を超えて、ライブデータセット、AIモデル、アプリケーション、ノートブックを共有することができます。プロバイダーは、革新的なデータ製品を提供する機会を拡大することで、イノベーションを加速し、新たな収益源を生み出すことができます。この柔軟性は、 Delta Sharing を Databricks Unity Catalog と統合して、共有データセットへのアクセスを管理、追跡、監査することで、強固なセキュリティとガバナンスとともに実現されます。Lakehouse Collaboration Platformを進化させる新機能を発表できることを嬉しく思います。Datab