Databricks と Linux Foundation は、データ、分析、AI 全体のデータ共有のための世界初のオープンソースのアプローチである Delta Sharing を開発しました。これにより、ユーザーは、強力なセキュリティとガバナンスを備えたプラットフォームで、クラウドや地域を問わずライブデータを共有できます。
主なメリット
プラットフォームを問わないオープンな共有
Delta Lake や Apache Parquet 形式の既存データを、あらゆるコンピューティングプラットフォームで容易に共有できます。
レプリケーション不要のライブデータ共有
異なるプラットフォーム間やクラウドサービス間、地域間でデータをコピーすることなく共有できます。データ共有にエグレス料金がかからない Cloudflare R2 を使用することで、コストを削減できます。
ガバナンスの一元化
共有データのガバナンス、監査、使用状況の追跡を 1 つのプラットフォームで一元管理できます。
データ製品のマーケットプレイス
データセット、AI モデル、ノートブックなどのデータ製品を構築・パッケージ化し、オープンなマーケットプレイスを介して提供できます。
プライバシー保護を考慮したデータクリーンルーム
データのプライバシーが保護されたホステッド環境が、主要なクラウド上での顧客やパートナーとのセキュアなコラボレーションを可能にします。
仕組み
Databricks プラットフォームとのネイティブな統合
Delta Sharing は、Unity Catalog とのネイティブな統合により、組織間の共有データを一元的管理、監査できます。データ資産をベンダーやパートナーとセキュアに共有して連携を強化すると同時に、セキュリティおよびコンプライアンスの要件を満たします。
データと AI アセットを容易に管理
構造化データセットや、ボリューム共有された非構造化データセット、AI モデル、ノートブック、コードなど、あらゆる種類のデータ資産をコラボレーションすることで、AI／BI ワークロードを強化します。Cross-Platform View Sharing、Materialized Views、Streaming Tables Sharingのプレビューへの早期アクセスリクエストを受け付けています。
オープンなマーケットプレイスでのデータ製品の発見とアクセス
Databricks マーケットプレイスでは、Databricks プラットフォームの利用を問わず、データセット、AI モデル、ダッシュボード、ノートブックをはじめとするデータ製品をどこからでも容易に発見し、評価、アクセスできます。
プライバシー保護を考慮したデータクリーンルーム
Databricks クリーンルームを利用し、データのプライバシーが保護された環境で、顧客やパートナーと主要なクラウド上でコラボレーションできます。レプリカを作成しなくても、データをセキュアに共有できます。任意のクラウド上でコラボレーションが可能で、 SQL、Python、さらには R、Scala、Java（近日中に利用可能） といったあらゆる言語で複雑な計算やワークロードを柔軟に実行できます。汎用的なユースケースでは、テンプレート、ノートブック、ダッシュボード機能がユーザーを支援し、インサイトの取得を加速させます。
ユースケース
Delta Sharing を使用して Data Mesh を構築し、関連会社を含めた組織内でセキュアにデータを共有する。
導入事例
「Atlassian Analytics は最近、Databricks の Delta Sharing を活用した Data Shares を開始しました。...Tableau、Power BI、Spark を含む Delta Sharing のコネクタのオープンなエコシステムにより、顧客はアトラシアンのデータレイクから直接データを使用して容易に環境を強化できます。」
「Databricks と Delta Sharing で、包括的なエンドツーエンドのエコシステムを手に入れ、がん領域における深いインサイトを得ることができるようになりました。」
「これまでも、私たちの各事業はそれぞれ独自の技術スタックで成長してきました。また、マルチクラウド戦略を追求しています。単一のクラウドの使用や、特定のベンダーに縛られることなく、それらを接続するために Delta Sharing を使用しています。」
「シェルのカーボンネットゼロの目標を達成するうえで、データのオープン性は重要なカギです。Delta Sharing が提供する標準的で管理されたセキュアなプロトコルにより、膨大な量のデータをパートナーと容易に共有できるようになりました。パートナーと同じデータ共有プラットフォームを利用しなくても、目標に向かって取り組むことができます。」
「Delta Sharing を活用し、大規模なデータセットの データ供給を効率化しました。クライアントの現行のコンピュート環境で、統合のための工数をほとんどかけずに、キュレートされた最新データの読み取りができるようになりました。高品質でユニークなデータ製品の開発が促進されています。」
「Delta Sharing を使用し、ワークスペース ID を付与した後、10 分以内に Databricks のワークスペースにデータのテーブルが表示されました。」
「データ企業としては、顧客にデータアセットへのアクセスを提供することは極めて重要です。Databricks データインテリジェンスプラットフォームの Delta Sharing によってプロセスを効率化することで、クラウドやプラットフォームの種類を問わず、幅広いユーザー層へのセキュアなリーチが可能になりました。」
「Pumpjack Dataworks では、Databricks の Delta Sharing の優れた機能を活用することで、オンボーディングが迅速化し、データのエクスポート／インポート、リモデリングが不要になりました。迅速な結果を顧客に提供し、顧客とそのパートナーに大きな商機をもたらしています。」
「Dalta Sharing により、顧客はキュレートされたデータセットにほぼ瞬時にアクセスし、任意の分析ツールに統合できるようになりました。顧客とのやり取りは、かつてはインジェストなどに関する基本的な内容が多かったのですが、今では分析に関するものなど高度な内容になり、顧客体験の向上につながっています。Delta Sharing によって、新たなデータセットの供給と既存データの更新がシームレスになり、顧客における各業界の動向把握を可能にしています。」
オープンなエコシステム
使いやすい SQL、Python、BI ツールを使用して、最新の公開バージョンにプロバイダから直接アクセスできます。
