Databricks と Linux Foundation は、データ、分析、AI 全体のデータ共有のための世界初のオープンソースのアプローチである Delta Sharing を開発しました。これにより、ユーザーは、強力なセキュリティとガバナンスを備えたプラットフォームで、クラウドや地域を問わずライブデータを共有できます。
主なメリット
プラットフォームを問わないオープンな共有
Delta Lake や Apache Parquet 形式の既存データを、あらゆるコンピューティングプラットフォームで容易に共有できます。
レプリケーション不要のライブデータ共有
他のシステムにレプリカの作成やコピーをしなくても、ライブデータを共有できます。
ガバナンスの一元化
共有データのガバナンス、監査、使用状況の追跡を 1 つのプラットフォームで一元管理できます。
データ製品のマーケットプレイス
データセット、ML モデル、ノートブックなどのデータ製品を構築・パッケージ化し、集約されたマーケットプレイスを介して提供できます。
プライバシー保護を考慮したデータクリーンルーム
データのプライバシーが保護されたホステッド環境が、主要なクラウド上での顧客やパートナーとのセキュアなコラボレーションを可能にします。
仕組み
Databricks プラットフォームとのネイティブな統合
Delta Sharing は、Unity Catalog とのネイティブな統合により、組織間の共有データを一元的管理、監査できます。データ資産をベンダーやパートナーとセキュアに共有して連携を強化すると同時に、セキュリティおよびコンプライアンスの要件を満たします。
容易な共有管理
使いやすい UI、SQL コマンド、または CLI と Terraform を完全にサポートする REST API を使用して、プロバイダー、受信者、共有を作成および管理します。
オープンなマーケットプレイスでのデータ製品の発見とアクセス
Databricks マーケットプレイスでは、Databricks プラットフォームの利用を問わず、データセット、機械学習モデル、ダッシュボード、ノートブックをはじめとするデータ製品をどこからでも容易に発見し、評価、アクセスできます。
プライバシー保護を考慮したデータクリーンルーム
Databricks クリーンルームを利用し、データのプライバシーが保護された環境で、顧客やパートナーと主要なクラウド上でコラボレーションできます。データレイクにあるデータのレプリカを作成しなくても、データをセキュアに共有できます。任意のクラウド上でコラボレーションが可能で、 SQL、R、Scala、Java、Python といったあらゆる言語で複雑な計算やワークロードを柔軟に実行できます。汎用的なユースケースでは、テンプレート、ノートブック、ダッシュボード機能がユーザーを支援し、知見の取得を加速させます。
ユースケース
Delta Sharing を使用して Data Mesh を構築し、関連会社を含めた組織内でセキュアにデータを共有する。
導入事例
「シェルのカーボンネットゼロの目標を達成するうえで、データのオープン性は重要なカギです。Delta Sharing が提供する標準的で管理されたセキュアなプロトコルにより、膨大な量のデータをパートナーと容易に共有できるようになりました。パートナーと同じデータ共有プラットフォームを利用しなくても、目標に向かって取り組むことができます。」
「Delta Sharing を活用し、大規模なデータセットのデータ供給を効率化しました。クライアントの現行のコンピュート環境で、統合のための工数をほとんどかけずに、キュレートされた最新データの読み取りができるようになりました。高品質でユニークなデータ製品の開発が促進されています。」
「Databricks Marketplace のあらかじめ組み込まれたノートブックを利用することで、ベンダーロックインや調達サイクルの長期化に煩わされることなく、外部データを発見し評価するプロセスを簡素化できます。数回クリックするだけで、Databricks のワークスペース内のデータにアクセスできます。私たちは、Databricks Marketplace を通じてノートブック、ダッシュボード、ML モデルを活用し、分析と AI への取り組みを強化する予定です。」
「データ企業としては、顧客にデータアセットへのアクセスを提供することは極めて重要です。Databricks レイクハウスプラットフォームの Delta Sharing によってプロセスを効率化することで、クラウドやプラットフォームの種類を問わず、幅広いユーザー層へのセキュアなリーチが可能になりました。」
「Pumpjack Dataworks では、Databricks の Delta Sharing の優れた機能を活用することで、オンボーディングが迅速化し、データのエクスポート／インポート、リモデリングが不要になりました。迅速な結果を顧客に提供し、顧客とそのパートナーに大きな商機をもたらしています。」
「Dalta Sharing により、顧客はキュレートされたデータセットにほぼ瞬時にアクセスし、任意の分析ツールに統合できるようになりました。顧客とのやり取りは、かつてはインジェストなどに関する基本的な内容が多かったのですが、今では分析に関するものなど高度な内容になり、顧客体験の向上につながっています。Delta Sharing によって、新たなデータセットの供給と既存データの更新がシームレスになり、顧客における各業界の動向把握を可能にしています。」
オープンなエコシステム
使いやすい SQL、Python、BI ツールを使用して、最新の公開バー ジョンにプロバイダから直接アクセスできます。
