データ共有とコラボレーションの最新情報

Databricksは、データ、AIモデル、分析をチーム、パートナー、プラットフォーム間で安全に共有し、複製やベンダーロックインを防ぐことができます。Delta Sharing、Databricks Marketplace、Clean Roomsを使用すると、ビジネスはリアルタイムで協力しながらデータのプライバシーとガバナンスを維持できます。

Databricksはデータ共有とコラボレーションの限界を引き続き押し広げています。このブログでは、以下について詳しく説明します：

• Databricks Clean Roomsの一般提供開始
• 新しいデルタ共有機能とそれらがセキュアなデータ交換をどのように改善するか
• 私たちのSAPパートナーシップにおけるDelta Sharingの役割
• なぜ私たちはDatabricksマーケットプレイスをPartner Connectと統合したのか、そしてマーケットプレイスのエコシステムがどのように拡大しているのか

それぞれの更新について、ブログの残りの部分でレビューしましょう。

クリーンルームは、現在Azure＆AWSで一般に利用可能です

Databricks Clean RoomsはDelta Sharingによって動作し、ビジネスがプライバシーを侵害することなく、または機密データを共有することなく、任意のクラウド上で顧客やパートナーと簡単に協力できます。Mastercard、Intuit、AppsFlyerなどの主要企業はすでに、ターゲット広告、詐欺検出、貸出プロセス、臨床試験の効率化などのユースケースでDatabricks Clean Roomsを使用し始めています。

新機能には、クラウド間でのフェデレーテッド共有、ヘルスケア用途向けのHIPAA準拠サポート、オートメーションのための管理API、単一のメタストア内でのセルフコラボレーションが含まれます。GA（一般提供）発表ブログをご覧ください。

Delta Sharingを用いたデータ共有の成長を推進

最近、クロスプラットフォームビュー共有、OpenID Connectを用いたセキュアなオープン共有、テーブル読み込みパフォーマンスを向上させる履歴共有、サーバーレス出口制御、Lakehouse Federation Sharingなど、いくつかの新機能を導入しました。これらの強化により、Delta Sharingは厳格なセキュリティプロトコルを適用しながら、マルチクラウドエコシステムのための効率的なクロスプラットフォームデータ協力を提供します。

クロスプラットフォームビュー共有

最近、クロスプラットフォームビュー共有のパブリックプレビューを開始しました。ビュー共有は非常に便利で、他のベンダーでも実施されていますが、これまでは主に同じプラットフォーム内での利用に限られていました。つまり、同一プラットフォーム内ではビューを共有できましたが、複数のプラットフォームやクラウド間での共有はできませんでした。以前は、Databricksアカウント間でビューが共有されると、消費者はDatabricks SQL Serverlessのみを使用してクエリを実行していました。

Databricksはこの問題を解決し、クロスプラットフォームビュー共有を実現しました。これにより、異なる環境間でビューをシームレスに共有できるようになります。今では、データ消費者は任意のタイプのDatabricksクラスターを活用したり、オープンなDelta Sharingクライアントを使用して共有ビューにアクセスし、クエリを実行したりできます。これはゲームチェンジャーであり、データ提供者のリーチを拡大し、データ消費者に対するベンダーロックインを回避できるため、コラボレーションがより簡単かつ迅速に行えるようになります。このデモをチェックして、クロスプラットフォームビュー共有がどのように機能するかをご覧ください。

OIDCトークン連携によるセキュアなオープン共有

OIDCトークン連携によるセキュアなオープン共有は、近くゲート付きのパブリックプレビューになる予定です。オープンな受信者は、OpenID Connect（OIDC）またはOAuthトークンを使用して、選択したIdentity Providers（IdPs）を通じて認証することができるようになりました。これにより、Databricks以外の受信者と共有する際の直接的な機密情報の交換を排除することで、露出リスクが軽減されます（Databricks-to-Open Sharing）。

重要な書類が入ったロックされたボックスを誰かと共有していると想像してみてください。彼らに物理的な鍵を渡す代わりに（それは紛失したり盗まれたりする可能性があります）、彼らは信頼できるシステム、例えば彼らの職場のバッジからの自分自身のセキュアなIDカードを使ってボックスを開けることができます。

これは、Databricksが現在、開放的な受信者が自分自身の信頼できるIdentity Providers（GoogleやMicrosoftなど）を使用して、センシティブなキーやパスワードを交換することなく、共有データに安全にアクセスできるようにする方法と似ています。

レイクハウスフェデレーション共有
Databricksの外部に存在するデータ、例えばデータベースを共有する必要がある場合はどうしますか？別の共有ソリューションを見つける必要がありますか？不要です。

レイクハウスフェデレーションの共有が答えです。顧客は、データを移動またはコピーすることなく、SnowflakeやGoogle BigQueryなどのデータベースやデータウェアハウスを含むデータプラットフォーム全体で直接データを共有することができるようになりました。この差別化機能は、顧客が高価なETLプロセスを排除し、元の非Databricksロケーションのデータへのリアルタイムアクセスを確保するのに役立ちます。

Lakehouse Federation Sharingは現在プライベートプレビュー中です。

履歴共有によるテーブル読み込みパフォーマンスの高速化
履歴共有によるテーブル読み込みパフォーマンスの改善は公開プレビュー中です。この機能は、履歴共有時にDatabricksワークスペース間で共有テーブルを読み取るパフォーマンスを向上させます。これは、クラウドストレージからの一時的なセキュリティ資格情報を使用したクラウドトークンベースのアプローチを活用し、すべてのテーブルディレクトリを安全に共有し、各ファイル共有の事前署名の必要性を排除します。これらの資格情報は、ソーステーブルに直接アクセスするのと同等のパフォーマンスレベルを達成するための、より高速なデータ取得を可能にします。

サーバーレスイグレスコントロール
Delta Sharingのためのサーバーレスイグレスコントロールを導入し、受信者のサーバーレス環境がオープンインターネットから安全で孤立した状態を維持することを確保しました。この機能は、受信者がDelta Sharesに関連付けられた承認済みのストレージ場所のみにアクセスできるようにすることで、セキュリティを強化し、不正なデータアクセスのリスクを軽減します。

デルタ共有によるSAPパートナーシップ

新たに発表されたSAP–Databricksパートナーシップにより、「SAP Databricks」は現在、SAP Business Data Cloudのネイティブコンポーネントとなり、Delta Sharingを介したSAP Databricksとエンタープライズ環境間の双方向データ共有を可能にしています。AIと分析のために既存のDatabricksアカウントを活用したい組織の場合、SAPデータもDelta Sharingを使用して統合できます。

このパートナーシップの中心には、Delta Sharingがあり、SAP Business Data CloudとDatabricks（SAP Databricksであろうと、顧客の現在のDatabricksワークスペースであろうと）間のシームレスで安全なデータ交換を提供します。このアプローチは、SAPデータをそのオリジナルの場所（SAPビジネスデータクラウド）に保持することでデータの不整合のリスクを減らし、組織がSAPの投資の価値を最大化することを可能にします。これは、Databricksプラットフォーム全体での高度な分析とAIを使用して、企業のデータと組み合わせることにより実現されます。

Databricksマーケットプレイスの勢いが続いています

Databricksマーケットプレイスは絶好調で、驚異的なペースで成長を続けています。これは最も成長が早いデータとAIのマーケットプレイスの一つです。私たちはPartner Connectの統合と、ダン・アンド・ブラッドストリートの広範なビジネスデータの追加を発表することを嬉しく思います。

パートナーコネクトは現在、マーケットプレイスUIの一部です

パートナーコネクトは現在、DatabricksマーケットプレイスUIの一部であり、顧客がエコシステムの提供を発見し、アクセスする方法を合理化します。すべてのパートナーソリューション、サードパーティ製品や統合を含む、は現在、Databricksのメインナビゲーションメニュー内の単一の、集中化されたエントリーポイントを通じてアクセス可能です。複数のインターフェースをナビゲートするのはもう終わり—すべてが今では一つの場所にあります。

ダン＆ブラッドストリートの6億以上のビジネスレコードが利用可能になりました

複雑なデータ転送の手間を省いて、ほぼリアルタイムで更新される6億以上のビジネスレコードにアクセスできたらどうでしょうか？Dun＆Bradstreetの豊富なデータセットがDatabricksマーケットプレイスで利用可能になり、重要なビジネスインテリジェンスへのシームレスで安全でスケーラブルなアクセスを提供します。

このデータセットは、顧客が以下のような洞察を得るのに役立ちます

• 最も重要な関係に関する基本的な連絡先情報。
• 企業の流動性を理解し、将来のリスクを防ぎます。
• アカウント内のクロスセルとアップセルの機会を特定します。
• アカウントリスト全体で最も重要なコンタクトを理解します。
• そして、あなたのアカウントリストの購入準備度を理解します。

“信頼性があり、信頼できる最新のデータは、情報に基づいた意思決定の基盤です。ダン＆ブラッドストリートのデータセットと分析的洞察力の力と、Databricksマーケットプレイスの開放性、スケーラビリティ、セキュリティは、組織がデータの力を必要なときと場所で彼らのビジネス目標を加速するために活用するための強固な基盤を提供します。”

— Ginny Gomez、ダン＆ブラッドストリート北米社長

企業がD&Bデータからどのように利益を得るかの仮想的なシナリオを考えてみてください。ManuCorpは、供給業者の財政不安、地政学的な緊張、環境遵守問題などの要因により、大きなサプライチェーンリスクに直面しているグローバル製造企業です。これらの課題に対処するため、同社はDatabricks Marketplaceを通じて利用可能なDun & Bradstreet（D&B）のデータセットに頼っています。これらのデータセットを購読することで、ManuCorpは、供給業者の財政状況、リスクスコア、ESG評価などのリアルタイム情報にアクセスできます。これらは、Delta Sharingを介してManuCorpのUnity Catalogで即座に利用可能になります。

このデータを使用して、ManuCorpは供給業者の徹底的なリスク評価を行い、高いデフォルト確率を持つものや国際的な制裁の対象となっているものを特定します。これにより、サプライヤーとの関係の積極的な管理とリスクの軽減が可能になります。また、同社はDatabricks内の予測分析を活用して、地政学的な出来事や自然災害からの潜在的な混乱を予測し、最適化された輸送ルートと緊急計画を可能にしています。

下のデモでは、D&Bのツールを活用してビジネスが信頼性のあるビジネス情報でデータを強化し、継続的な監視を通じて最新の洞察を維持する方法を示しています。すべての更新は「デルタシェア」として共有され、そのビジネスにとっての変更に対するリアルタイムの洞察を提供します。これにより、意思決定のためのデータの精度と関連性が継続的に保証されます。

Dun & Bradstreet on Databricks Marketplaceをチェックしてみてください。

これらはただの始まりであり、データ共有を強化するためのさらなる革新が進行中です。Databricksは近く、Materialized ViewsとStreaming Table Sharingを提供する予定で、リアルタイムデータと事前計算されたクエリ結果のシームレスな共有を可能にし、パフォーマンスとコスト効率を向上させます。さらに、Databricks Marketplaceは、Databricks AppsとAIアシスタントを導入し、会話型のプロンプトを通じてデータ製品の発見を簡素化します。

データ共有とコラボレーションについてもっと学ぶことをお勧めします。データ共有の新しいアプローチの3rd版をチェックしてみてください