クロスプラットフォームにおけるビューの共有がパブリックプレビューに なりました🚀

クロスプラットフォームにおけるビューの共有のパブリックプレビューを発表できることを嬉しく思います。

本日より利用可能なこの機能により、データプロバイダーは異なるプラットフォーム、クラウド、リージョン間でビューを共有できるようになり、オープンで相互運用可能なデータエコシステムを促進します。

ビュー共有はこれまでも便利な機能として利用されてきましたが、他のベンダーが提供する機能は同一プラットフォーム内に限定されることがほとんどでした。つまり、1つのプラットフォーム内でビューを共有することはできても、複数のプラットフォームやクラウド間での共有はできませんでした。この課題を解決するのが、Databricksのクロスプラットフォームビュー共有です。この機能を使用することで、異なる環境間でビューをシームレスに共有できるようになります。これは、データプロバイダーの影響範囲を広げるだけでなく、データ消費者にとってのベンダーロックインを回避し、コラボレーションをより簡単かつ迅速にする画期的な進化です。

クロスプラットフォーム共有は、異なるプラットフォーム、クラウド、リージョン間で安全かつシームレスなデータ交換を可能にすることで、Databricksのオープンな共有ビジョンと完全に一致しています。

ビュー共有の理解

ビュー共有を理解するために、まずビューについて説明しましょう。Databricksでは、ビューとはテーブルや他のビューから作成されたデータの読み取り専用の表現を指します。ビューにはクエリのテキストが保存されますが、データそのものは保存されません。ビューはUnity Catalogの一部です。

ビュー共有は、Delta Sharingプロトコルを使用してビューを共有できる機能です。Delta Sharingは、安全なデータ共有を実現する業界初のオープンプロトコルであり、使用するデータプラットフォームに関係なく、他の組織と簡単にデータを共有できます。ビュー共有は再利用性を促進し、冗長性を削減します。複数のユーザーが同じビューにアクセスして利用できるため、分析が効率的に行えるようになります。

これまでは、Databricksアカウント間でビューを共有する場合、消費者はDatabricks Serverless SQLを使用してのみクエリを実行できました。Databricks Serverless SQLは、AWS、Azure、Google Cloud Platform (GCP) の3大クラウドプロバイダーすべてで動作するため、ビューをクラウド間で共有することが可能でした。

しかし、現在のクロスプラットフォームビュー共有では、データ消費者は任意のタイプのDatabricksクラスターを活用するだけでなく、オープンなDelta Sharingクライアントを使用して共有ビューにアクセスしてクエリを実行できるようになりました。
オープンDelta Sharingクライアントとは、Delta Sharingプロトコルをサポートするツールやプラットフォームを指し、Databricksを使用せずに共有ビューにアクセスできるものです。これには、Apache Spark™、Pandas、Power BI、Tableauなどの一般的なシステムが含まれます。この仕組みにより、Databricksを使用していないプラットフォームのユーザーでも、Delta Sharingを介して共有ビューにアクセスしてクエリを実行することが可能になります。

それでは、クロスプラットフォームビュー共有の実際の動作をデモでご覧ください！

ユースケース

DatabricksからDatabricksへの共有（D2D）

このシナリオでは、Databricksの顧客2社が、Databricksエコシステム内でシームレスにビューを共有できます。なぜこれが重要なのでしょうか？
企業は異なるクラウドや地域にいるパートナーと協力することが多く、クラウドや地域をまたいでビューをクライアントやパートナーと共有したいと考えています。Delta Sharingテクノロジーを活用することで、データを重複コピーすることなく、ビューをシームレスかつ安全に共有できます。

Databricks to Open (D2O) 共有

このシナリオでは、Databricksの顧客がDatabricksを使用していない外部受信者とビューを共有できます。クロスプラットフォームビュー共有は、Apache Spark™、Pandas、Power BI、Tableauなどのオープンコネクタをサポートし、受信者がDelta Sharingプロトコルを介して共有ビューにアクセスできるようにします。この機能は、複雑なデータプラットフォームに直接触れることなく、データに簡単にアクセスする必要があるビジネスアナリストや業務ユーザーにとって特に有益です。

Databricksマーケットプレイスのデータプロバイダーは、クロスプラットフォームビュー共有を活用することで、市場リーチと収益化の機会を大幅に拡大できます。この機能により、Databricksを使用していないクライアントを含む、より広いオーディエンスとビューを共有でき、潜在的な顧客基盤を増やすことが可能になります。
さらに、データ消費者はDatabricksプラットフォームに制限されることなくビューをクエリできるため、Databricksへのロックインを回避できます。

クロスプラットフォームビュー共有は、私たちの顧客にとってゲームチェンジャーです。複雑な企業で大規模にゼロコピーのデータ共有を実現するには柔軟性が必要です。プラットフォーム間でビューを共有する能力により、Delta Sharingのセキュリティとパフォーマンスの利点をより多くの顧客に提供することができ、彼らが顧客データからの価値をより早く解放するのを助けます

— デレク・スレイガー、AmperityのCTO兼共同創設者

これからの展望

今後数ヶ月で、Databricksはさらに高度なデータ共有機能を導入する予定です。これには、さまざまなプラットフォーム（例：Amazon Redshift、Azure Synapse、Google BigQuery、Snowflake）からデータを複製することなく直接共有できるLakehouse Federationの共有が含まれます。

さらに、D2O OAuthサポートにより、受信者が信頼できるIDプロバイダー（IdP）のOAuthトークンを使用して認証することで、セキュリティが強化されます。加えて、マテリアライズドビューとDelta Live Tablesの共有により、事前計算されたクエリ結果やストリーミングデータの効率的な配信が可能になり、新鮮なデータをより良いパフォーマンスと低コストで提供できます。

次のステップ

クロスプラットフォームビュー共有は、現在AWS、GCP、Azureの顧客向けにパブリックプレビューとして利用可能です。Unity Catalogが有効になっているDatabricksワークスペースから、任意のコンピューティングプラットフォーム上のユーザーとデータを共有する方法について詳しく学びましょう。