レイクハウスのデータ共有とコラボレーションの新機能のご紹介

翻訳：Saki Kitaoka.  -  Original Blog Link

Databricksは、データ、アナリティクス、AIを横断するデータ共有とコラボレーション(data sharing and collaboration)のための初のオープンソースアプローチを提供します。お客様は、ベンダーに依存することなく、プラットフォーム、クラウド、地域を超えて、ライブデータセット、AIモデル、アプリケーション、ノートブックを共有することができます。プロバイダーは、革新的なデータ製品を提供する機会を拡大することで、イノベーションを加速し、新たな収益源を生み出すことができます。この柔軟性は、Delta SharingをDatabricks Unity Catalogと統合して、共有データセットへのアクセスを管理、追跡、監査することで、強固なセキュリティとガバナンスとともに実現されます。Lakehouse Collaboration Platformを進化させる新機能を発表できることを嬉しく思います。Databricksは、新たなパートナー、Databricks Marketplaceの一般提供、AWS上のプライベートプレビューでのDatabricks Clean Roomsにより、Delta Sharingエコシステムを拡大しています。

Delta Sharingでデータ共有を加速させましょう

2年前、私たちはオープンソースのDelta Sharingプロジェクトを開始しました。安全なデータ共有のための業界初のオープンプロトコルです。開始以来、多くの組織がDelta Sharingを採用しています。6,000以上の組織がDelta Sharingを使用してデータを消費しています。300ペタバイトを超えるデータが、Databricks上のDelta Sharingを使用して毎日共有されています。これは、組織全体で読み込まれ、処理されるデータです。他の多くのベンダーのソリューションがお客様を囲い込むのに対し、私たちはDelta Sharingを利用するお客様から信じられないような勢いを感じています。企業は、オープンなDelta Sharingプロトコルをサポートするプラットフォームやベンダーからデータを共有し、利用することができます。Delta Sharingによるオープンなアプローチにより、企業はデータをより迅速に活用し、より早く洞察を発見することができます。

私たちは、DatabricksがCloudflare、Dell、Oracle、Twilioを含む新しいパートナーと共にDelta Sharingエコシステムを拡大し、それぞれのプラットフォーム、Databricks、Apache Spark™、pandas、PowerBI、Excel、その他オープンプロトコルをサポートするシステム間でデータをシームレスに共有できることを発表できることを嬉しく思います。

Databricks MarketplaceがGAになりました！

Delta Sharing の上には、Databricks Marketplace を含むその他のコラボレーション機能があります。先日 Databricks Marketplace のパブリックプレビューを発表しましたが、本日 Databricks Marketplace の一般提供を発表できることを嬉しく思います。

多くのクラウドプロバイダがデータマーケットプレイスを提供していますが、データプロバイダに問い合わせたところ、制限事項があるとのことでした：

• マーケットプレイスは特定のクラウドや特定のデータウェアハウスのために閉鎖されています。
• マーケットプレイスは特定のクラウドや特定のデータウェアハウスに限定されています。
• データの配信には、ETLか独自の配信メカニズムが必要。

Databricks Marketplaceは、データソリューションのためのオープンなマーケットプレイスです。これはプロバイダーにとって、より多くのユーザーを獲得できるという大きなメリットがあります。消費者にとっては、データセット以上のものを簡単に発見することができ、アセットにはノートブックやビジュアライゼーションが含まれているため、データ製品をより迅速に評価することができ、Databricksの顧客でなくてもマーケットプレイスを利用することができます。まさにオープンです。

Databricks マーケットプレイスでは、データセットやノートブックなどのデータ資産を、パブリックマーケットプレイスやプライベートマーケットプレイスで共有・交換することができます。Databricks Marketplace は、Databricks ユーザー以外にも開放されています。

Databricks Marketplace の新しいデータプロバイダ

過去数ヶ月間、私たちは業界を問わずパートナーを増やし続け、私たちのマーケットプレイスには何百ものリストがあり、Open Marketplaceで検索することができます。Databricks Marketplaceでは、様々な業界のデータプロバイダの新規参入を歓迎しています：

• 金融サービス 金融サービス：S&P Global、Experian、London Stock Exchange Group、Corelogic、YipitData、Morningstar、Bloomberg Government
• ヘルスケアとライフサイエンス ヘルスケア・ライフサイエンス： IQVIA、Definitive Healthcare、Datavant、Ontada
• 地理空間 Foursquare、Divirod、Accuweather Veraset、Safegraph、Carto
• 広告とマーケティング LiveRamp、Acxiom
• ビジネス情報サービス レクシスネクシス、ZoomInfo
• 小売 Circana (別名IRI)

「AIと高度なアナリティクスの導入が進む中、Databricksと提携し、お客様が洞察に至る時間を短縮できるよう支援できることを嬉しく思います。この協業は、リアルタイムで統合されたデータアクセスによってビジネスに力を与え、コラボレーションを促進し、金融業界やそれ以外の業界におけるアナリティクスと定量的意思決定能力の強化を推進することを目的としています。」 - スチュアート・ブラウン、ロンドン証券取引所エンタープライズ・データ・ソリューション・グループ責任者

Coming soon: AIモデル共有機能

DatabricksはDatabricks MarketplaceでAIモデルの共有も提供し、データ利用者とデータ提供者がAIモデルを発見して収益化し、すべてのデータソリューションにAIを統合できるようにします。AIモデルの共有により、Databricksの顧客はクラス最高のモデルにアクセスすることができ、迅速かつ安全にデータ上に適用することができます。Databricks 自身は、命令フォローやテキスト要約などの一般的なユースケースにわたるオープンソースモデルをキュレーションして公開し、Databricks 上でこれらのモデルのチューニングやデプロイを最適化します。Databricks MarketplaceにおけるAIモデルの共有は、来年中にプレビューされる予定です。

Coming soon: Databricks MarketplaceのLakehouseアプリケーション

データおよびAIアプリケーションは、最も急速に成長しているソフトウェアカテゴリの1つであり、ジェネレーティブAIと大規模言語モデル（LLM）の成長はその傾向を加速させています。お客様にとってLakehouse Appssは、Lakehouse内のデータの価値を最大限に引き出し、Databricksネイティブサービスを活用し、新しい機能でDatabricksを拡張するアプリケーションを実行する最も安全な方法となります。Lakehouse Appsにより、ユーザーは幅広い革新的な新しいアプリケーションに安全かつ簡単にアクセスできるようになり、データとAIアプリケーションの導入、統合、管理にかかる時間と労力が削減されます。

Lakehouse Appsは、Databricksプラットフォーム向けのアプリケーションを構築、デプロイ、管理する新しい方法です。開発者は、LakehouseアプリをDatabricks Marketplaceに掲載することで、より簡単に配布できるようになり、顧客はソフトウェアを迅速に発見、展開できるようになります。Lakehouse Apps in Databricks Marketplaceは、来年中にプレビュー版が公開される予定です。

Databricks Clean Roomsによるプライバシー保護されたコラボレーション

本日、AWS上のプライベートプレビューでDatabricks Clean Roomsを発表できることを嬉しく思います。データクリーンルームは、それぞれのデータセットの結合と処理を可能にすることで、組織間のセキュアで隔離されたコラボレーションを実現します。

Databricks Clean Roomsは、柔軟性、拡張性、相互運用性を最優先し、企業があらゆるクラウド上で顧客やパートナーとコラボレーションできるセキュアな環境を提供します。他のソリューションとは異なり、Databricks Clean Roomsは複数の言語（SQL、R、Scala、Java、Python）をサポートしており、結合などの単純な分析ワークロードだけでなく、機械学習などの複雑な計算も可能です。複数の共同作業者とのコラボレーションに対応するスケーラビリティを提供し、複数のベンダーを管理する必要性を低減します。オープンなDelta Sharingの上に構築されているため、参加者はデータの複製やプラットフォームのロックインなしにデータを安全に共有することができ、単純なデータ共有から安全な共同計算へと進化します。

Databricksでデータ共有とコラボレーションを始めましょう

Databricks はオープンな共有とコラボレーションを可能にします。Delta Sharing、Databricks Marketplace、Lakehouse Apps、Databricks Clean Rooms をどのように使用して、簡単かつ信頼性の高いコラボレーションを実現しているか、ぜひご覧ください。

Data and AI Summitでのデータ共有とコラボレーション(data sharing and collaboration)のためのエキサイティングなアップデートとセッションをお見逃しなく。セッションはカンファレンス終了後すぐにオンデマンドで配信されます。

データプロバイダーになるためのサインアップ（興味のあるプログラムとして「マーケットプレイス」を選択してください）。

Databricks Clean Roomsの private previewに参加するか、今年後半に予定されているパブリック・プレビューへの登録をお待ちください。