DatabricksにAIモデルの共有機能が新登場！

組織内またはクラウド、プラットフォーム、リージョンをまたいでAIモデルの発見、評価、インストール、共有、提供

Introducing AI Model Sharing with Databricks

Published: January 31, 2024

ザヒーラ・ヴァラニ、ダーシャナ・シヴァクマール、Tianyi Huang、Giselle Goicochea による投稿

本日、Databricks Delta Sharingと Databricks Marketplaceの両方でAIモデルの共有が可能になったことを発表できることを嬉しく思います。

Delta Sharingを使用すると、クラウド、プラットフォーム、地域を越えて、組織内または外部でAIモデルを安全に共有し、提供することができます。さらに、Databricks Marketplaceは、John Snow Labsから医療専門家をサポートするための60の新しい業界別AIモデルをリリースしました。 AIモデルの共有はパブリックプレビューで、Delta Sharingとマーケットプレイスで利用可能です。

Databricks Data Intelligence Platformは、モデル提供、AIトレーニング、モデル監視を含むエンドツーエンドの機械学習機能により、モデルの検索と共有を行う新しい機能をサポートします。

ジェネレーティブAIで高まるシェアリング需要に対応

ここ数カ月、DatabricksはDatabricks Data Intelligence PlatformがサポートするデータおよびAIソリューションを提供してきました。 10月には、データ、アナリティクス、AIのためのオープンマーケットプレイスであるDatabricks Marketplaceで、Llama 2 Foundation Modelsが利用可能になったことを発表しました。そして12月には、Llama 2やMPTモデルなどの一般的なLLMにDatabricksから直接アクセスできるFoundation Model APIをリリースしました。

しかし、ジェネレーティブAIへの関心が高まる一方で、AIの領域は急速に進化しており、新しいモデルが導入されたり、既存のプロバイダーがモデルのパフォーマンスや品質を継続的に改善したりしています。このため、さまざまなモデルを試すことが難しくなります。なぜなら、異なるクラウド上にあり、異なるUI、API、コストを持つ可能性があるからです。また、セキュリティとガバナンスも大きく異なるため、AIモデルの管理方法に一貫性がなく、モデルの提供・共有環境は通常、データインフラから分離されているため、さらなる負担、複雑さ、コストが発生します。

それでも、企業はデータを最大限に活用し、革新的なビジネスソリューションや製品を構築するための新しい方法を急速に開発しています。 MIT Technology Reviewが世界のCIOを対象に行った最近の調査によると、これらの組織の88%がジェネレーティブAIを使用しており、そのうち58%はこれらの機能でハイブリッドアプローチをとっていることがわかりました。一部のユースケースではベンダーの大規模言語モデル（LLM）を使用し、IP所有権、プライバシー、セキュリティ、精度の要件が厳しい場合は独自のモデルを構築^{します1。}

Delta SharingによるAIモデルとのコラボレーション

デルタ・シェアリングはAIモデルの共有に対応し、モデルを一箇所でトレーニングし、どこにでも展開できるようになりました。この新しい機能には、冗長性がなく、クラウドや複数のリージョンにまたがってシームレスに配信され、ネットワーク遅延を最適化できるなど、共有モデルにとって画期的な利点があります。さらに、AIモデルを外部と共有することで、ジェネレーティブAIを活用したコラボレーションを強化することが可能になりました。

Delta Sharingを使用したモデル共有の主な利点の1つは、冗長性がないことです。そのため、初期導入、アップグレード、メンテナンスなどのプロセスを通じて、モデルを移動する必要がなく、真実の単一ソースを得ることができます。 Delta Sharingはまた、異なるクラウドや地域間でのシームレスな配信を促進するのに役立ちます。モデルのトレーニングや微調整がどこで行われたかに関係なく、またモデルのアップグレードやアップデートの際に必要な労力を最小限に抑えながら、AIモデルを簡単に展開できます。例えば、AWSでモデルをトレーニングし、Azureでモデルをデプロイすることができます。最近、Databricksは、Unityカタログのテーブルとカラムのドキュメントを自動的に生成するために、LLMを使用してAIが生成するドキュメント機能を開発しました。プロダクション・パイプラインの一部として、デルタ・シェアリングは、このモデルを1つの地域でトレーニングし、世界中のいくつかの地域に分散してより速く提供するために、トレーニングとサービングのインフラを切り離す手助けをしました。

デルタ・シェアリングでは、AIモデルを外部と共有できるようになり、革新的なコラボレーション方法が追加されました。データ受信者は、オープンソースのフレームワーク（HuggingFace、Pytorchなど）を使用し、基礎となる独自の学習データを開示する心配なしに、組織間で微調整するためにこれらの共有モデルをロードすることができます。これは、ビジネス目標を共有するために、ジェネレーティブAIを使用してコラボレーションを促進するのに役立ちます。

デルタ・シェアリングによるAIモデルの共有とサービングの詳細については、以下のデモをご覧ください。

John Snow Labsの新しいAIモデルがDatabricks Marketplaceに登場

従来のデータマーケットプレイスは制限があり、表形式のデータやシンプルなアプリケーションしか提供していないため、データ協力者にとっての価値は限られていました。また、データセットを評価するツールも提供していません。 Databricks Marketplaceは、データセット、ノートブック、そしてAIモデルをクラウド、地域、プラットフォーム間で共有・交換できるオープンなマーケットプレイスです。 6月の開始以来、Databricks Marketplaceには140社以上のプロバイダーから1,600件以上の出品があります。

ヘルスケアおよびライフサイエンス業界では、業務の合理化から患者ケアの最適化まで、ジェネレーティブAIの導入には多くのユースケースがあります。ヘルスケアは世界のデータ量の30%を生み出し、他のどの産業よりも毎年急速に成長していると推定されています²。例えば、2020年5月から2023年4月までの間に、Epicの電子カルテ（EHR）ネットワーク全体で、16万人を超える外来の医師や医療提供者が17億件の臨床ノートを作成しました。 HIPAAやGDPRなどの医療データ規制により、このような広範なEHRデータへの直接アクセスが制限される可能性がありますが、AI主導の非識別化技術を適用することで、これらの記録を合法的に利用し、患者の利益に役立てることができます。生成AIのさらなる応用の可能性は、自然言語で書かれた臨床記録から適切な洞察を抽出することにも及びます。高度な自然言語処理（NLP）技術を活用することで、臨床イベントや相関関係、ニュアンスを正確に特定し、文脈化することができます。このアプローチはまた、医療コーディングのプロセスを大幅に合理化し、構造化されていないテキストを構造化されたコード化されたデータに変換します。その結果、データ分析の精度を高め、より効率的で効果的な医療提供に貢献することができます。ジェネレーティブAIを活用して膨大な数の年間臨床記録を分析することで、医療機関は洗練されたデータ分析を通じて、臨床傾向を抽出し、治療の有効性を評価し、健康の社会的決定要因（SDOH）の影響を受けた医療リスク要因を特定することができます。

ヘルスケアAIと自然言語処理（NLP）の専門知識で有名なJohn Snow Labsは、ヘルスケアおよびライフサイエンス組織のAI主導型プロジェクトの開発、展開、管理を強化するために設計されたソフトウェア、モデル、データリソースの包括的なスイートを提供しています。 John Snow LabsはすでにDatabricks Marketplaceのデータプロバイダであり、200件以上のデータを掲載しています。

本日、業界をリードするプロバイダーであるJohn Snow Labsから、ヘルスケア領域向けにチューニングされた60の最新かつすぐに使えるAIモデルをご紹介します。以下の特集をご覧ください。 マーケットプレイスのすべてのAIモデルを見る

John Snow Labsの注目AIモデル

掲載名	モデル説明
臨床的非識別化（難読化）	英語の臨床文書内の保護された医療情報（PHI）をピンポイントで匿名化するように設計されています。詳細とマーケットプレイスへの掲載
臨床テキストの要約	長くて複雑な臨床記録、診察記録、各種報告書を、簡潔で消化しやすい要約にまとめます。詳細とマーケットプレイスへの掲載
腫瘍学的なエンティティと関係の抽出	アデノパシー、バイオマーカー、癌診断、その他腫瘍学的に重要な数多くの要素に至るまで、広範な腫瘍学的実体（40以上の実体）を検出および分類します。詳細とマーケットプレイスへの掲載を見る
健康の社会的決定要因の抽出	テキストデータ内の健康の社会的決定要因（SDOH）のエンティティを検出し、ラベル付けするように設計されています。詳しくはマーケットプレイスでご覧ください。

MarketplaceでAIモデルを検索するデータ利用者は、OSSや独自のAIモデルに、より迅速かつ容易にアクセスし、照会できるようになりました。事前にビルドされたノートブックが含まれており、特定のユースケースのガイダンスと情報を提供します。また、Databricksのモデル展開および推論ツールを活用することで、AIモデルによる高品質な予測を容易に行うことができます。例えば、ユーザーはSQLからAI関数を介して直接モデルに問い合わせることができるため、分析ワークフローへのAIの統合が簡素化されます。標準的なインターフェースにより、実験や比較が簡単にできます。

ガバナンスとセキュリティが組み込まれているため、ユーザーはUnityカタログでAIモデルをデータや機能とともに1つのカタログで管理できるメリットもあります。これにより、AIのワークフローを完全に可視化し、きめ細かく制御することができます。 AIガバナンスの仕組みについてはこちらをご覧ください。

マーケットプレイスのユーザーは、Foundation Modelsをそのまま使用することも、独自のデータで微調整することもできます。 Foundation Modelsを使用しても、データプロバイダのモデルを使用しても、これらはすべてDatabricksのAI機能とすぐに連携し、リアルタイムまたはバッチ推論が可能です。

Databricks MarketplaceからJohn Snow Labsの新しいモデルをインストールする方法については、以下のデモをご覧ください。

Databricks マーケットプレイスでのファウンデーションモデル

これらの新しいAIモデルに加え、昨年10月にMeta AIのLlama 2ファンデーションチャットモデルがDatabricks Marketplaceで利用可能になったことを発表しました。また、12月には、Whisper V3、Mistral、BERTなど、音声認識やテキスト生成など様々なタスクの自動化を支援するAIモデルを含む、キュレーションされた基盤モデルの追加リストをリリースしました。それぞれのノートブックには、デプロイと使用方法に関するコードと説明を含む、あらかじめ構築されたサンプルノートブックが付属しています。

ファウンデーションモデルは、Databricks Marketplaceで最も人気のあるリストの一部です。 Databricks MarketplaceからFoundation Modelをインストールする方法については、以下のデモをご覧ください。

DatabricksでAIモデルを始める

本日の発表では、Delta Sharingの新しいAIモデル共有機能と、Databricks Marketplaceの新しいAIモデルを紹介します。これらのAIモデルとモデル提供機能は、現在パブリックプレビュー中です。Delta SharingでこれらのAIモデルとモデル提供機能をテストドライブして、[email protected]のチームにフィードバックを提供してください。

上記のデモをご覧になるか、下記の関連eBookやブログ記事をご覧ください。