Databricksは、オープンソースソリューションがジェネレーティブAI開発におけるイノベーションと透明性を促進するという信念を共有し、ヨーロッパ有数のジェネレーティブAIソリューションプロバイダーであるMistral AIのシリーズA資金調達への参加とパートナーシップを発表しました。このパートナー関係の深化により、DatabricksとMistral AIは現在、Mistral AIのオープンモデルをDatabricks データ・インテリジェンス・プラットフォームにネイティブに統合して提供しています。Databricksのユーザーは、Databricks MarketplaceでMistral AIのモデルにアクセスし、Mosaic AI Playgroundでこれらのモデルと対話し、Mosaic AI Model Servingを通じて最適化されたモデルのエンドポイントとして使用し、アダプテーションを通じて独自のデータを使用してカスタマイズすることができます。
今年に入ってから、すでに1000社近くの企業がDatabricksプラットフォーム上でMistralのモデルを活用し、何百万ものモデル推論を行っています。これらのすぐに使える統合により、Databricksプラットフォームの中核であるセキュリティ、データプライバシー、ガバナンスを損なうことなく、企業が生成AIアプリケーションにMistral AIのモ デルを迅速に活用することがさらに容易になります。
Arthur Mensch, Founder and CEO of Mistral AIは次のように述べています:「
私たちはDatabricksと戦略的提携を結ぶことができ、生成人工知能の可搬性、オープン性、およびすべての人のためのアクセシビリティに対する私たちの共通のコミットメントを再確認できることを嬉しく思います。当社のモデルをDatabricks社のデータインテリジェンスプラットフォームにシームレスに統合することで、AIの民主化という共通の使命を推進していきます。この統合は、当社の革新的なソリューションをDatabricksの膨大な顧客基盤に拡大する重要な一歩であり、AIにおける革新と大きな進歩を促進し続けます。私たちは共に、世界中のユーザーにアクセスしやすく、変革をもたらすAIソリューションを提供することに全力を尽くします」
Mistral AIのオープンモデル: Mistral 7B and Mixtral 8x7B
Mistral AIのオープンモデルは、データブリックスのプラットフォームに完全に統合されています。
「Mistral 7B」は、8kのコンテキスト長で学習された、小さいながらも強力かつ密なトランスフォーマーモデルです。70億パラメータという比較的小さなサイズに加え、「グループ化されたクエリアテンション（GQA）」と「スライディング ウィンドウ アテンション（SWA）」を活用したモデルアーキテクチャにより、非常に効率的にサービスを提供することができます。（Mistral 7Bの詳細については、Mistralのブログ記事をご覧ください。）
「Mixtral 8x7B」は、32kのコンテキスト長をサポートし、英語・フランス語・イタリア語・ドイツ語・スペイン語を扱うことができる専門家のスパース混合エキスパート（SMoE）モデルです。ほとんどのベンチマークで「Llama 2 70B」を上回り、学習済みパラメータ合計450億個のうち、推論時に120億のパラメータのみをアクティブにするSMoEアーキテクチャにより、6倍の推論速度を誇ります。（Mixtral 8x7Bの詳細については、過去のブログ記事をご覧ください。）
私たちのユーザーは、Mistral AIのモデルを活用するメリットをすでに実感しています：
「Experianでは、コア機能を維持しながら、ハルシネーション率が最も低いGen AIモデルを開発しています。Databricks上でMixtral 8x7bモデルを活用することで、迅速なプロトタイピングが容易になり、その優れたパフォーマンスと迅速な応答時間が明らかになりました」 ーーJames Lin, Head of AI/ML Innovation at Experian.
「Databricks は、企業におけるジェネレーティブ Al のイノベーションと採用を推進しています。DatabricksでMistralと提携したことで、銀行関連のユーザーからの問い合わせに答えるRAGベースの消費者向けチャットボットに素晴らしい結果がもたらされました。以前はFAQベースのシステムだったため、ユーザーからの問い合わせのバリエーションに対応できませんでした。Mistralベースのチャットボットは、ユーザーからの問い合わせを適切に処理し、システムの精度を80%から95%に向上させることができました」 とCelebal Technologiesのグローバルアライアンス、Luv Luhadiaは述べています。 「彼らの最先端の技術と専門知識が私たちのユーザーのパフォーマンスを向上させました。私 たちは、MistralおよびDatabricksとの連携を続け、データとAIを使用して可能な限界を押し広げていくことに興奮しています」
Databricksデータ・インテリジェンス・プラットフォーム内でのMistral AIのモデルの使用
DatabricksマーケットプレイスでMistral AIモデルを見つける
Databricksマーケットプレイスは、オープンソースのDelta Sharing標準によって支えられた、データ、分析、AIのためのオープンマーケットプレイスです。マーケットプレイスを通じて、ユーザーはMistral AIのモデルを発見し、その機能について学び、Mosaic AI Model Servingによるモデルのデプロイメント、Sparkによるバッチ推論、SQL内でAI Functionsを使用したモデル推論など、Databricksプラットフォーム全体でモデルを活用する方法例を確認することができます。DatabricksマーケットプレイスとAIモデル共有についてもっと知りたい場合は、私たちのブログをチェックしてください。
Mosaic AI Model Servingを使用したMistralモデル推論
Mosaic AI Foundation Model APIsは、Model Servingの機能の一つで、ユーザーがMixtral 8x7B（および他の最先端モデル）にアクセスしてクエリを実行できるようにし、高度に最適化されたモデルデプロイメントを活用し、デプロイメントやエンドポイ ントを作成して維持する必要がないようにします。詳細については、Foundation Model APIsのドキュメントをご覧ください。
Databricks Mosaic AI Model Servingを使用すると、ユーザーは他のFoundation Modelsで使用されるのと同じAPIを使用してMistralのモデルにアクセスできます。これにより、任意のFoundation Modelをクラウドやプロバイダー全体でデプロイ、管理、クエリ、およびモニターすることができ、大規模言語モデルの実験と製品化を可能にします。
またDatabricks SQLを使用してai_query SQL関数からモデル推論を直接呼び出すこともできます。詳細については、以下のSQLコードとai_queryのドキュメントをご覧ください。
Mosaic AIを用いたMistralモデルの適応
Mosaic AIは、ユーザーが独自のカスタムモデルを簡単かつ費用効果的に作成できる方法を提供します。ユーザーは、自身の独自のデータセットを活用して、Mistral AIのモデルや他の基礎モデルを適応させることができます。モデル適応の目的は、特定のドメインやユースケースに対するモデルの理解を深め、企業の専門用語の知識を増やし、特定のタスクでのパフォーマンスを最終的に向上させることです。モデルがチューニングされたり適応されたら、ユーザーはMosaic AI Model Servingを使用して適応されたモデルを迅速に推論用にデプロイし、費用効率の良いサービングの恩恵を受けることができ、差別化され たモデルのIP（知的財産）の所有権を得ることができます。
Mosaic AI Playgroundにおけるインタラクティブな推論
プレトレーニング済みおよびファインチューニングされたMistralモデルを迅速に試すために、ユーザーはDatabricksコンソールで利用可能なMosaic AI Playgroundにアクセスすることができます。AI Playgroundでは、インタラクティブなマルチターンの会話、temperatureやmax_tokensなどのモデル推論サンプリングパラメーターの実験、異なるモデルの並行推論を通じて、モデルの応答品質とパフォーマンス特性を確認することができます。
Databricks + Mistral AI
Databricks Venturesのポートフォリオ企業およびパートナーとしてMistral AIを迎えることに興奮しています。Mistral AIのモデルは、Databricks上で様々な方法で利用およびカスタマイズすることができ、これにより、エンドツーエンドの生成AIアプリケーションを構築、テスト、およびデプロイするための最も包括的なツールセットが提供されます。プレトレーニングモデルの横並び比較から始める場合でも、ペイパートークンを通じてモデルを利用する場合でも、迅速に始めるための複数のオプションがあります。特定のユースケースに対して改善された精度が必要なユーザーにとっては、Mosaic AI Foundation Model Adaptationを通じて独自のデータ上でMistral AIモデルをカスタマイズすることは、コスト効果が高く使いやすいです。
効率的かつ安全なサーバーレス推論は、ガバナンスとセキュリティへの統一的なアプローチに基づいて構築されています。Databricks上でMistral AIモデルを使用して構築されたAIソリューションに、企業は自信を持つことができます。これは、世界トップクラスの基礎モデルのいくつかとDatabricksのデータプライバシー、透明性、および制御に対する妥協のない姿勢を組み合わせたアプローチです。
DatabricksによるGenAIアプリの構築についてもっと知るために、今後開催されるウェビナー「The GenAI Payoff in 2024」に参加してください。