データブリックス、本番品質のAIシステムとアプリケーションが構築できる 新たなMosaic AI機能を発表
June 12, 2024
ビジネス全般に生成AIを活用し、高品質のシステム開発の繰り返し、製品化の加速を支援
データとAIの会社である Databricks（本社：米国カリフォルニア州サンフランシスコ、以下「データブリックス」）は、お客様が本番品質の生成AIアプリケーションを構築できるよう支援する Mosaic AI の新機能を、米国時間6月12日に発表しました。データブリックスは、複合AIシステム構築の支援、モデル品質を向上させる機能、新しいAIガバナンスツールという主要3分野で、Mosaic AIへ投資を行っています。これらによってもたらされるイノベーションによりお客様は、本格的な本番品質のアプリケーションを構築・測定することができ、事業分野において生成AIの可能性を最大限に引き出すことがでるようになります。
企業は、プライバシーや品質、コストへの懸念から、生成AIのプロジェクトを、パイロットから本格的な製品へ移行することに課題を感じています。基礎となるモデルは大幅に向上していますが、最もパフォーマンスの高いモデルでも、不正確で安全ではない回答をしたり、機密データを流出させてしまったりする可能性があり、高品質の結果を得るのは容易ではありません。こうした課題に対処するため、企業は一つの大規模モデルを導入するのではなく、複合AIシステムを導入する傾向にあります。この方法では、様々なモデル、リトリーバー、ベクトルデータベース、評価・監視・セキュリティ・ガバナンスのためのツールなど、複数のコンポーネントを使用します。複合AIシステムは、より良い本番品質を提供し、企業は、さらに正確かつ安全で、統制されたAIアプリケーションを効率的に提供できるようになります。
データブリックスの共同設立者兼最高技術責任者（CTO）であるマテイ・ザハリアは、次のように述べています。
「複合AIシステムは、今後のAIアプリケーションの品質、信頼性、計測を最大化する最善の方法であり、AIにおける2024年の主要なトレンドの一つかもしれません。データブリックスは、品質を向上させるために行っている投資によって、このようなトレンドを活用するユニークな立場にあり、モデルをリアルタイムのデータで補強し、エージェントやツールにほぼ知られていない新しい機能を与えています
データブリックスは、お客様が本番品質の生成AIアプリケーションを構築できるよう、「Mosaic AI Agent Framework」、「Mosaic AI Agent Evaluation」、「Mosaic AI Tools Catalog」、「Mosaic AI Model Training」、「Mosaic AI Gateway」をリリースします。
「Mosaic AI Agent Framework」「Mosaic AI Tools Catalog」は、複合AIシステムの構築を支援
データブリックスは、お客様が企業向けの複合AIシステムを導入できるよう、複数の新機能を導入します。検索拡張生成（RAG）は複合AIシステムの一種であり、ベクトルデータベースのような複数のコンポーネントと、大規模言語モデル（LLM）の精度を向上させるためのモニタリング、評価、セキュリティ、ガバナンスのためのツールを使用します。データブリックスは今年5月、「データ・インテリジェンス・プラットフォーム」にシームレスに統合されたサーバーレスのベクトルデータベースである「Mosaic AI Vector Search（ベクトル検索）」の一般提供を開始しました。これに続き米国時間6月12日に、開発者が基礎モデルと企業データを使用して、高品質なRAGアプリケーションを迅速かつ安全に構築することを容易にする「Mosaic AI Agent Framework」を発表しました。開発者は「Mosaic AI Agent Evaluation」でRAGアプリケーションの品質を評価し、素早く繰り返しを行い、アプリケーションを簡単に再展開することができます。Mosaic AI Agent EvaluationはAIが組み込まれた評価ツールで、アウトプットが高品質かどうかを自動的に判断し、人間のステークホルダーからフィードバックを得られるよう直感的なユーザーインターフェースを提供します。これらの機能を組み合わせることで企業は、本番品質の生成AIソリューションを展開することができます。
複合AIシステムは多くの場合、コードのインテリジェントな生成・実行や、ウェブの検索、APIの呼び出しといった、世界とやりとりするための新しい機能をシステムに搭載するために、ツールを活用しています。Mosaic AI Tools Catalogによって、企業はDatabricks Unity Catalogを使用してツールを管理・共有・登録することができます。これにより、ツールを使用可能なモデルは、安全で管理された方法でツールを使用できるようになり、組織全体でツールを発見できるようになります。
Mosaic AIは、基礎モデルの微調整を可能にし、モデルの品質を高め、コストを削減
「Mosaic AI Training」は、オープンソースの基礎モデルを企業・組織ごとの独自データで微調整し、そのドメインやタスクに特化した新しい情報を提供します。微調整されたモデルは、お客様によって完全に所有・管理され、特定のユースケースについて、より質の高い結果をもたらします。特定のドメインについてより正確であることに加え、「Model Training」によって微調整された小規模なモデルは、より少ないパラメータとコンピューティングパワーしか必要としないため、大規模な独自モデルよりも高速かつ低コストでサービスを提供することができます。
「Mosaic AI Gateway」は、全ての生成AIアプリとモデルにガバナンスを提供
「Mosaic AI Gateway」は、オープンソースまたはプロプライエタリなモデルをクエリ、管理、デプロイするための一元化されたインターフェイスを提供します。お客様は、アプリケーションコードに複雑な変更を加えることなく、アプリケーションを動かすLLMを簡単に切り替えることができます。利用状況の追跡とガードレールをサポートしており、企業・組織は、誰がモデルを要求しているかを追跡し、料金制限を設定して企業内ユーザーの利用を管理し、使用されているモデルに関係なく、安全性と個人識別情報（PII）のフィルタリングを行うことができます。また、継続的に品質を担保するために、ビルトインのガバナンスとモニタリングも提供します。
Corningの主席ソフトウェア・エンジニアのDenis Kamotsky氏は、次のように述べています。
「Corningは材料科学企業です。当社のガラスやセラミックスの技術は、多くの産業や科学分野に用いられています。当社は、データブリックスのMosaic AI Agent Frameworkを使用してAI研究アシスタントを構築し、米国特許庁のデータを含む数十万の文書をインデックス化しました。当社にとって、高い精度で質問に応答することができるLLMを搭載したアシスタント機能は、非常に重要でした。その実現のために、Mosaic AI Agent Frameworkを使用して、米国特許庁のデータで拡張された生成AIソリューションを構築しました。データブリックスのデータ・インテリジェント・プラットフォームを活用することで、検索速度、応答品質、精度が大幅に向上しました」
FordDirect のアナリティクス担当バイス・プレジデントであるTom Thomas氏は、次のように述べています。
「FordDirectは、自動車業界のデジタル変革の最先端をリードしています。当社はFordとLincolnのディーラーのデータハブであり、ディーラーのパフォーマンス、在庫状況、動向、顧客エンゲージメントの指標を評価するために、統合チャットボットを作成する必要がありました。データブリックスのMosaic AI Agent Frameworkによって、当社独自のデータやドキュメントを、RAGを使用した生成AIソリューションに統合できるようになりました。データブリックスの『Delta Tables』と『Unity Catalog』 にMosaic AIが統合されたことにより、ソースデータが更新されると、デプロイ済みのモデルやアプリケーションを操作したり、再デプロイしたりすることなく、ベクトルインデックスをリアルタイムでシームレスに実行できるようになりました」
Lippert のデータ& AIバイス・プレジデントであるKenan Colson氏は、次のように述べています。
「Lippertは世界有数のメーカーとして、データとAIを活用し、高度に設計された製品、カスタマイズされたソリューション、可能な限り高品質の体験を生み出しています。Mosaic AI Agent Framework は、データソースを完全に制御しながら、生成AIアプリケーションの結果を評価し、アウトプットの精度を実証することを可能にしました。データブリックスのデータ・インテリジェンス・プラットフォームのおかげで、自信をもって本番環境にデプロイすることができます」
提供について
「Mosaic AI Agent Framework」、「Mosaic AI Quality Lab」、「Mosaic AI Model Training」、「Mosaic AI Gateway」は現在、パブリックレビューとなりました。「Mosaic AI Tools Catalog」はプライベートプレビュー中です。詳細はMosaic AI をご覧ください。
データブリックスについて
データブリックスはデータとAIの会社です。Comcast、Condé Nast、Grammarly、そしてFortune 500の60%以上を含む世界中の10,000以上の組織が、データ、アナリティクスおよびAIを統合し民主化するデータブリックスのデータ・インテリジェンス・プラットフォームを利用しています。米国カリフォルニア州サンフランシスコに本社を置き、世界中にオフィスを構えるデータブリックスは、レイクハウス、Apache Spark™、Delta Lake、MLflowのクリエイターによって創立されました。詳細については、ウェブサイト（日本語） をご確認ください。