Mosaic AI：本番運用のための複合AIシステムの構築とデプロイ

Translation Review by saki.kitaoka

過去1年間で、一般知識タスクにおける優れた推論能力を示す商用およびオープンソースの基礎モデルの急増を目の当たりにしました。

一般モデルは重要な構成要素ですが、実際のAIアプリケーションは、調整されたモデル、検索、ツールの使用、および推論エージェントなど、複数のコンポーネントを活用する複合AIシステムが採用されることが多くなっています。AIシステムは基礎モデルを強化し、品質を大幅に向上させることで、顧客がこれらの生成AIアプリケーションを自信を持って運用に導入できるようにします。

本日、Data and AI Summitで、Databricks Mosaic AIが本格的なAIシステムを構築するための最良のプラットフォームとなる新機能を発表しました。これらの機能は、数千の企業と協力してAI駆動アプリケーションを運用に投入してきた経験に基づいています。本日の発表には、基礎モデルのファインチューニングのサポート、AIツールのエンタープライズカタログ、新しいAIエージェントの構築、デプロイ、評価のためのSDK、およびデプロイされたAIサービスを管理するための統一されたAIゲートウェイが含まれています。

この一連の発表により、DatabricksはMosaicMLの買収時に初めて組み込まれたモデル構築機能を完全に統合し、大幅に拡張しました。

複合AIシステムの構築とデプロイ

モノリシックAIモデルから複合システムへの評価は、学術界と産業界の両方で活発な研究分野です。最近の研究結果は、「最先端のAI結果は、単なるモノリシックモデルではなく、複数のコンポーネントを持つ複合システムによって得られることが増えている」と示しています。これらの発見は、私たちの顧客基盤でも確認されています。例えば、金融調査会社のFactSetは、商用LLMをテキストから金融フォーミュラへのユースケースに展開した際、生成されたフォーミュラの精度は55％しか得られませんでしたが、モデルを複合システムにモジュール化することで、各タスクを専門化し、精度を85％に向上させました。Mosaic AIプラットフォームは、以下の製品を通じてAIシステムの構築をサポートしています。

Mosaic AIモデルトレーニングによるファインチューニング

小規模データセットでモデルをファインチューニングする場合でも、数兆のトークンで3,000以上のGPUを使用してDBRXのようなモデルをスクラッチからプレトレーニングする場合でも、基盤インフラを抽象化した使いやすい管理APIを提供します。顧客は、システムコンポーネント用に小規模なオープンソースモデルをファインチューニングしてコストと遅延を削減しながら、独自データで企業タスクにおいてGPT-4の性能に匹敵する成果を上げています。モデルトレーニングは、顧客がモデルとデータを完全に所有し、品質を向上させるための反復作業を可能にします。

ユーザーは、タスクとベースモデルを選択し、トレーニングデータ（Deltaテーブルまたは.jsonlファイル）を提供するだけで、専門のタスク用に完全にファインチューニングされたモデルを所有できます。

Shutterstock ImageAI, Powered by Databricks: 本日、Shutterstockのパートナーは、Mosaic AIモデルトレーニングを使用して、Shutterstockの世界クラスの画像リポジトリで独自にトレーニングされた新しいテキストから画像へのモデルを発表しました。このモデルは、特定のビジネスニーズに合わせたカスタマイズされた高忠実度の信頼できる画像を生成します。

• Mosaic AI Vector Search, 顧客管理キーとハイブリッド検索をサポートするようになりました: 最近、Vector Searchが一般提供されました。さらに、Vector SearchはGTE-large埋め込みモデルをサポートし、8Kコンテキスト長をサポートします。Vector Searchは、データの管理を強化するためにCustomer Managed Keysをサポートし、ハイブリッド検索をサポートして検索の品質を向上させます。
• Mosaic AI Agent Framework for fast development: RAGアプリケーションは、私たちのプラットフォームで最も人気のある生成AIアプリケーションであり、本日、Agent Frameworkのパブリックプレビューを発表できることを嬉しく思います。これにより、Unity Catalogで安全に管理および統治された独自データによって拡張されたAIシステムを非常に簡単に構築できます。
• Mosaic AI Model Servingのエージェントへのサポートと基盤モデルAPI一般提供開始:  リアルタイムのサービングモデルに加えて、顧客はエージェントとRAGもModel Servingで提供できるようになりました。また、基礎モデルAPIを一般提供することで、顧客はトークンごとの支払いまたは運用ワークロード用のプロビジョンドスループットとして基礎モデルを簡単に使用できます。
• Mosaic AIツール カタログと関数呼び出し: 本日、Mosaic AI Tool Catalogを発表しました。これにより、顧客は一般的な機能のエンタープライズレジストリを作成し、組織全体でAIアプリケーションに使用するためにこれらのツールを共有できます。ツールはSQL関数、Python関数、モデルエンドポイント、リモート関数、またはリトリーバーです。Model Servingを強化して関数呼び出しをネイティブにサポートし、顧客は人気のあるオープンソースモデル（例：Llama 3-70B）をエージェントの推論エンジンとして使用できます。

Mosaic AI Model Serving関数呼び出しをサポートするようになり、ユーザーはAI Playgroundで関数と基本モデルを素早く拡張できるようになりました。

AIシステムの評価

汎用AIモデルはMMLUなどのベンチマークを最適化しますが、展開されたAIシステムは、サポートチケットの回答、クエリの生成、応答の提案など、特定のユーザータスクを解決するために設計されています。これらのシステムがうまく機能することを確認するには、品質指標を定義し、品質シグナルを収集し、パフォーマンスを反復するための強力な評価フレームワークが重要です。本日、いくつかの新しい評価ツールを発表できることを嬉しく思います。

• Mosaic AI Agent Evaluation for Automated and Human Assessments: Agent Evaluationを使用すると、AIシステムの高品質な回答の定義を行うための「ゴールデン」例を提供できます。この品質基準が存在することで、システムのバリエーションを探索し、モデルの調整、検索の変更、ツールの追加を行い、システムの変更が品質にどのように影響するかを理解できます。Agent Evaluationを使用すると、組織全体の主題専門家を招待して、Databricksアカウントを持っていない人でも、AIシステムの出力をレビューし、ラベル付けして、運用品質評価を行い、拡張評価データセットを構築できます。最後に、システム提供のLLM審査員は、正確性や有用性などの一般的な基準で応答を評価することで、評価データの収集をさらに拡大できます。詳細な運用トレースは、低品質な応答の診断に役立ちます。

Mosaic AI Agent Evaluationは、開発者が素早く直感を形成できるようにAI支援メトリクスを提供します。

Mosaic AIエージェント評価により、Databricksプラットフォームの外部にいる関係者もモデルの出力を評価し、品質の反復に役立つ評価を提供できます。

• MLflow 2.14: MLflowは、LLMおよびAIシステムの評価のためのモデル非依存フレームワークであり、顧客が各ステップでパラメータを測定および追跡できるようにします。MLflow 2.14では、MLflow Tracingを発表します。Tracingを使用すると、開発者はモデルおよびエージェントの推論の各ステップを記録してパフォーマンスの問題をデバッグし、将来の改善をテストするための評価データセットを構築できます。Tracingは、Databricks MLflow Experiments、Databricks Notebooks、およびDatabricks Inference Tablesと緊密に統合されており、開発から運用までのパフォーマンスインサイトを提供します。

Corningは、材料科学の会社であり、私たちのガラスおよびセラミック技術は多くの産業および科学的応用で使用されています。そのため、データの理解と活用は非常に重要です。Databricks Mosaic AI Agent Frameworkを使用して、米国特許庁のデータを含む数十万の文書をインデックス化するAIリサーチアシスタントを構築しました。高い精度で質問に応答するLLM搭載アシスタントが非常に重要であり、これにより研究者が作業中のタスクを見つけて進めることができました。これを実現するために、Databricks Mosaic AI Agent Frameworkを使用して、米国特許庁のデータで拡張されたHi Hello Generative AIソリューションを構築しました。Databricks Data Intelligence Platformを活用することで、検索速度、応答品質、および精度を大幅に向上させました。

— Denis Kamotsky, Principal Software Engineer, Corning

AIシステムのガバナンス

最先端の基礎モデルの爆発的な増加に伴い、私たちの顧客基盤は新しいモデルを迅速に採用しています。DBRXは発売から2週間以内に1000人の顧客が試験し、最近リリースされたLlama3モデルを数百人の顧客が試しています。多くの企業は、これらの新しいモデルを合理的な期間内にプラットフォームでサポートするのが難しく、プロンプト構造やクエリインターフェースの変更が実装を困難にします。さらに、企業が最新かつ最良のモデルへのアクセスを開放すると、人々は興奮して多くのことを構築し始め、ガバナンスの問題が急速に膨れ上がります。一般的なガバナンスの問題は、レート制限がヒットして運用アプリケーションに影響を与え、大規模なテーブルで生成AIモデルを実行するためのコストが急増し、PIIがサードパーティのモデルプロバイダーに送信されることで発生するデータ漏洩の懸念です。本日、AIゲートウェイのガバナンスのための新機能とモデルカタログのキュレーション機能を発表し、モデルの発見を可能にします。含まれる機能は次のとおりです：

• Mosaic AI Gateway for centralized AI governance: Mosaic AI Gatewayは、顧客がモデルを簡単に管理、統治、評価、および切り替えるための統一されたインターフェースを提供します。Model Serving上にあり、モデルAPI（外部または内部）のレート制限、許可、および資格情報管理を可能にします。また、基礎モデルAPIのクエリ用の単一インターフェースを提供し、顧客がシステム内のモデルを簡単に切り替え、ユースケースに最適なモデルを見つけるための迅速な実験を行うことができます。Gateway Usage Trackingは、誰が各モデルAPIを呼び出したかを追跡し、Inference Tablesは送信および受信されたデータをキャプチャします。これにより、プラットフォームチームはレート制限の変更、チャージバックの実施、およびデータ漏洩の監査方法を理解できます。
• Mosaic AI Guardrails: エンドポイントレベルまたはリクエストレベルの安全フィルタリングを追加して安全でない応答を防止するか、PII検出フィルターを追加して機密データの漏洩を防止できます。
• system.ai Catalog: 最先端のオープンソースモデルのリストをキュレーションし、Unity Catalogのsystem.aiで管理しています。Model Serving Foundation Model APIを使用してこれらのモデルを簡単にデプロイするか、Model Trainingでファインチューニングできます。顧客は、Mosaic AIホームページの「設定」>「開発者」>「パーソナライズドホームページ」に移動して、すべてのサポートされているモデルを見つけることができます。

Databricks Model Servingは、Databricks上または外部でホストされている複数のSaaSおよびオープンモデルへの安全なアクセスと管理を容易にすることで、私たちのAI駆動プロジェクトを加速しています。その集中アプローチは、セキュリティとコスト管理を簡素化し、データチームが革新に集中し、管理作業を減らすことを可能にします。

— Greg Rokita, AVP, Technology at Edmunds.com

Databricks Mosaic AIプラットフォームは、中央集権化されたガバナンスと、トレーニング、追跡、評価、交換、およびデプロイを行うための統一されたインターフェースを備えた単一のプラットフォームから複合AIシステムを構築し、協力する力をチームに与えます。企業データを活用することで、一般知能からデータインテリジェンスへと進化し、より関連性の高いインサイトを迅速に得ることができます。

お客様が次にどんなイノベーションを生み出すのか、私たちはとても楽しみにしています！

こちらもご覧ください

• Databricks Mosaic AI
• ドキュメント