多くのお客様が、一般的なモデルを使用したモノリシックなプロンプトから、製品準備完了のGenAIアプリに必要な品質を達成するための特化した複合AIシステムへと移行しています。
7月には、 エージェントフレームワークとエージェント評価を立ち上げ、多くの企業がエージェントアプリケーションを作成するために使用しています。その一例が Retrieval Augmented Generation (RAG)です。今日、私たちはエージェントフレームワークに新機能を追加し、複雑な推論を行い、サポートチケットの開設、メールへの返信、予約の取得などのタスクを実行するエージェントの構築プロセスを簡素化することを発表します。これらの機能には以下のものが含まれます：
- 構造化されたエンタープライズデータと非構造化エンタープライズデータを共有可能で管理された AIツールを通じてLLMに接続します。
- 新しいプレイグラウンド体験を使って、エージェントを素早く実験し評価します。
- 新しいワンクリックコード生成オプションを使用して、プレイグラウンドからプロダクションにシームレスに移行します。
- AIゲートウェイとエージェント評価の統合を使用して、LLMとエージェントを継続的に監視し評価します。
これらの更新により、組織のシステムとデータと安全にやり取りする高品質なAIエージェントの構築とデプロイが容易になります。
モザイクAIを用いた複合AIシステム
Databricks Mosaic AIは、複合AIシステムのガバナンス、実験、デプロイ、改善のための完全なツールチェーンを提供します。このリリースでは、エージェントパターンを使用した複合AIシステムを作成し、デプロイする機能が追加されました。
Unity Catalogを使用したツールとエージェントの集中管理
ほとんどのエージェント型Compound AIシステムは、エンタープライズデータの取得、計算の実行、他のシステムとの対話などのタスクを実行することでLLMの機能を拡張するAIツールに依存しています。主な課題は、アクセス制御を管理しながら、AIツールを安全に共有し、再利用のために発見することです。Mosaic AIは、UC Functionsをツールとして使用し、Unity Catalogのガバナンスを活用して不正アクセスを防ぎ、ツールの発見を効率化することでこの問題を解決します。これにより、データ、モデル、ツール、エージェントをUnity Catalog内の単一のインターフェースを通じて一元管理することが可能になります。
Unity Catalog Toolsは、安全かつスケーラブルなサンドボックス環境で実行することも可能で、安全で効率的なコード実行を保証します。ユーザーは、Databricks（PlaygroundとAgent Framework）内またはオープンソースのUCFunctionToolkitを通じて外部からこれらのツールを呼び出すことができ、オーケストレーションロジックのホスト方法に柔軟性を提供します。
AIプレイグラウンドでの迅速な実験
AI Playgroundは、単一のインタラクティブなインターフェースを通じて複合AIシステムの迅速なテストを可能にする新機能を含むようになりました。ユーザーはプロンプト、LLM、ツール、さらにはデプロイされたエージェントを試すことができます。新しいツールドロップダウンでは、ユーザーがUnityカタログからホストされたツールを選択し、Llama 3.1-70BやGPT-4o（“fx”アイコンで示されています）のような異なるオーケストレータモデルを比較することができ、ツールとのインタラクションに最適なパフォーマンスのLLMを特定するのに役立ちます。さらに、AI Playgroundは出力の中で連鎖的な思考の推論を強調し、ユーザーが結果をデバッグし、確認するのを容易にします。このセットアップは、ツールの機能の迅速な検証も可能にします。
AI Playgroundは現在、Mosaic AIエージェント評価と統合され、エージェントまたはLLMの品質についてより深い洞察を提供します。各エージェントが生成した出力は、LLMの審査員によって評価され、品質メトリクスを生成します。これらはインラインで表示されます。結果を展開すると、各メトリックの背後にある理由が表示されます。
モデルサービングを用いたエージェントの簡単なデプロイ
Mosaic AIプラットフォームには、Compound AIシステムのデプロイメントを迅速化する新機能が追加されました。AI Playgroundには、Pythonノートブックを自動生成するExportボタンが新たに追加されました。ユーザーはエージェントをさらにカスタマイズするか、そのままモデルサービングでデプロイすることができ、迅速に本番環境に移行することが可能です。
自動生成されたノートブック（1）はLLMとツールをLanggraphなどのオーケストレーションフレームワークに統合し（最初はLanggraphから始めますが、将来的には他のフレームワークもサポートする予定です）、（2）Playgroundセッションからのすべての質問を評価データセットにログします。また、Agent EvaluationからのLLMジャッジを使用したパフォーマンス評価を自動化します。以下は自動生成されたノートブックの例です：
ノートブックは Mosaic AI Model Servingでデプロイでき、これには下流のツールと依存関係への自動認証が含まれています。また、リクエスト、レスポンス、エージェントトレースのログを提供し、リアルタイムの監視と評価を可能にします。これにより、運用エンジニアは本番環境での品質を維持し、開発者はオフラインでエージェントを改善することができます。
これらの機能により、実験から本番環境でのエージェントへのシームレスな移行が可能になります。
AI GatewayとAgent Evaluationを使用して本番品質を反復処理します
モザイクAIゲートウェイの推論テーブルは、ユーザーがエージェントのプロダクションエンドポイントからの入力リクエストと出力レスポンスをUnityカタログデルタテーブルにキャプチャすることを可能にします。MLflowトレーシングが有効になっていると、推論テーブルはエージェント内の各コンポーネントの入力と出力もログに記録します。このデータは、既存のデータツールと組み合わせて分析に使用することができ、エージェント評価と組み合わせることで、品質を監視し、デバッグし、エージェント駆動型アプリケーションを最適化することができます。
次に何が来るのでしょうか？
新機能を開発中で、Model Servingの基盤モデルエンドポイントを企業データと統合し、ツールを選択して実行することが可能になります。あなたはカスタムツールを作成し、この機能をGPT-4oのような独自のLLMやLLama-3.1-70Bのようなオープンモデルなど、任意のタイプのLLMと共に使用することができます。例えば、以下の単一APIコールは、LLMを使用してユーザーの質問を処理し、get_weatherツールを実行して関連する天気データを取得し、この情報を組み合わせて最終的なレスポンスを生成します。
clilent = OpenAI(api_key=DATABRICKS_TOKEN, base_url="https://XYZ.cloud.databricks.com/serving-endpoints")
response = client.chat.completions.create(
model="databricks-meta-llama-3-1-70b-instruct",
messages=[{"role": "user", "content": "来週のシアトルの天気はどうなるのか、それはこの季節に普通なのか？"}],
tool=[{"type": "uc_function", "uc_function": {"name": "ml.tools.get_weather"}}]
)
print(response.choices[0].message.content)
プレビューはすでに一部の顧客に提供されています。登録するには、アカウントチームに「Tool Execution in Model Serving」プライベートプレビューに参加することをお問い合わせください。
無料トライアル
Databricks Mosaic AIを使用して、今日からCompound AIシステムを構築しましょう。AI Playgroundでの迅速な実験からModel Servingを用いた簡単なデプロイ、AI Gateway Inference Tablesを用いたデバッグまで、Mosaic AIはライフサイクル全体をサポートするツールを提供します。
- AI Playgroundに飛び込んで、AIエージェントを素早く実験し評価してみてください[AWS | Azure]
- 私たちのAIクックブックを使用してカスタムエージェントを素早く構築します。
- 「モデルサービングにおけるツール実行」プライベートプレビューに参加するために、アカウントチームにお問い合わせください。
- 10月のバーチャルイベントをお見逃しなく。お客様が構築している複合AIシステムについて学ぶ絶好の機会です。こちらから登録してくださいここ。
