翻訳：Junichi Maruyama. - Original Blog Link
大規模言語モデル（LLM）は、SQLウェアハウスに保存されたテキストデータのセンチメント分析から、製品に関するニュアンスの異なる質問に回答するリアルタイムのチャットボットの導入まで、ビジネス価値を提供する幅広い潜在的なユースケースを解き放ちます。しかし、これらのアプリケーションのために強力なSaaSやオープンソースのLLMへのアクセスを民主化するには、セキュリティ、コスト、データ関連のさまざまな課題が伴います。例えば、企業全体で SaaS LLM API トークンを効果的に管理するという具体的な課題を考えてみよう：
- チームがAPIトークンをプレーンテキストとして通信に貼り付けることによるセキュリティの問題
- 共有キーがアプリケーションのクラッシュやレート制限の乱用によるコストのピークにつながるというコストの問題
- 各チームがガードレールなしで独自のAPIトークンを管理することによるガバナンスの問題
これらの課題は、組織がイノベーションのためにLLMプロバイダー（OpenAI、Anthropic、オープンソースモデルなど）へのアクセスを拡大することを阻害する。さらに、最新のモデルを使用してビジネス上の問題を迅速に解決するために、データアナリストとデータサイエンティストは、標準的なインターフェイスで最先端のLLMにアクセスする必要があります。
本日、MLflow 2.5のAI Gatewayコンポーネントのプレビューを発表できることを嬉しく思います。MLflow AI Gatewayは拡張性の高いエンタープライズグレードのAPIゲートウェイで、組織がLLMを管理し、実験や本番ユースケースで利用できるようにします。LLMの認証情報やデプロイメントの一元管理、チャットや完了などの一般的なタスクのための標準化されたインターフェイス、複数のSaaSやオープンソースのLLMとの統合などの機能を備えています。AIゲートウェイを利用することで：
- 組織は、開発から運用に至るまでLLMを安全に保護することができます。
- データアナリストは、コスト管理のガードレールを使ってLLMを安全に照会できます。
- データサイエンティストは、さまざまな最先端のLLMをシームレスに試して、高品質のアプリケーションを構築できます。
- MLエンジニアは、複数のデプロイメントにわたってLLMを再利用することができます。
AIゲートウェイの使用方法については、続きをお読みください。
AI Gateway RoutesによるLLMへの安全なアクセス
各ユースケースやアプリケーションが必要なモデルに確実にアクセスできるようにすることは重要ですが、コストを管理し、セキュリティ侵害を防ぐためには、このアクセスを体系的に管理・制限することも重要です。AIゲートウェイは、組織内の各チームがそれぞれのSaaS LLM認証情報を管理するのではなく、ガードレールを備えたLLMテクノロジーへの集中アクセスを可能にします。つまり、組織全体で各SaaS LLMの「開発」キーと「本番」キーを管理し、ユーザーとサービス料金の上限を設定することができます。
AIゲートウェイは、ルートを通じてこの集中アクセスを提供します。Routeは特定のベンダー（OpenAI、Anthropic、Hugging Faceなど）のLLMを表し、関連する認証情報と設定を定義します。組織はユースケース ごとにRouteを作成し、必要に応じてデータアナリスト、データサイエンティスト、プロダクションアプリケーションなどのコンシューマーにアクセスを委譲することができます。コンシューマは標準的なインタフェースの背後でこれらのルートにクエリできますが、クレデンシャルやコンフィギュレーションに直接アクセスすることはできません。
次のコード・スニペットは、MLflow Python クライアントを使用して AI Gateway Route を簡単に作成し、クエリできることを示しています：
from mlflow.gateway import set_gateway_uri, create_route, query
set_gateway_uri("databricks")
# Create a Route for completions with OpenAI GPT-4
create_route(
name="gpt-4-completions",
route_type="llm/v1/completions",
data={
"name": "gpt-4",
"provider": "openai",
"openai_config": {
"openai_api_key": $OPENAI_API_KEY
}
}
)
# Query the Route with a prompt
gpt4_response = query(
route="gpt-4-completions",
data={"prompt": "What is MLflow?"}
)
assert gpt4_response == {
"candidates": [
{
"text": "MLflow is an open-source platform for end-to-end ML...",
"metadata": {"finish_reason": "stop"}
}
],
"metadata": {
"input_tokens": 13,
"output_tokens": 7,
"total_tokens": 20,
"model": "command",
"route_type": "llm/v1/completions"
}
}
AI Gateway は、Databricks Model Serving にデプロイされたオープ ンソースモデルもサポートしており、複数のアプリケーションで LLM を再利用することができます。以下のコードスニペットは、オープンソースの MPT-7B-Chat モデルを持つ Databricks Model Serving エンドポイントを使用して、テキスト補完の AI Gateway Route を作成し、クエリを実行します：
create_route(
name="oss-mpt-7b-completions",
route_type="llm/v1/completions",
data={
"name": "mpt-7b",
"provider": "databricks-model-serving",
"databricks_model_serving_config": {
"databricks_workspace_url": "https://my.workspace.databricks.com",
"databricks_api_token": $DATABRICKS_ACCESS_TOKEN,
},
}
)
mpt_7b_response = query(
route="oss-mpt-7b-completions",
data={"prompt": "What is MLflow?"}
)
response_text = mpt_7b_response["candidates"][0]["text"]
assert response_text.startswith("MLflow is an open source ML platform")
Routes の詳細については、MLflow AI Gateway のドキュメントを参照してください。
最新かつ最高のLLMを標準インターフェースで使用
ビジネス上の問題を解決し、費用対効果の高い方法で高品質なアプリケーションを構築するために、データアナリストやデータサイエンティストは様々なSaaSやオープンソースのLLMを試す必要がある。これらのLLMはそれぞれ独自のリクエスト・レスポンス形式、パラメータ、依存関係を定義している。AI Gatewayは、利用者が専用のソフトウェアをインストールしたり、問い合わせたい各LLMのベンダー固有のAPIドキュメントに精通したりする必要はなく、チャット、完了、エンベッディングを含むLLMタスクのための標準REST APIを提供する。
AI Gatewayの各Routeには、テキスト補完ならllm/v1/completions、チャットならllm/v1/chatのようなタイプがあり、リクエストとレスポンスのフォーマットとクエリパラメータを決定します。このフォーマットはどのベンダーのLLMでも一貫しているため、データサイエンティストやデータアナリストは複数のLLMを試して最適な結果を得ることができる。
次のコード・スニペットは、MLflow Python クライアントを使用したシームレスな実験を示しています。1 行を変更するだけで、このコード例は 2 つのテキスト補完 Routes に クエリを発行します：1 つは OpenAI GPT-4 用、もう 1 つは Cohere の Command モデル用です。
from mlflow.gateway import set_gateway_uri, create_route, query
set_gateway_uri(gateway_uri="databricks")
# Create a Route for Completions with Cohere
create_route(
name="cohere-completions",
route_type="llm/v1/completions",
data={
"name": "command",
"provider": "cohere",
"cohere_config": {
"cohere_api_key": $COHERE_API_KEY
}
}
)
# Query the OpenAI GPT-4 route (see previous section) and the Cohere Route
openai_gpt4_response = query(
route="gpt-4-completions",
data={"prompt": "What is MLflow?", "temperature": 0.3, "max_tokens": 100}
)
cohere_command_response = query(
route="cohere-completions", # Only the route name changes
data={"prompt": "What is MLflow?", "temperature": 0.3, "max_tokens": 100}
)
AIゲートウェイのテキスト補完、チャット、エンベッディングの標準インターフェースの詳細については、以下をご覧ください MLflow AI Gateway documentation.
MLflow AI Gatewayを使い始める
Databricks上のMLflow AI Gatewayをお試しいただくことで、LLMのユースケースを安全かつ高速化することができます！既存の Databricks ユーザーの方は、Databricks 担当者にご連絡の上、AI Gateway Private Preview にご登録ください。まだ Databricks ユーザーでない方は、databricks.com/product/managed-mlflow で詳細をご覧いただき、Databricks と Managed MLflow の無料トライアルを開始してください。オープンソースのMLflow AI Gatewayや、MLflow 2.5に含まれるその他の機能や改善点についての詳細は、release changelogをご覧ください。
