Mosaic AI Gatewayに高度なセキュリティとガバナンス機能が登場！

私たちは、Mosaic AI Gatewayに新たな強力な機能を導入できることを嬉しく思います。これにより、お客様がAIイニシアチブをさらに簡単に、そしてセキュリティやガバナンスを強化しながら加速させることが可能になります。

企業がAIソリューションの導入を急ぐ中で、セキュリティ、コンプライアンス、コストの管理がますます難しくなっています。そこで、昨年Mosaic AI Gatewayをリリースし、多くの企業がOpenAI GPT、Anthropic Claude、Meta Llamaモデルを含むさまざまなモデルのAIトラフィックを管理するために使用しています。

今回のアップデートでは、使用状況の追跡、ペイロードログの記録、ガードレール設定といった高度な機能が追加され、Databricksデータインテリジェンスプラットフォーム内のあらゆるAIモデルに対してセキュリティとガバナンスを適用できるようになりました。このリリースにより、Mosaic AI Gatewayは最も機密性の高いデータやトラフィックに対しても、プロダクションレベルのセキュリティとガバナンスを提供します。

“Mosaic AIゲートウェイは、私たちがAIモデルを安全に利用し、それらを私たちの独自のデータに接続するための安全な方法を提供しています。これにより、私たちは安全で、コンプライアンスを満たし、コンテキストに応じたAIシステムを構築することができ、生産性を向上させ、すべての人に優れた医療サービスを提供するという使命を達成するのに役立ちます。"

— Kapil Ashar, Vice President, Enterprise Data and Clinical Platform, Accolade

Mosaic AI Gatewayとは何ですか？

多くの企業が、異なるプロバイダからの複数のAIモデルを組み合わせて複合AIシステム（例えば、RAG、マルチエージェントアーキテクチャ）を構築し、GenAIアプリケーションを本番環境にデプロイするための品質を達成します。しかし、企業がオープンなモデルと独自のモデルを多様に統合すると、運用の非効率性、コストオーバーラン、潜在的なセキュリティリスクといった課題に直面します。

Mosaic AIゲートウェイは、AIトラフィックにアクセス、管理、保護するための統一されたサービスを提供することでこれらの課題に対応します。これにより、エンタープライズの管理者はガードレールを強制し、AIの使用を監視するとともに、開発者には簡単なインターフェースを提供し、迅速に実験、組み合わせ、安全にアプリケーションを本番環境にデプロイすることができます。Mosaic AIゲートウェイを採用したOMVやEdmundsのような企業は、同業他社よりも効果的にAIイニシアチブを加速させることができ、コンプライアンス、セキュリティ、運用効率を維持しながら行うことができました。

Mosaic AI Gatewayで何ができますか？

任意のAIモデルに安全にアクセスする

Mosaic AI Gatewayは、単一のインターフェースを通じて任意のLLMへのアクセスを簡素化します。単一のインターフェース（API、SDK、SQL）を使用することで、開発時間と統合コストを大幅に削減します。独自のモデルとオープンモデルをクライアントアプリの変更なしに簡単に切り替えることができます。 Mosaic AI Gatewayが他のものと一線を画すのは、すべてのAIアセット（伝統的なモデル、GenAIモデル、チェーン、エージェント）をサポートしていることで、複数のシステムが不要になります。また、モデル間でのルーティングとトラフィック分割を可能にし、A/Bテストや高い需要を処理するためのプロバイダ間での作業分担を可能にします。

“Mosaic AI Gatewayを使用することで、私たちは様々なオープンおよび独自のAIモデルを自信を持って試すことができ、イノベーションを加速しながら規制遵守を確保しました。これにより、複数のGenAIアプリを統合することが可能になり、情報検索時間の短縮とデータ駆動型の意思決定の改善が図られました。”

— Harisyam Manda, Senior Data Scientist at OMV

AIトラフィックの監視とデバッグ

Mosaic AIゲートウェイは現在、Unity Catalog Delta Tablesへのエンドポイントからのすべてのトラフィックの使用とペイロードデータをキャプチャします。ここでは2つの重要なテーブルを紹介します：

• エンドポイント使用テーブル：このシステムテーブルは、アカウント内のすべてのサービングエンドポイントに対するすべてのリクエストをログに記録し、リクエスターの詳細、使用統計、カスタムメタデータを含みます。このデータは、実験的なエンドポイントにレート制限を設定したり、プロダクションエンドポイントのクォータを増やすためにプロバイダと協力したりすることで、支出を最適化し、ROIを最大化するのに役立ちます。
• 推論テーブル：このテーブルは、各サービングエンドポイントの生の入力、出力、HTTPステータスコード、レイテンシを継続的にキャプチャします。このデータを使用してAIアプリの品質を監視、問題をデバッグ、またはAIモデルを微調整するためのトレーニングコーパスとして使用することができます。

一番のポイントは、すべてのデータがUnity Catalogに保存されるため、データを安全に共有、検索、可視化、分析するのが簡単になることです。例えば、これらのテーブルをラベルデータやビジネスメトリクスなどの他のテーブルと組み合わせることで、カスタム分析を行ったり、ビジネスのニーズに合わせたダッシュボードを作成したりすることができます。

"Mosaic AIゲートウェイは、OpenAIやDatabricksにホストされた他のモデルであろうと、任意のLLMを安全に利用することを可能にし、LLMトラフィックが適切にガバナンスと追跡が行われることを保証します。これにより、GenAIが民主化され、新たなユースケースとして、顧客満足度を向上させたカスタマーサービスボットをデプロイすることが可能になりました。"

—Manuel Velaro Méndez, Head of Big Data at Santalucía Seguros

ユーザーとアプリケーションを継続的に保護する

Mosaic AI Gatewayには、任意のモデルAPIへのトラフィックを保護し、安全ポリシーを強制し、リアルタイムで機密情報を保護するための包括的なガードレールが含まれています。これらのガードレールには：

• 安全フィルタリング: ヘイトスピーチ、侮辱、性的コンテンツ、暴力、不正行為、その他のカテゴリなどの有害なコンテンツをフィルタリングします。
• PIIフィルター: ユーザー入力に含まれる個人を特定できる情報（PII）などの機密内容を含むリクエストを検出し、ブロックします。
• キーワードフィルタ: あなたのビジネスとポリシーに合わせた安全で関連性のあるインタラクションを確保するために、アプリケーション内の望ましくないトピックをブロックします。
• トピックフィルタ：関連性のないまたはリスキーなトピックへの応答を避けることで、アプリケーションが訓練された範囲に集中し、責任を最小限に抑えます。

これらのガードレールは、特定のユースケースやポリシーに合わせてエンドポイントまたはリクエストレベルで設定することができます。すべてのデータは推論テーブルにログされ、その後、Lakehouse Monitoringを使用してモデルの安全性を時間経過で追跡することができます。

“ガードレールは、安全でないコンテンツがエンドユーザーに届くのを防ぐのに役立ちます。ペイロードログを使用すると、アプリケーションのパフォーマンスを追跡するためのガードレールも追跡できます。"

— Ryan Jockers, Assistant Director at North Dakota University System

あなたのデータをAIと簡単に接続する

Mosaic AIゲートウェイはDatabricks Data Intelligence Platform上に構築されており、企業がRAG、エージェントワークフロー、ファインチューニングなどの手法を使用してLLMをデータに簡単に接続することを可能にし、一般的なインテリジェンスを行動可能なデータインテリジェンスに変換するのに役立ちます。これはすでに実行されており、多くの顧客がMosaic AIのVector Searchを使用して外部モデルでエンベディングを作成したり、エージェントフレームワークや評価ツールを使用して外部モデルでエージェントを構築しています。

"Databricks Model Servingは、Databricks内外でホストされているSaaSやオープンモデルを含む、複数のモデルへの安全なアクセスと管理を容易にすることで、私たちのAI駆動型プロジェクトを加速しています。その集中的なアプローチは、セキュリティとコスト管理を簡素化し、データチームが革新により集中し、管理上のオーバーヘッドを減らすことができます。" Greg Rokita, AVP, Technology at Edmunds.com

Mosaic AI Gatewayの使い方

Mosaic AI Gatewayの新しいモニタリングとガードレールが、すべてのモデル提供ワークスペースで利用可能になりました。新規および既存の外部モデルでMosaic AI Gatewayを数回クリックするだけで有効にします。追加のエンドポイントのサポートは近日中に提供予定です。

• 次のDatabricks GenAIウェビナーに参加してください、10/8/24：データインテリジェンスへのシフト。
• Mosaic AIゲートウェイのデモをご覧ください。
• Mosaic AIゲートウェイをチェックアウトしてください ノートブックデモ。
• Mosaic AI Gateway Documentation（AWS | Azure）