メインコンテンツへジャンプ

Mosaic AI Gatewayに高度なセキュリティとガバナンス機能が登場!

企業全体のすべてのGenAIモデルに対するサポート
アーメド・ビラル
Kasey Uhlenhuth
アーチカ・ドグラ
Share this post

私たちは、Mosaic AI Gatewayに新たな強力な機能を導入できることを嬉しく思います。これにより、お客様がAIイニシアチブをさらに簡単に、そしてセキュリティやガバナンスを強化しながら加速させることが可能になります。

企業がAIソリューションの導入を急ぐ中で、セキュリティ、コンプライアンス、コストの管理がますます難しくなっています。そこで、昨年Mosaic AI Gatewayをリリースし、多くの企業がOpenAI GPT、Anthropic Claude、Meta Llamaモデルを含むさまざまなモデルのAIトラフィックを管理するために使用しています。

今回のアップデートでは、使用状況の追跡、ペイロードログの記録、ガードレール設定といった高度な機能が追加され、Databricksデータインテリジェンスプラットフォーム内のあらゆるAIモデルに対してセキュリティとガバナンスを適用できるようになりました。このリリースにより、Mosaic AI Gatewayは最も機密性の高いデータやトラフィックに対しても、プロダクションレベルのセキュリティとガバナンスを提供します。

“Mosaic AIゲートウェイは、私たちがAIモデルを安全に利用し、それらを私たちの独自のデータに接続するための安全な方法を提供しています。これにより、私たちは安全で、コンプライアンスを満たし、コンテキストに応じたAIシステムを構築することができ、生産性を向上させ、すべての人に優れた医療サービスを提供するという使命を達成するのに役立ちます。"
— Kapil Ashar, Vice President, Enterprise Data and Clinical Platform, Accolade

Mosaic AI Gatewayとは何ですか?

多くの企業が、異なるプロバイダからの複数のAIモデルを組み合わせて複合AIシステム(例えば、RAG、マルチエージェントアーキテクチャ)を構築し、GenAIアプリケーションを本番環境にデプロイするための品質を達成します。しかし、企業がオープンなモデルと独自のモデルを多様に統合すると、運用の非効率性、コストオーバーラン、潜在的なセキュリティリスクといった課題に直面します。

Mosaic AIゲートウェイは、AIトラフィックにアクセス、管理、保護するための統一されたサービスを提供することでこれらの課題に対応します。これにより、エンタープライズの管理者はガードレールを強制し、AIの使用を監視するとともに、開発者には簡単なインターフェースを提供し、迅速に実験、組み合わせ、安全にアプリケーションを本番環境にデプロイすることができます。Mosaic AIゲートウェイを採用したOMVやEdmundsのような企業は、同業他社よりも効果的にAIイニシアチブを加速させることができ、コンプライアンス、セキュリティ、運用効率を維持しながら行うことができました。

Mosaic AI Gatewayは、AIトラフィックへのアクセス、管理、保護を一元化するサービスです。

 

Mosaic AI Gatewayで何ができますか?

 

任意のAIモデルに安全にアクセスする

Mosaic AI Gatewayは、単一のインターフェースを通じて任意のLLMへのアクセスを簡素化します。単一のインターフェース(API、SDK、SQL)を使用することで、開発時間と統合コストを大幅に削減します。独自のモデルとオープンモデルをクライアントアプリの変更なしに簡単に切り替えることができます。 Mosaic AI Gatewayが他のものと一線を画すのは、すべてのAIアセット(伝統的なモデル、GenAIモデル、チェーン、エージェント)をサポートしていることで、複数のシステムが不要になります。また、モデル間でのルーティングとトラフィック分割を可能にし、A/Bテストや高い需要を処理するためのプロバイダ間での作業分担を可能にします。

“Mosaic AI Gatewayを使用することで、私たちは様々なオープンおよび独自のAIモデルを自信を持って試すことができ、イノベーションを加速しながら規制遵守を確保しました。これにより、複数のGenAIアプリを統合することが可能になり、情報検索時間の短縮とデータ駆動型の意思決定の改善が図られました。”
— Harisyam Manda, Senior Data Scientist at OMV

AIトラフィックの監視とデバッグ

Mosaic AIゲートウェイは現在、Unity Catalog Delta Tablesへのエンドポイントからのすべてのトラフィックの使用とペイロードデータをキャプチャします。ここでは2つの重要なテーブルを紹介します:

  • エンドポイント使用テーブル:このシステムテーブルは、アカウント内のすべてのサービングエンドポイントに対するすべてのリクエストをログに記録し、リクエスターの詳細、使用統計、カスタムメタデータを含みます。このデータは、実験的なエンドポイントにレート制限を設定したり、プロダクションエンドポイントのクォータを増やすためにプロバイダと協力したりすることで、支出を最適化し、ROIを最大化するのに役立ちます。
  • 推論テーブル:このテーブルは、各サービングエンドポイントの生の入力、出力、HTTPステータスコード、レイテンシを継続的にキャプチャします。このデータを使用してAIアプリの品質を監視、問題をデバッグ、またはAIモデルを微調整するためのトレーニングコーパスとして使用することができます。

一番のポイントは、すべてのデータがUnity Catalogに保存されるため、データを安全に共有、検索、可視化、分析するのが簡単になることです。例えば、これらのテーブルをラベルデータやビジネスメトリクスなどの他のテーブルと組み合わせることで、カスタム分析を行ったり、ビジネスのニーズに合わせたダッシュボードを作成したりすることができます。

"Mosaic AIゲートウェイは、OpenAIやDatabricksにホストされた他のモデルであろうと、任意のLLMを安全に利用することを可能にし、LLMトラフィックが適切にガバナンスと追跡が行われることを保証します。これにより、GenAIが民主化され、新たなユースケースとして、顧客満足度を向上させたカスタマーサービスボットをデプロイすることが可能になりました。"
—Manuel Velaro Méndez, Head of Big Data at Santalucía Seguros

エンドポイント使用テーブルは、アカウント内のすべての提供エンドポイントでのすべてのリクエストをログに記録し、リクエスターの詳細、使用統計、カスタムメタデータを含みます。

ユーザーとアプリケーションを継続的に保護する

Mosaic AI Gatewayには、任意のモデルAPIへのトラフィックを保護し、安全ポリシーを強制し、リアルタイムで機密情報を保護するための包括的なガードレールが含まれています。これらのガードレールには:

  • 安全フィルタリング: ヘイトスピーチ、侮辱、性的コンテンツ、暴力、不正行為、その他のカテゴリなどの有害なコンテンツをフィルタリングします。
  • PIIフィルター: ユーザー入力に含まれる個人を特定できる情報(PII)などの機密内容を含むリクエストを検出し、ブロックします。
  • キーワードフィルタ: あなたのビジネスとポリシーに合わせた安全で関連性のあるインタラクションを確保するために、アプリケーション内の望ましくないトピックをブロックします。
  • トピックフィルタ:関連性のないまたはリスキーなトピックへの応答を避けることで、アプリケーションが訓練された範囲に集中し、責任を最小限に抑えます。

これらのガードレールは、特定のユースケースやポリシーに合わせてエンドポイントまたはリクエストレベルで設定することができます。すべてのデータは推論テーブルにログされ、その後、Lakehouse Monitoringを使用してモデルの安全性を時間経過で追跡することができます。

“ガードレールは、安全でないコンテンツがエンドユーザーに届くのを防ぐのに役立ちます。ペイロードログを使用すると、アプリケーションのパフォーマンスを追跡するためのガードレールも追跡できます。"
— Ryan Jockers, Assistant Director at North Dakota University System

Mosaic AI Gatewayには、任意のモデルAPIへのトラフィックを保護し、安全ポリシーを強制し、リアルタイムで機密情報を保護するための包括的なガードレールが含まれています。

 

あなたのデータをAIと簡単に接続する

Mosaic AIゲートウェイはDatabricks Data Intelligence Platform上に構築されており、企業がRAG、エージェントワークフロー、ファインチューニングなどの手法を使用してLLMをデータに簡単に接続することを可能にし、一般的なインテリジェンスを行動可能なデータインテリジェンスに変換するのに役立ちます。これはすでに実行されており、多くの顧客がMosaic AIのVector Searchを使用して外部モデルでエンベディングを作成したり、エージェントフレームワークや評価ツールを使用して外部モデルでエージェントを構築しています。

"Databricks Model Servingは、Databricks内外でホストされているSaaSやオープンモデルを含む、複数のモデルへの安全なアクセスと管理を容易にすることで、私たちのAI駆動型プロジェクトを加速しています。その集中的なアプローチは、セキュリティとコスト管理を簡素化し、データチームが革新により集中し、管理上のオーバーヘッドを減らすことができます。" Greg Rokita, AVP, Technology at Edmunds.com

Mosaic AI Gatewayの使い方

Mosaic AI Gatewayの新しいモニタリングとガードレールが、すべてのモデル提供ワークスペースで利用可能になりました。新規および既存の外部モデルでMosaic AI Gatewayを数回クリックするだけで有効にします。追加のエンドポイントのサポートは近日中に提供予定です。

 

 

Databricks 無料トライアル

関連記事

Mosaic AI:本番運用のための複合AIシステムの構築とデプロイ

Translation Review by saki.kitaoka 過去1年間で、一般知識タスクにおける優れた推論能力を示す商用およびオープンソースの基礎モデルの急増を目の当たりにしました。 一般モデルは重要な構成要素ですが、実際のAIアプリケーションは、調整されたモデル、検索、ツールの使用、および推論エージェントなど、複数のコンポーネントを活用する 複合AIシステム が採用されることが多くなっています。AIシステムは基礎モデルを強化し、品質を大幅に向上させることで、顧客がこれらの生成AIアプリケーションを自信を持って運用に導入できるようにします。 本日、Data and AI Summitで、Databricks Mosaic AIが本格的なAIシステムを構築するための最良のプラットフォームとなる新機能を発表しました。これらの機能は、数千の企業と協力してAI駆動アプリケーションを運用に投入してきた経験に基づいています。本日の発表には、基礎モデルのファインチューニングのサポート、AIツールのエンタープライズカタ

Databricks モデルサービングの新たなアップデートで生成 AI アプリ開発を加速

May 9, 2024 アーメド・ビラルKasey Uhlenhuth による投稿 in 生成 AI
昨年、 Databricksモデルサービングにおける 基盤モデルのサポート を開始し 、企業が統合データおよび AI プラットフォーム上で安全でカスタマイズされた生成 AI アプリを構築できるようにしました。 それ以来、何千もの組織がモデルサービングを使用して、独自のデータセットに合わせてカスタマイズされた生成 AI アプリを展開してきました。 本日、生成 AI アプリの実験、カスタマイズ、展開を容易にする新しいアップデートを発表できることを嬉しく思います。 これらの更新には、新しい大規模言語モデル (LLM) へのアクセス、より簡単な検出、よりシンプルなカスタマイズ オプション、および改善された モニタリング が含まれます。 これらの改善により、生成 AI...

Databricksがエージェント評価の組み込みLLM判断に大幅な改善を発表

エージェント評価における改良された回答正確性判断機能 エージェント評価 は、Databricksの顧客がGenAIアプリケーションの品質を定義し、測定し、改善する方法を理解するのを可能にします。顧客データを扱う業界特有の文脈でのGenAIアプリケーションのML出力の品質を測定することは、新たな複雑さの次元を持っています:入力は複雑なオープンエンドの質問を含むことがあり、出力は文字列マッチングメトリクスを使用して参照回答と簡単に比較できない長い形式の回答になることがあります。 エージェント評価は、2つの補完的なメカニズムでこの問題を解決します。最初の一つは、 組み込みのレビューUI で、人間の専門家がアプリケーションの異なるバージョンとチャットして生成されたレスポンスにフィードバックを提供することができます。二つ目は、 組み込みのLLMジャッジ のスイートで、自動的なフィードバックを提供し、評価プロセスを大量のテストケースにスケールアップすることができます。組み込みのLLMジャッジは、生成された回答が参照回答に対し
生成 AI一覧へ