メインコンテンツへジャンプ

昨年、 Databricksモデルサービングにおける基盤モデルのサポートを開始し 、企業が統合データおよび AI プラットフォーム上で安全でカスタマイズされた生成 AI アプリを構築できるようにしました。 それ以来、何千もの組織がモデルサービングを使用して、独自のデータセットに合わせてカスタマイズされた生成 AI アプリを展開してきました。

本日、生成 AI アプリの実験、カスタマイズ、展開を容易にする新しいアップデートを発表できることを嬉しく思います。 これらの更新には、新しい大規模言語モデル (LLM) へのアクセス、より簡単な検出、よりシンプルなカスタマイズ オプション、および改善された モニタリング が含まれます。 これらの改善により、生成 AI アプリの開発と拡張をより迅速かつ低コストで行うことができます。

Databricks モデルサービングは、AI SaaS 内または外部でホストされているものを含む複数の およびオープン モデルに安全にアクセスして管理することを容易にすることで、Databricks 主導のプロジェクトを加速します。一元化されたアプローチにより、セキュリティとコスト管理が簡素化され、データチームは管理オーバーヘッドを減らしてイノベーションに集中できるようになりました - Edmunds.com テクノロジー担当バイスプレジデント、Greg Rokita 氏

統一されたインターフェイスから新しいオープンモデルと独自モデルにアクセス

モデルサービングには継続的に新しいオープンソース モデルと独自モデルが追加され、統一されたインターフェイスを通じてより幅広いオプションにアクセスできるようになります。

  • 新しいオープンソース モデル: DBRX や Llama-3 などの最近の追加機能は、オープン言語モデルの新しいベンチマークを確立し、最先端のクローズド モデル製品に匹敵する機能を提供します。これらのモデルは、 最適化された GPU 推論を備えた基盤モデル APIs を介して Databricks で即座にアクセス可能であり、データはDatabricks のセキュリティ境界内で安全に保たれます。
  • 新しい外部モデルのサポート: 外部モデル機能は、Gemini Pro や Claude 3 など、最新の独自の最先端モデルをサポートするようになりました。外部モデルを使用すると、サードパーティモデルプロバイダーの認証情報を安全に管理し、レート制限と権限のサポートを提供できます。

すべてのモデルは統合された OpenAI 互換のAPIと SQL インターフェースを介してアクセスできるため簡単に比較、実験し、ニーズに最適なモデルを選択できます。

Experian では、コア機能を維持しながら幻覚の発生率が最も低い生成 AI モデルを開発しています。 Databricks で Mixtral 8x7b モデルを利用することで、迅速なプロトタイピングが可能になり、優れたパフォーマンスと迅速な応答時間が実現しました - Experian の AI/ML イノベーション責任者、James Lin 氏

新しい検出ページと検索エクスペリエンスによるモデルとエンドポイントの検出

Databricks のモデルのリストを拡大し続けるにつれて、多くのユーザーから、モデルを見つけることがより困難になっているという声が寄せられています。 モデル検出を簡素化する新機能が導入されました。

  • パーソナライズされたホームページ: 新しいホームページでは、一般的なアクションとワークロードに基づいて Databricks エクスペリエンスがパーソナライズされます。Databricks ホームページの [Mosaic AI] タブには、最先端のモデルが紹介されており、簡単に見つけることができます。このプレビュー機能を有効にするには、アカウント プロファイルにアクセスし、[設定] > [開発者] > [Databricks ホームページ] に移動します
  • ユニバーサル検索: 検索バーでモデルとエンドポイントがサポートされるようになり、既存のモデルとエンドポイントをすばやく見つける方法が提供され、検出時間が短縮され、モデルの再利用が容易になりました。
ホーム

チェーンアプリと関数呼び出しで複合 AI システムを構築する

ほとんどの生成 AI アプリケーションでは、LLM を組み合わせたり、外部システムと統合したりする必要があります。Databricks モデルサービングを使用すると、LangChain または任意の Python コードを使用してカスタムオーケストレーションロジックをデプロイできます。これにより、エンドツーエンドのアプリケーションを完全に 上で管理およびデプロイできます。Databricks プラットフォーム上で 複合システムさらに簡単にするための更新を導入しています。

  • Vector Search (現在 GA) : Databricks Vector Search はモデルサービングとシームレスに統合され、正確でコンテキストに適した応答を提供します。現在、一般提供されており、大規模な本番運用対応の展開に対応しています。
  • 関数呼び出し (プレビュー) : 現在、プライベート プレビューでは、関数呼び出しにより、LLM は構造化された応答をより確実に生成できます。この機能により、JSON オブジェクトを出力して引数をマッピングすることで関数を呼び出すことができるエージェントとして LLM を使用できます。一般的な関数呼び出しの例としては、DBSQL などの外部サービスの呼び出し、自然言語の API 呼び出しへの変換、テキストからの構造化データの抽出などがあります。プレビューに参加してください
  • ガードレール (プレビュー): プライベート プレビューでは、ガードレールは、有害または機密性の高いコンテンツに対する要求と応答のフィルター処理を提供します。 プレビューに参加します
  • Secrets UI: 新しい Secrets UI は、エンドポイントへの環境変数とシークレットの追加を効率化し、外部システムとのシームレスな通信を容易にします (APIも利用可能)。
検索結果には、データおよび AI プラットフォームである Databricks に関連する記事、チュートリアル、コミュニティ ディスカッションが混在します。 内容の概要は次のとおりです:1. 最初の結果は、スクリーンショットまたは Databricks.2 に関連する画像と思われる画像ファイルの検索結果です。 2 番目の結果は、 Sparkでイメージ データソース を使用する方法に関する Databricks ドキュメントの記事です。 画像ファイルの構造、画像データの読み取りと書き込みの方法を説明し、ノートブックで画像データソースを使用する方法の例を示します。3. Databricks3AI 番目の結果は、同社のデータ インテリジェンス プラットフォームと、 、データエンジニアリング、 サイエンスにおけるその機能を紹介しています。4.4 番目の結果は、HTML を使用して Databricks ノートブックに画像を表示する方法に関するコミュニティのディスカッションです。 この説明では、`displayHTML` 関数の使用、画像パスの先頭にスラッシュを追加すること、IPython ライブラリ 5 を使用することなど、いくつかのソリューションが提供されています。 5 番目の結果は、Databricks でデータ イメージ PNG base64 としてハードコードされたマークダウン イメージをレンダリングすることに関する別のコミュニティ ディスカッションです。 この説明では、base64 エンコーディングを使用してデータ URI を構築するソリューションを示します。6. 6 番目の結果は、画像データソースの使用方法に関する Databricks ドキュメントからのサンプル ノートブックです。 画像データソースを使用して画像データを読み書きする方法の例を示します。全体として、検索結果には、 Databricksとそのデータエンジニアリング、 AI 、データサイエンスの機能に関連する技術情報、チュートリアル、コミュニティのディスカッションが混在しています。

LangChain および PyFunc モデルのストリーミング サポートや、 Databricks 上での最新グレードの複合 AI アプリの構築をさらに簡素化するプレイグラウンド統合など、さらなるアップデートが近日中にリリースされる予定です。

モデルサービングとモニタリングを組み合わせることで、展開されたモデルが常に最新の状態に保たれ、正確な結果が得られることを保証できます。この合理化されたアプローチにより、可用性や運用上の懸念を気にすることなく、 AIのビジネスへの影響を最大化することに集中できます - Hitachi Solutions 製品開発担当副社長、Don Scott 氏

推論テーブルを使用したすべてのタイプのエンドポイントの監視

LLM やその他の AI モデルのモニタリングは、それらをデプロイすることと同じくらい重要です。推論テーブル、GPU デプロイモデルや外部ホストモデルを含むすべてのエンドポイントタイプをサポートするようになったことをお知らせします。推論テーブルは、 Databricksモ デルサービングエンドポイントからの入力と予測を継続的にキャプチャし、 Unity Catalog Delta Table に記録します。その後、既存のデータツールを使用して AI モデルを評価、監視、微調整できます。

プレビューに参加するには、アカウント > プレビュー > 外部モデルと基盤モデルの推論テーブルを有効にするに移動します

画像へのリンクを共有したようですが、画像自体はこのチャットプラットフォームに表示されません。 共有したテキストは、画像の HTML コードである可能性が高く、人間が判読することはできません。画像を共有したい場合は、ImgurやDropboxなどのホスティングプラットフォームにアップロードして、ここでリンクを共有してみてください。 または、画像とその内容を説明していただければ、ご質問にお答えします。

無料トライアル

Databricks AI Playground にアクセスして、ワークスペースから直接基盤モデルを試してください。詳細については、次のリソースを参照してください。

  • 基盤モデル入門ガイドご覧ください
  • プレビューに参加するには、「アカウント」>「プレビュー」にアクセスしてください。
  • AI関数 を使用してSQLからLLMを呼び出す方法を学ぶ
  • 価格ページを見る
Databricks 無料トライアル

関連記事

本番運用 - Databricksを使用した高品質の RAG アプリケーション

12 月に、Databricks は Retrieval Augmented Generation (RAG) を使用して AI アプリケーションを本番運用するための新しいツール を発表しました 。それ以来、 Databricks Data Intelligence Platform 上で何千もの顧客によって構築される RAG アプリケーションが爆発的に増加しています 。 本日、 DatabricksVector Searchの一般提供やモデルサービングのメジャーアップデートなど、...

Databricks Model Servingを使用したプライベートLLMのデプロイ

翻訳:Saki Kitaoka. - Original Blog Link Databricks Model ServingのGPUおよびLLM最適化サポートのパブリックプレビューを発表できることを嬉しく思います!この発表により、LLMやVisionモデルを含む、あらゆるタイプのオープンソースまたは独自のカスタムAIモデルをLakehouseプラットフォーム上にデプロイできるようになります。Databricks Model Servingは、LLM Serving用にモデルを自動的に最適化し、設定なしでクラス最高のパフォーマンスを提供します。 Databricks Model Servingは、統合データおよびAIプラットフォーム上で開発された初のサーバーレスGPUサービング製品です。これにより、データの取り込みから微調整、モデルのデプロイ、モニタリングに至るまで、GenAIアプリケーションの構築とデプロイをすべて単一のプラットフォーム上で行うことができます。 Azure上のユーザーは、Model Serving

Mosaic AIモデルサービングでDBRX推論を高速化

イントロダクション このブログポストでは、Databricksが作成したオープンな最新大規模言語モデル(LLM)であるDBRXを使った推論を紹介します( DBRXの紹介 を 参照 )。DBRXがどのように効率的な推論と高度なモデル品質の両方を実現するために一から設計されたかを説明し、私たちのプラットフォームでどのように最先端のパフォーマンスを達成したかを要約し、最後にモデルとの対話方法に関する実践的なヒントを紹介します。 Mosaic AIモデルサービング は 、 ハイパフォーマンスでプロダクショングレードのエンタープライズ対応プラットフォーム上のDBRX Instructに即座にアクセスする ことができます。 ユーザーは即座に実験やプロトタイプアプリケーションを構築し、その後スムーズに本番グレードの推論プラットフォームへ移行することができます。 今すぐDBRXをお試しください! Databricksワークスペース内の AI Playground (米国のみ) OpenAI SDKを使って Databricks上
生成 AI一覧へ