昨年、 Databricksモデルサービングにおける基盤モデルのサポートを開始し 、企業が統合データおよび AI プラットフォーム上で安全でカスタマイズされた生成 AI アプリを構築できるようにしました。 それ以来、何千もの組織がモデルサービングを使用して、独自のデータセットに合わせてカスタマイズされた生成 AI アプリを展開してきました。
本日、生成 AI アプリの実験、カスタマイズ、展開を容易にする新しいアップデートを発表できることを嬉しく思います。 これらの更新には、新しい大規模言語モデル (LLM) へのアクセス、より簡単な検出、よりシンプルなカスタマイズ オプション、および改善された モニタリング が含まれます。 これらの改善により、生成 AI アプリの開発と拡張をより迅速かつ低コストで行うことができます。
Databricks モデルサービングは、AI SaaS 内または外部でホストされているものを含む複数の およびオープン モデルに安全にアクセスして管理することを容易にすることで、Databricks 主導のプロジェクトを加速します。一元化されたアプローチにより、セキュリティとコスト管理が簡素化され、データチームは管理オーバーヘッドを減らしてイノベーションに集中できるようになりました - Edmunds.com テクノロジー担当バイスプレジデント、Greg Rokita 氏
モデルサービングには継続的に新しいオープンソース モデルと独自モデルが追加され、統一されたインターフェイスを通じてより幅広いオプションにアクセスできるようになります。
すべてのモデルは、統合された OpenAI 互換のAPIと SQL インターフェースを介してアクセスできるため簡単に比較、実験し、ニーズに最適なモデルを選択できます。
client = OpenAI(
api_key='DATABRICKS_TOKEN',
base_url='https://<YOUR WORKSPACE ID>.cloud.databricks.com/serving-endpoints'
)
chat_completion = client.chat.completions.create(
messages=[
{
"role": "user",
"content": "Tell me about Large Language Models"
}
],
# Specify the model, either external or hosted on Databricks. For instance,
# replace 'claude-3-sonnet' with 'databricks-dbrx-instruct'
# to use a Databricks-hosted model.
model='claude-3-sonnet'
)
print(chat_completion.choices[0].message.content)Experian では、コア機能を維持しながら幻覚の発生率が最も低い生成 AI モデルを開発しています。 Databricks で Mixtral 8x7b モデルを利用することで、迅速なプロトタイピングが可能になり、優れたパフォーマンスと迅速な応答時間が実現しました - Experian の AI/ML イノベーショ ン責任者、James Lin 氏
Databricks のモデルのリストを拡大し続けるにつれて、多くのユーザーから、モデルを見つけることがより困難になっているという声が寄せられています。 モデル検出を簡素化する新機能が導入されました。
ほとんどの生成 AI アプリケーションでは、LLM を組み合わせたり、外部システムと統合したりする必要があります。Databricks モデルサービングを使用すると、LangChain または任意の Python コードを使用してカスタムオーケストレーションロジックをデプロイできます。これにより、エンドツーエンドのアプリケーションを完全に 上で管理およびデプロイできます。Databricks プラットフォーム上で 複合システムをさらに簡単にするための更新を導入しています。
LangChain および PyFunc モデルのストリーミング サポートや、 Databricks 上での最新グレードの複合 AI アプリの構築をさらに簡素化するプレイグラウンド統合など、さらなるアップデートが近日中にリリースされる予定です。
モデルサービングとモニタリングを組み合わせることで、展開されたモデルが常に最新の状態に保たれ、正確な結果が得られることを保証できます。この合理化されたアプローチにより、可用性や運用上の懸念を気にすることなく、 AIのビジネスへの影響を最大化することに集中できます - Hitachi Solutions 製品開発担当副社長、Don Scott 氏
LLM やその他の AI モデルのモニタリングは、それらをデプロイすることと同じくらい重要です。推論テーブルが、GPU デプロイモデルや外部ホストモデルを含むすべてのエンドポイントタイプをサポートするようになったことをお知らせします。推論テーブルは、 Databricksモ デルサービングエンドポイントからの入力と予測を継続的にキャプチャし、 Unity Catalog Delta Table に記録します。その後、既存のデータツールを使用して AI モデルを評価、監視、微調整できます。
プレビューに参加するには、アカウント > プレビュー > 外部モデルと基盤モデルの推論テーブルを有効にするに移動します。
Databricks AI Playground にアクセスして、ワークスペースから直接基盤モデルを試してください。詳細については、次のリソースを参照してください。
