AIエージェント評価が進化！新たな合成データ機能で効率アップ
私たちのお客様は、汎用モデルを用いた大規模プロンプトから、ROIを向上させるために必要な品質を達成する専門的なエージェントシステムへと移行し続けています。今年初め、私たちは Mosaic AI Agent Framework と Agent Evaluation をリリースしました。これらは現在、多くの企業で、企業データを活用した複雑な推論や、サポートチケットの作成、メール対応などのタスクを実行するエージェントシステムの構築に利用されています。 本日、Agent Evaluationにおける大幅な強化として、合成データ生成APIを発表します。合成データ生成とは、実世界のデータを模倣した人工的なデータセットを作成することを指しますが、これは「架空の情報」を作ることではありません。私たちのAPIは、顧客独自のデータを活用し、それに基づいて評価セットを生成します。この評価セットは、顧客のユースケースに特化したものであり、ソフトウェアエンジニアリングにおけるテストスイートや、従来の機械学習における検証データのような役割を
EVPassport: Databricksとともに未来への充電完了！
2020年に設立されたEVPassportは、電気自動車の充電体験を変革することを目指しています。マルチファミリーレジデンス、ホスピタリティ、小売、職場、商業駐車環境に特化したEVPassportは、包括的なInfrastructure-as-a-Serviceモデルを提供します。このオールインクルーシブなアプローチにより、クライアントはEV充電ステーションの展開と管理に必要なすべてを受け取ることができます：ハードウェア、ソフトウェア、インストール、メンテナンス、サポート。 データ依存によるEV充電器エコシステムの進化 私たちEVPassportの業界の性質を考えると、私たちは充電器の利用に非常に集中しています。業界で最も過大評価されている指標の一つは、充電器がどれだけ使用されているかということです。しかし、これは私たちのビジネスにとっても重要な要素であり、それが私たちがエネルギーに基づいた利用を基本にしている理由です。例えば、11キロワットのユニットが1時間に11キロワット時を24時間365日提供することが何を
Mosaic AIエージェントフレームワークで自律AIアシスタントを構築する
大規模な言語モデルは、高度な自然言語処理を活用して複雑なタスクを実行することで、私たちがテクノロジーと交流する方法を革新しています。近年では、最先端のLLMモデルが幅広い革新的なアプリケーションを可能にしてきました。昨年は、RAG（Retrieval Augment generation）に向けたシフトが見られ、ユーザーは自組織のデータ（ベクトル埋め込みを通じて）をLLMに供給することで、対話型AIチャットボットを作成しました。 しかし、まだ表面をかすっているだけです。 強力ではありますが、「Retrieval Augment Generation」は私たちのアプリケーションを静的な知識の取得に制限します。 内部データからの質問にだけ答えるのではなく、 行動 も最小限の人間の介入で取る典型的なカスタマーサービスエージェントを想像してみて ください。LLMを使用すれば、ユーザーのクエリに対して単に応答するだけでなく、行動する完全自動化された意思決定アプリケーションを作成することができます。可能性は無限大で、内部データ
TealiumとDatabricks：リアルタイムの洞察とAI駆動の顧客体験を提供
TealiumがDatabricksを使用して、リアルタイムのストリーミングCustomer Data Platform（CDP）の要素をどのように動かしているかを学びましょう。このプラットフォームは、クライアントに包括的な顧客洞察を提供し、パーソナライズされたマーケティングと顧客エンゲージメントを可能にします。Databricks Mosaic AIを使用すると、Tealiumは予測的なMLモデルの構築から最新のGenAIアプリのデプロイまで、AIとMLソリューションを安全に構築、デプロイ、評価、管理することができます。
Xcel Energy：Databricks上でRAGベースのチャットボットを開発
"私たちはMLFlowトレーシングの機能をより深く探求しています。この機能は、パフォーマンスの問題を診断し、カスタマーコールサポートチャットボットからの応答の質を向上させるために重要な役割を果たします。さらに、私たちはいくつかのエキサイティングなプロジェクトに取り組んでいます。これには、私たちの野火LLMのフィードバックループを確立し、エージェントベースのRAGイニシアチブをより多く実装することが含まれます。私たちの目標は、LLMをXcel全体でよりアクセシブルにすることも含まれており、チームがタグ付け、感情分析、その他必要なアプリケーションなどのタスクにそれらを利用できるようにします。"- ブレイク・クラインハンス、シニアデータサイエンティスト、Xcel Energy 序章 Xcel Energy は、 コロラド州、ミシガン州、ミネソタ州、ニューメキシコ州、ノースダコタ州、サウスダコタ州、テキサス州、ウィスコンシン州の8つの州で340万人の電気顧客と190万人の天然ガス顧客にサービスを提供する主要な電気・天然ガ
バッチおよびエージェントワークフローのための構造化出力の紹介
多くのAIのユースケースは、非構造化入力を構造化データに変換することに依存しています。開発者はますます、LLMを利用して生のドキュメントから構造化データを抽出し、APIソースからデータを取得するアシスタントを構築し、行動を起こすエージェントを作成しています。これらの各ユースケースでは、モデルが構造化された形式に従った出力を生成する必要があります。 今日、私たちは Structured Outputs をMosaic AI Model Servingに導入することを発表します。これは、提供されたJSONスキーマにオプションで準拠できるJSONオブジェクトを生成するための統一されたAPIです。この新機能は、LlamaのようなオープンなLLM、ファインチューニングされたモデル、OpenAIのGPT-4oのような外部LLMを含むすべてのタイプのモデルをサポートし、特定のユースケースに最適なモデルを選択する柔軟性を提供します。 Structured Outputs は、新たに導入された response_format とと
未来を守る：生成型AIの時代におけるAIエージェントシステムを保護するAIゲートウェイの役割
未来：ルールエンジンから指示に従うAIエージェントシステムへ 銀行や保険などのセクターでは、ルールエンジンは長い間、意思決定において重要な役割を果たしてきました。銀行口座の開設資格を決定したり、保険請求を承認したりするかどうか、これらのエンジンは事前に定義されたルールを適用してデータを処理し、自動的な決定を下します。これらのシステムが失敗すると、人間の主題専門家（SMEs）が例外処理を行います。 しかし、指示に従うGenAIモデルの出現は、ゲームを変えることになるでしょう。静的なルールエンジンに頼るのではなく、これらのモデルは特定のルールデータセットで訓練され、複雑な決定を動的に行うことができます。例えば、指示に従うモデルは、リアルタイムで顧客の金融履歴を評価し、ローン申請を承認または拒否することができます。ハードコーディングされたルールは必要ありません。データに基づいて決定を下す訓練されたモデルだけです。 この変化は、より大きな柔軟性と効率性をもたらしますが、重要な問いを提起します： 伝統的なルールエンジンを置
AIエージェントシステム：信頼性の高い企業向けAIを実現するモジュール型エンジニアリング
モノリシックからモジュラーへ 新技術の概念実証（POC）は、多くの場合、特性を明確にするのが難しい大規模でモノリシックな単位から始まります。POCはその性質上、拡張性、保守性、品質といった課題を考慮せずに「技術が動作する」ことを示すために設計されます。しかし、技術が成熟し広く展開されると、これらの課題に対応するために、製品開発はより小さく管理しやすい単位に分解されていきます。これがシステム思考の基本的な概念であり、AIの導入が単一のモデルからAIエージェントシステムへと進化している理由なのです。 モジュール設計の概念が適用されてきた分野: modular design 自動車 : 座席、タイヤ、ライト、エンジンなどを異なるベンダーから調達可能 コンピュータチップ : メモリ、I/Oインターフェイス、FLASHメモリなどの事前構築されたモジュールを統合 建築物 : 窓、ドア、床、家電など ソフトウェア : オブジェクト指向プログラミングやAPIにより、小規模で管理可能な コンポーネントに分割 ほぼすべてのエンジニアリ
Aimpoint Digital：Databricksにおける安全で効率的なマルチリージョンモデル提供のためのDelta Sharingの活用
機械学習モデルを提供する際、 遅延 は、予測をリクエストしてからレスポンスを受け取るまでの時間であり、エンドユーザーにとって最も重要な指標の一つです。遅延は、リクエストがエンドポイントに到達する時間、モデルによって処理される時間、そしてユーザーに戻る時間を含みます。異なる地域に基づくユーザーにモデルを提供すると、リクエストとレスポンスの両方の時間が大幅に増加する可能性があります。顧客が基づいている地域とは異なる地域でモデルをホスティングし、提供している企業を想像してみてください。この地理的な分散は、データがクラウドストレージから移動する際の高いエグレスコストを発生させ、2つの仮想ネットワーク間のピアリング接続と比較してセキュリティが低下します。 地域間の遅延の影響を示すために、ヨーロッパから米国にデプロイされたモデルエンドポイントへのリクエストは、ネットワーク遅延として100-150ミリ秒を追加することができます。対照的に、米国内のリクエストは、この Azureネットワークの往復遅延統計 ブログから抽出した情報に