Xcel Energy：Databricks上でRAGベースのチャットボットを開発

"私たちはMLFlowトレーシングの機能をより深く探求しています。この機能は、パフォーマンスの問題を診断し、カスタマーコールサポートチャットボットからの応答の質を向上させるために重要な役割を果たします。さらに、私たちはいくつかのエキサイティングなプロジェクトに取り組んでいます。これには、私たちの野火LLMのフィードバックループを確立し、エージェントベースのRAGイニシアチブをより多く実装することが含まれます。私たちの目標は、LLMをXcel全体でよりアクセシブルにすることも含まれており、チームがタグ付け、感情分析、その他必要なアプリケーションなどのタスクにそれらを利用できるようにします。"- ブレイク・クラインハンス、シニアデータサイエンティスト、Xcel Energy

序章

Xcel Energyは、コロラド州、ミシガン州、ミネソタ州、ニューメキシコ州、ノースダコタ州、サウスダコタ州、テキサス州、ウィスコンシン州の8つの州で340万人の電気顧客と190万人の天然ガス顧客にサービスを提供する主要な電気・天然ガスエネルギー会社です。Xcel Energyは、Databricks Mosaic AIを活用したRetrieval-Augmented Generation（RAG）アーキテクチャベースのチャットボットを構築し、業務の効率化と顧客サービスの向上を図りたいと考えていました。 Xcel Energyのデータサイエンティストたちは、レートケースのレビュー、法的契約のレビュー、収益通話レポートの分析など、いくつかの高価値なユースケースをテストすることを決定しました。例えば、エネルギーのコストが変動すると、Xcel Energyは市場要因に合わせてレートを再調整する必要があり、そのプロセスには数ヶ月を要することがあります。一方、Xcel Energyのリーダーシップチームは、何百ページものPDFを検索することなく収益通話レポートから洞察を得ることを切望していましたし、法務チームは顧客契約の詳細に素早くアクセスできることを望んでいました。

データチームの目標は、大規模なドキュメントコーパスから関連するデータを取得し、大規模言語モデル（LLM）を使用して正確で文脈に応じたレスポンスを生成できる、スケーラブルで効率的な生成AIシステムを実装することでした。Databricks Data Intelligence Platformの機能は、データガバナンスからモデル統合、監視、デプロイメントまでの開発の各フェーズを効率化しました。今では、エネルギー価格レポートや政府規制を含む複雑な文書のレビューに基づくレートケースは、最大6ヶ月かかる代わりに2週間で完了します。

「Databricksは、RAGベースのチャットボットの迅速な開発とデプロイメントを可能にし、私たちの価値を大幅に向上させました。このプラットフォームは、私たちの内部データソースと既存のダッシュボードツールとシームレスに統合され、チームがインフラを一から設定するのではなく、品質の向上に集中できるようにしました。さらに、Databricksは、最高のパフォーマンスを達成するために、さまざまな埋め込みと言語モデルを試すことを容易にしました。”- ブレイク・クラインハンス、シニアデータサイエンティスト、Xcel Energy

データ管理と準備

プロジェクトの重要な最初のステップは、データガバナンスと管理のための効果的な方法を確立することでした。公益事業者として、Xcel Energyは、機密または独自のデータが漏洩するリスクを避けるために、厳格なセキュリティとガバナンスを確保しなければなりませんでした。各ユースケースでは、公開文書（収益報告書）や機密文書（法的契約）など、さまざまな文書が必要でした。Databricks Unity Catalogは、チャットボットの知識ベースのドキュメントコーパスを含む、構造化データと非構造化データの両方の一元化されたデータ管理を可能にしました。それは細かいアクセス制御を提供し、すべてのデータが安全で準拠していることを保証しました。これは、機密性または専有データを含むプロジェクトにとって大きな利点です。

彼らの生成AIプラットフォームを最新の状態に保つためには、RAGベースのチャットボットにデータが取り込まれるとすぐに関連データを利用可能にする必要がありました。データの準備のために、Databricks NotebooksとApache Spark™が大規模なデータセットを処理するために利用されました。これらのデータセットは、政府のウェブサイト、法的文書、内部の請求書など、さまざまなソースから取得されました。Sparkの分散コンピューティング機能により、チームは迅速にドキュメントをデータレイクに取り込み、前処理することができ、Xcel Energyは大量のデータワークフローを最小限の時間でベクターストアに転送することができました。

埋め込み生成とストレージ  

RAGアーキテクチャの取得メカニズムには埋め込みが重要でした。チームはDatabricks Foundation Model APIsを利用して、databricks-bge-large-en やdatabricks-gte-large-enなどの最先端の埋め込みモデルにアクセスしました。これらの埋め込みは、ドキュメントコーパスの高品質なベクトル表現を提供しました。これらの埋め込みにより、モデルのインフラストラクチャを手動でデプロイまたは管理する必要がなくなり、埋め込み生成のプロセスが簡素化されました。

その後、埋め込みは Databricks Vector Search 、Databricks環境内に統合されたサーバーレスで高度にスケーラブルなベクトルデータベースに保存されました。これにより、チャットボットの検索コンポーネントのバックボーンを形成する効率的な類似性検索が確保されました。Vector SearchのDatabricksエコシステム内でのシームレスな統合は、インフラストラクチャの複雑さを大幅に削減しました。

LLM統合とRAG実装

Xcelは、Databricks Foundation Model APIsを使用して異なるLLMsをテストすることができました。これらのAPIは、デプロイメントやコンピューティングリソースの管理というオーバーヘッドなしに、事前に訓練された最先端のモデルへのアクセスを提供します。これにより、LLMsをチャットボットに簡単に組み込むことができ、最小限のインフラ管理で堅牢な言語生成を提供することができました。

彼らの初期のデプロイメントは、Llama 2とDBRXモデルを試した後、32kトークン長のMixtral 8x7b-instructでした。Mixtralは、スパースな専門家の混合（SMoE）モデルで、ほとんどのベンチマークでLlama 2 70BとGPT 3.5を一致または上回り、Llama 70Bの推論よりも4倍速かった。Xcel Energyは出力品質を優先し、AWS BedrockのAnthropicのClaude Sonnet 3.5に切り替えるまでMixtralを使用しました。これには、Databricks経由でMosaic AI GatewayとVector Searchを使用してRAGにアクセスしました。

その RAGパイプラインは、Databricksのコンポーネントとシームレスに統合する強力なフレームワークであるLangChainを使用して構築されました。 Databricks Vector Searchを類似性検索に利用し、それをLLMクエリ生成と組み合わせることで、チームはユーザーのクエリに対するコンテキストに応じたレスポンスを提供できる効率的なRAGベースのシステムを構築しました。LangChainとDatabricksの組み合わせにより、開発プロセスが簡素化され、システムのパフォーマンスが向上しました。

MLflowを用いた実験追跡とモデル管理  

プロジェクトは完全にMLflowを活用しました。これは、実験追跡とモデル管理のための広く採用されているオープンソースプラットフォームです。 MLflowのLangChain統合を使用することで、チームは開発プロセス中にRAGモデルのさまざまな設定とパラメータを記録することができました。これにより、バージョニングが可能になり、LLMアプリケーションのデプロイメントが簡素化され、実験から生産への明確な道筋が提供されました。

さらに、AI Gatewayは、チームが資格情報とモデルアクセスを中央で管理し、LLM間の効率的な切り替えを可能にし、レート制限とキャッシングを通じてコストを制御することを可能にしました。

モデルの提供とデプロイメント

チャットボットのデプロイメントは、Databricks Model Servingを使用して効率化されました。このサーバーレスコンピュートオプションは、RAGベースのチャットボットをホストするためのスケーラブルでコスト効率的なソリューションを提供し、モデルをREST APIエンドポイントとして最小限の設定で公開することができました。そのエンドポイントは、フロントエンドアプリケーションに簡単に統合でき、開発から製品への移行を効率化しました。

モデルサービングはまた、GPUベースのスケーリングを可能にし、レイテンシと運用コストを削減しました。このスケーラビリティはプロジェクトが拡大するにつれて重要となり、チャットボットが大幅なアーキテクチャ変更なしにユーザーロードの増加を処理できるようにしました。

モニタリングと継続的な改善  

デプロイ後、Databricks SQLを使用してモニタリングソリューションを実装しました。チームは、レスポンス時間、クエリ量、ユーザー満足度スコアなどの重要な指標を追跡するダッシュボードを作成しました。これらの洞察は、チャットボットのパフォーマンスを継続的に改善し、長期的な信頼性を確保するために重要でした。

モニタリングを全体のワークフローに統合することで、チームは潜在的な問題に積極的に対応し、リアルタイムのフィードバックに基づいてシステムのパフォーマンスを最適化することができました。

結論：GenAIアプリケーションにおけるDatabricksの利点

The Databricks Data Intelligence Platformは、RAGベースのチャットボットの迅速な開発と展開を可能にし、大規模なAIプロジェクトの管理に通常関連する複雑さを大幅に削減しました。ツールの統合、例えばUnity Catalog、Foundation Model APIs、Vector Search、MLflow、そしてModel Servingは、GenAIアプリケーションを構築するための包括的なエンドツーエンドのAIエージェントシステムを提供しました。

スケーラビリティ、インフラのシンプルさ、 モデルガバナンス に焦点を当てることで、プラットフォームはチームがRAGアーキテクチャを洗練し、チャットボットのパフォーマンスを簡単に向上させることに集中することを可能にしました。プラットフォームの堅牢な機能は、プロジェクトがユーザーの需要の増加に効率的に対応できるようにし、Databricksを高度なGenAIアプリケーションの開発とデプロイメントに理想的な選択肢としました。Xcel Energyのデータサイエンスチームは、全体のアーキテクチャを中断することなく、より高度なLLMsに簡単にアップグレードできる自由を高く評価しました。

今後、Xcel Energyは、GenAIツールの使用を会社全体にさらに拡大し、データと洞察へのアクセスを民主化することができると予想しています。