メインコンテンツへジャンプ
<
ページ 5
>

Patronus AI x Databricks: 幻覚(ハルシネーション)検出のためのトレーニングモデル

大規模言語モデル (LLM) における幻覚は、モデルが実際の現実や提供されたコンテキストと一致しない応答を生成するときに発生します。 この問題は、LLM 出力がユーザー提供のドキュメントにアクセスできる RAG アプリケーションを開発する LLM 実践者にとって課題となります。 たとえば、金融に関する質問への回答や医療診断に使用されている LLM がソース ドキュメントから逸脱した応答を生成すると、ユーザーは誤った情報にさらされ、重大な悪影響が生じます。 LLM-as-a-judge パラダイムは、その柔軟性と使いやすさにより、生成 AI アプリケーションの応答における不正確さを検出するために人気が高まっています。 しかし、GPT-4 のようなトップクラスのパフォーマンスを誇るモデルを使用している場合でも、LLM をジャッジとして使用すると、複雑な推論タスクに対する応答を正確に評価できないことがよくあります。 さらに、クローズドソースの LLM の品質、透明性、コストについても懸念があります。...

Mosaic AI Agent Framework および Agent Evaluation の発表

Databricks は 、Data + AI Summit 2024 で、 生成 AI クックブック とともに、Mosaic AI Agent Framework および Agent Evaluation の パブリック プレビュー を 発表...

Santalucía Seguros: 顧客サービスとエージェントの生産性を向上させるエンタープライズレベルの RAG を構築する

Translation Review by Akihiro.Kuwano 保険業界では、顧客は自分のニーズに応える、パーソナライズされた、迅速で効率的なサービスを求めています。 一方、保険代理店は、複数の場所からさまざまな形式で大量のドキュメントにアクセスする必要があります。 100 年以上家族をサポートしてきたスペインの企業 Santalucía Seguros は、顧客サービスとエージェントの生産性を向上させるために、製品、補償範囲、手順などに関するエージェントの問い合わせをサポートできる GenAI ベースの仮想アシスタント (VA) を実装しました。 VA は Microsoft Teams 内でアクセスされ、あらゆるモバイル デバイス、タブレット、コンピューターから、エージェントの質問に自然言語でリアルタイムに、24 時間 365...

Databricks が 2024 年 Gartner ® Magic Quadrant ™のデータサイエンスおよび機械学習プラットフォーム部門のリーダーの1社として評価されました

Gartner 社がDatabricks を 2024 Gartner® Magic Quadrant™ のデータサイエンスおよび機械学習プラットフォームのリーダー の1社して評価 したことを発表いたします。 リーダーは、市場の需要を満たす成熟した製品を提供し、要件の進化に応じて市場での地位を維持するために必要なビジョンを示しています。 Gartner は、データサイエンスおよび機械学習プラットフォームを、ライフサイクルのすべての段階を通じてデータサイエンティストがビジネスおよびIT部門の担当者と連携することをサポートするライブラリとツールの統合セットと定義しています。 これらの段階には、ビジネスの理解、データへのアクセスと準備、実験とモデルの作成、知見の共有が含まれます。 リーダーに選ばれたことに加えて、実行能力で最高のベンダーとして認められたことを嬉しく思います レポートの無料コピー はこちらから ダウンロードできます 。 図 1: データサイエンスと機械学習プラットフォームのマジッククアドラント 2021.

DatabricksとMLflowを活用して、FactSetが企業向け生成AIプラットフォームを実現した方法

「FactSetの使命は、クライアントがデータに基づいた意思決定を行い、ワークフローと生産性を向上させることです。私たちは、プラットフォーム全体でAI駆動のソリューションを提供するために、自社の開発者およびクライアントの企業の開発者が効率的かつ効果的に革新を進めることを支援しています。Databricksはこの革新の重要な要素であり、データとAIを中心としたソリューションを構築するための柔軟なプラットフォームを提供することで、価値を創出しています。」 - Kate Stepp, CTO, FactSet 私たちの企業と主要な取り組み 2024年には、特にAIの応用を通じてクライアントのワークフローを改善し、検索やさまざまなクライアントチャットボット体験における提供内容を強化することに焦点を当てています。AIをさまざまなサービスに統合することで、より個別化された効率的なクライアント体験を提供し、成長を促進することを目指しています。これらのAI駆動の強化は、ファクトセット投資家向けの財務提案の生成からポートフォリオの

Mosaic AI:本番運用のための複合AIシステムの構築とデプロイ

Translation Review by saki.kitaoka 過去1年間で、一般知識タスクにおける優れた推論能力を示す商用およびオープンソースの基礎モデルの急増を目の当たりにしました。 一般モデルは重要な構成要素ですが、実際のAIアプリケーションは、調整されたモデル、検索、ツールの使用、および推論エージェントなど、複数のコンポーネントを活用する 複合AIシステム が採用されることが多くなっています。AIシステムは基礎モデルを強化し、品質を大幅に向上させることで、顧客がこれらの生成AIアプリケーションを自信を持って運用に導入できるようにします。 本日、Data and AI Summitで、Databricks Mosaic AIが本格的なAIシステムを構築するための最良のプラットフォームとなる新機能を発表しました。これらの機能は、数千の企業と協力してAI駆動アプリケーションを運用に投入してきた経験に基づいています。本日の発表には、基礎モデルのファインチューニングのサポート、AIツールのエンタープライズカタ

Databricks が Forrester Wave ™ : 言語向け AI 基盤モデル (2024 年第 2 四半期) でリーダーに選出されました!

Forresterが発表した2024年第2四半期の「The Forrester Wave™: AI Foundation Models for Language」において、Databricksがリーダーとして認められたことをお知らせします。リーダーとは、強力な製品提供と戦略を持つモデルプロバイダーのことです。ForresterはAI基盤モデルプロバイダーを評価するために21の基準を使用し、最終結果を導き出しました。企業の購買者は、モデルベンチマークの漸進的な改善を超え、企業のニーズに細かく調整された明確なロードマップを持ち、幻覚を減らし会社のブランドに合致するようにモデルを構成・管理する能力、IP権と他者のIP権を尊重する能力、低レイテンシでスケールし常に稼働する能力を持つ基盤モデル言語プロバイダーに注目すべきだと結論付けました。 レポートは こちらから ダウンロードできます。 図 1: Forrester Wave ™ : 言語向け AI 基盤モデル、2024 年第 2 四半期...

DSPyでDatabricksのLLMパイプラインを最適化しましょう!

過去 1 年間、業界レベルのLLMテクノロジーの世界をフォローしてきた方なら、本番運用におけるフレームワークやツールの多さに気付いているでしょう。スタートアップ企業は、 検索拡張生成 (RAG) 自動化からカスタム ファインチューニング サービスまで、あらゆるものを構築しています。Langchain は 、おそらくこれらすべての新しいフレームワークの中で最も有名で、2023 年春以降、連鎖言語モデル コンポーネントの簡単なプロトタイプ作成を可能にしています。ただし、最近の重要な開発は、スタートアップ企業からではなく、学術界から生まれました。 2023年10月、Databricksの共同創設者であるMatei Zahariaのスタンフォード研究室の研究者たちが、宣言型の言語モデルコールを自己改善型パイプラインにコンパイルするためのライブラリである DSPy を発表しました。DSPyの主要な要素は自己改善型パイプラインです。例えば、ChatGPTは単一の入力-出力インターフェースとして見えますが、実際には単一のLLM

Databricksアシスタントに自動補完機能が登場!

Databricks Assistant オートコンプリート のパブリックプレビューを発表できることを嬉しく思います。この機能は、リアルタイムでAI駆動のアシスタントがパーソナライズされたコード提案を提供します。ノートブックやSQLエディタに直接統合されており、Assistant Autocompleteの提案が開発の流れに自然に溶け込み、エディタに集中したまま作業を続けることができます。 AI によるコード提案で生産性を向上 Databricks Assistant オートコンプリートは、SQLおよびPythonでの入力中に自動的に高速なコード提案を提供します。AIコード補完は、現在のコードセルや周囲のコードセル、Unity Catalogメタデータ、DataFrameデータなどのコンテキストを使用して、入力中に非常に関連性の高い提案を生成します。 SQL Python Databricks Assistant Autocompleteを最大限に活用する方法 Databricks Assistant Autoc

大手ベンチャーキャピタル会社が Databricks で GenAI を構築する方法

May 14, 2024 コルトン・ペルティエ による投稿 in
GenAI アプリケーションをうまく構築するには、最先端の最新モデルを活用するだけでは不十分です。 データ、モデル、インフラストラクチャを柔軟かつスケーラブルに統合し、本番運用に対応した 複合AIシステム を開発する必要 があります。これには、オープンソース モデルと独自モデルの両方、ベクター データベースへのアクセス、モデルの微調整、構造化データのクエリ、エンドポイントの作成、データの準備、コストの管理、ソリューションの監視を行う機能が必要です。 このブログでは、 Databricksへの投資も行っている大手ベンチャーキャピタル会社 (このブログでは「VC」と表記) の GenAI 変革について見ていきます。この VC は、社内でイノベーションを推進するだけでなく、将来の投資を導く GenAI アプリケーションを構築する機会をより深く理解したいと考えていました。この VC は、構造化ファンド データから「 Databricksにいくら投資したか、現在の価値はいくらか」などの情報を照会する Q&A...