本日、Mosaic AIモデルトレーニングによる生成AIモデルの微調整サポートがパブリックプレビューで利用可能になったことをお知らせできることを嬉しく思います。Databricksでは、汎用LLM（大規模言語モデル）の知能と企業データの知識を結びつけること、すなわち「データインテリジェンス」が高品質な生成AI システム を構築する鍵であると考えています。ファインチューニングにより、モデルは特定のタスクやビジネスコンテキスト、専門知識に特化でき、RAG（再利用可能な生成）と 組み合わせ ることで、より正確なアプリケーションが可能になります。これにより、企業データを取り入れて生成AIを独自のニーズに適応させるための重要な柱となる「データインテリジェンスプラットフォーム戦略」が形成されます。 モデルトレーニング 私たちの顧客は昨年、20万以上のカスタムAIモデルをトレーニングしており、その経験を基にMosaic AI Model Trainingという完全マネージドサービスを開発しました。Llama 3、Mistral

大規模言語モデル (LLM) における幻覚は、モデルが実際の現実や提供されたコンテキストと一致しない応答を生成するときに発生します。 この問題は、LLM 出力がユーザー提供のドキュメントにアクセスできる RAG アプリケーションを開発する LLM 実践者にとって課題となります。 たとえば、金融に関する質問への回答や医療診断に使用されている LLM がソース ドキュメントから逸脱した応答を生成すると、ユーザーは誤った情報にさらされ、重大な悪影響が生じます。 LLM-as-a-judge パラダイムは、その柔軟性と使いやすさにより、生成 AI アプリケーションの応答における不正確さを検出するために人気が高まっています。 しかし、GPT-4 のようなトップクラスのパフォーマンスを誇るモデルを使用している場合でも、LLM をジャッジとして使用すると、複雑な推論タスクに対する応答を正確に評価できないことがよくあります。 さらに、クローズドソースの LLM の品質、透明性、コストについても懸念があります。...

Databricks は 、Data + AI Summit 2024 で、 生成 AI クックブック とともに、Mosaic AI Agent Framework および Agent Evaluation の パブリック プレビュー を 発表...

Translation Review by Akihiro.Kuwano 保険業界では、顧客は自分のニーズに応える、パーソナライズされた、迅速で効率的なサービスを求めています。 一方、保険代理店は、複数の場所からさまざまな形式で大量のドキュメントにアクセスする必要があります。 100 年以上家族をサポートしてきたスペインの企業 Santalucía Seguros は、顧客サービスとエージェントの生産性を向上させるために、製品、補償範囲、手順などに関するエージェントの問い合わせをサポートできる GenAI ベースの仮想アシスタント (VA) を実装しました。 VA は Microsoft Teams 内でアクセスされ、あらゆるモバイル デバイス、タブレット、コンピューターから、エージェントの質問に自然言語でリアルタイムに、24 時間 365...

Gartner 社がDatabricks を 2024 Gartner® Magic Quadrant™ のデータサイエンスおよび機械学習プラットフォームのリーダー の1社して評価 したことを発表いたします。 リーダーは、市場の需要を満たす成熟した製品を提供し、要件の進化に応じて市場での地位を維持するために必要なビジョンを示しています。 Gartner は、データサイエンスおよび機械学習プラットフォームを、ライフサイクルのすべての段階を通じてデータサイエンティストがビジネスおよびIT部門の担当者と連携することをサポートするライブラリとツールの統合セットと定義しています。 これらの段階には、ビジネスの理解、データへのアクセスと準備、実験とモデルの作成、知見の共有が含まれます。 リーダーに選ばれたことに加えて、実行能力で最高のベンダーとして認められたことを嬉しく思います レポートの無料コピー はこちらから ダウンロードできます 。 図 1: データサイエンスと機械学習プラットフォームのマジッククアドラント 2021.

「FactSetの使命は、クライアントがデータに基づいた意思決定を行い、ワークフローと生産性を向上させることです。私たちは、プラットフォーム全体でAI駆動のソリューションを提供するために、自社の開発者およびクライアントの企業の開発者が効率的かつ効果的に革新を進めることを支援しています。Databricksはこの革新の重要な要素であり、データとAIを中心としたソリューションを構築するための柔軟なプラットフォームを提供することで、価値を創出しています。」 - Kate Stepp, CTO, FactSet 私たちの企業と主要な取り組み 2024年には、特にAIの応用を通じてクライアントのワークフローを改善し、検索やさまざまなクライアントチャットボット体験における提供内容を強化することに焦点を当てています。AIをさまざまなサービスに統合することで、より個別化された効率的なクライアント体験を提供し、成長を促進することを目指しています。これらのAI駆動の強化は、ファクトセット投資家向けの財務提案の生成からポートフォリオの

Translation Review by saki.kitaoka 過去1年間で、一般知識タスクにおける優れた推論能力を示す商用およびオープンソースの基礎モデルの急増を目の当たりにしました。 一般モデルは重要な構成要素ですが、実際のAIアプリケーションは、調整されたモデル、検索、ツールの使用、および推論エージェントなど、複数のコンポーネントを活用する 複合AIシステム が採用されることが多くなっています。AIシステムは基礎モデルを強化し、品質を大幅に向上させることで、顧客がこれらの生成AIアプリケーションを自信を持って運用に導入できるようにします。 本日、Data and AI Summitで、Databricks Mosaic AIが本格的なAIシステムを構築するための最良のプラットフォームとなる新機能を発表しました。これらの機能は、数千の企業と協力してAI駆動アプリケーションを運用に投入してきた経験に基づいています。本日の発表には、基礎モデルのファインチューニングのサポート、AIツールのエンタープライズカタ

Forresterが発表した2024年第2四半期の「The Forrester Wave™: AI Foundation Models for Language」において、Databricksがリーダーとして認められたことをお知らせします。リーダーとは、強力な製品提供と戦略を持つモデルプロバイダーのことです。ForresterはAI基盤モデルプロバイダーを評価するために21の基準を使用し、最終結果を導き出しました。企業の購買者は、モデルベンチマークの漸進的な改善を超え、企業のニーズに細かく調整された明確なロードマップを持ち、幻覚を減らし会社のブランドに合致するようにモデルを構成・管理する能力、IP権と他者のIP権を尊重する能力、低レイテンシでスケールし常に稼働する能力を持つ基盤モデル言語プロバイダーに注目すべきだと結論付けました。 レポートは こちらから ダウンロードできます。 図 1: Forrester Wave ™ : 言語向け AI 基盤モデル、2024 年第 2 四半期...

過去 1 年間、業界レベルのLLMテクノロジーの世界をフォローしてきた方なら、本番運用におけるフレームワークやツールの多さに気付いているでしょう。スタートアップ企業は、 検索拡張生成 (RAG) 自動化からカスタム ファインチューニング サービスまで、あらゆるものを構築しています。Langchain は 、おそらくこれらすべての新しいフレームワークの中で最も有名で、2023 年春以降、連鎖言語モデル コンポーネントの簡単なプロトタイプ作成を可能にしています。ただし、最近の重要な開発は、スタートアップ企業からではなく、学術界から生まれました。 2023年10月、Databricksの共同創設者であるMatei Zahariaのスタンフォード研究室の研究者たちが、宣言型の言語モデルコールを自己改善型パイプラインにコンパイルするためのライブラリである DSPy を発表しました。DSPyの主要な要素は自己改善型パイプラインです。例えば、ChatGPTは単一の入力-出力インターフェースとして見えますが、実際には単一のLLM