AIエージェントシステム：信頼性の高い企業向けAIを実現するモジュール型エンジニアリング
モノリシックからモジュ ラーへ 新技術の概念実証（POC）は、多くの場合、特性を明確にするのが難しい大規模でモノリシックな単位から始まります。POCはその性質上、拡張性、保守性、品質といった課題を考慮せずに「技術が動作する」ことを示すために設計されます。しかし、技術が成熟し広く展開されると、これらの課題に対応するために、製品開発はより小さく管理しやすい単位に分解されていきます。これがシステム思考の基本的な概念であり、AIの導入が単一のモデルからAIエージェントシステムへと進化している理由なのです。 モジュール設計の概念が適用されてきた分野: modular design 自動車 : 座席、タイヤ、ライト、エンジンなどを異なるベンダーから調達可能 コンピュータチップ : メモリ、I/Oインターフェイス、FLASHメモリなどの事前構築されたモジュールを統合 建築物 : 窓、ドア、床、家電など ソフトウェア : オブジェクト指向プログラミングやAPIにより、小規模で管理可能なコンポーネントに分割 ほぼすべてのエンジニアリ
Databricks が 2024 年 Gartner ® Magic Quadrant ™のデータサイエンスおよび機械学習プラットフォーム部門のリーダーの1社として評価されました
Gartner 社がDatabricks を 2024 Gartner® Magic Quadrant™ のデータサイエンスおよび機械学習プラットフォームのリーダー の1社して評価 したことを発表いたします。 リーダーは、市場の需要を満たす成熟した製品を提供し、要件の進化に応じて市場での地位を維持するために必要なビジョンを示しています。 Gartner は、データサイエンスおよび機械学習プラットフォームを、ライフサイクルのすべての段階を通じてデータサイエンティストがビジネスおよびIT部門の担当者と連携することをサポートするライブラリとツールの統合セットと定義しています。 これらの段階には、ビジネスの理解、データへのアクセスと準備、実験とモデルの作成、知見の共有が含まれます。 リーダーに選ばれたことに加えて、実行能力で最高のベンダーとして認められたことを嬉しく思います レポートの無料コピー はこちらから ダウンロードできます 。 図 1: データサイエンスと機械学習プラットフォームのマジッククアドラント 2021.
Mosaic AI：本番運用のための複合AIシステムの構築とデプロイ
Translation Review by saki.kitaoka 過去1年間で、一般知識タスクにおける優れた推論能力を示す商用およびオープンソースの基礎モデルの急増を目の当たりにしました。 一般モデルは重要な構成要素ですが、実際のAIアプリケーションは、調整されたモデル、検索、ツールの使用、および推論エージェントなど、複数のコンポーネントを活用する 複合AIシステム が採用されることが多くなっています。AIシステムは基礎モデルを強化し、品質を大幅に向上させることで、顧客がこれらの生成AIアプリケーションを自信を持って運用に導入できるようにします。 本日、Data and AI Summitで、Databricks Mosaic AIが本格的なAIシステムを構築するための最良のプラットフォームとなる新機能を発表しました。これらの機能は、数千の企業と協力してAI駆動アプリケーションを運用に投入してきた経験に基づいています。本日の発表には、基礎モデルのファインチューニングのサポート、AIツールのエンタープライズカタ
Databricks が Forrester Wave ™ : 言語向け AI 基盤モデル (2024 年第 2 四半期) でリーダーに選出されました！
Forresterが発表した2024年第2四半期の「The Forrester Wave™: AI Foundation Models for Language」において、Databricksがリーダーとして認められたことをお知らせします。リーダーとは、強力な製品提供と戦略を持つモデルプロバイダーのことです。ForresterはAI基盤モデルプロバイダーを評価するために21の基準を使用し、最終結果を導き出しました。企業の購買者は、モデルベンチマークの漸進的な改善を超え、企業のニーズに細かく調整された明確なロードマップを持ち、幻覚を減らし会社のブランドに合致するようにモデルを構成・管理する能力、IP権と他者のIP権を尊重する能力、低レイテンシでスケールし常に稼働する能力を持つ基盤モデル言語プロバイダーに注目すべきだと結論付けました。 レポートは こちらから ダウンロードできます。 図 1: Forrester Wave ™ : 言語向け AI 基盤モデル、2024 年第 2 四半期...
「DBRX」を発表: オープンソース大規模言語モデルのスタンダードとして
Databricksのミッションは、「組織が独自のデータを理解し、使用して独自のAIシステムを構築できるようにすること」です。つまりはすべての企業にデータインテリジェンスを提供することです。 本日、このミッションの達成へと大きく踏み出すため、 Mosaic Research チームによって構築された汎用の大規模言語モデル（LLM）であるDBRXをオープンソース化します。このモデルは、標準的なベンチマークにおいて既存のすべてのオープンソースモデルを凌駕しています。オープンソースモデルの限界を押し広げることが、すべての企業に対してカスタマイズ可能で透明性のある生成AIを可能にすると私たちは信じています。 私たちが「DBRX」に興奮するのには、3つの明確な理由があります。 まず第一に、言語理解、プログラミング、数学、論理において、LLaMA2-70B、Mixtral、Grok-1などのオープンソースモデルを圧倒しています（図1参照）。実際、私たちのオープンソースベンチマーク「 Gauntlet 」 には、30以上の異な
LilacがDatabricksに参画：生成AIの非構造化データ評価をシンプル化
本日、LilacがDatabricksに参画することを発表できることを嬉しく思います。 Lilacは、データサイエンティストが生成AIを中心にあらゆる種類のテキストデータセットを検索、クラスタリング、分析するためのスケーラブルでユーザーフレンドリーなツールです。 Lilacは、大規模言語モデル（LLM）の出力の評価から、モデルのトレーニングのための非構造化データセットの理解と準備まで、さまざまなユースケースに使用できます。 LilacのツールをDatabricksに統合することで、顧客は自社の企業データを使用した生産品質の生成AIアプリケーションの開発を加速させることができます。 生成AI時代のデータ探索と理解 データは、モデルのトレーニングのためのデータセットの準備、モデルの出力の評価、RAG（Retrieval-Augmented Generation）データのフィルタリングなど、LLMベースのシステムの中核をなすものです。 これらのデータセットを探索し理解することは、質の高い生成AIアプリを構築する上で非常
独自データを用いたカスタムLLMは、価値ある知的財産を保護しながら、いかにして業務を飛躍的に向上させることができるか？
大規模言語モデル（ LLM ）は企業の世界を熱狂させ、誰もがその利点を利用したいと考えている。実際、 DatabricksとMIT Technology Reviewがテクノロジー・リーダーを対象に行った最近の調査 によると、企業の47％が今年のAI予算を25％以上増やすと見込んでいる。 このような勢いにもかかわらず、多くの企業は、LLM、AI、機械学習が自社の組織内でどのように利用できるのか、まだ正確には分かっていない。プライバシーやセキュリティに関する懸念は、この不確実性をさらに大きくしている。情報漏洩やハッキングが発生すれば、多額の財務的損失や風評被害を招き、規制当局の監視の目にさらされる可能性があるからだ。 しかし、AIイノベーションを取り入れることで得られる報酬は、リスクをはるかに上回る。適切なツールとガイダンスがあれば、組織は非公開でコンプライアンスに準拠した方法でAIモデルを迅速に構築し、拡張することができる。ジェネレーティブAIが多くの企業の将来に影響を与えることを考えると、モデルの構築とカスタマ
データ・インテリジェンス・プラットフォーム
「 ソフトウェアが世界を食べている 」という見方が、現代のハイテク産業を形成してきました。今日、ソフトウェアは、私たちが身につける時計から、家、車、工場、農場まで、私たちの生活のいたるところにあります。Databricksでは、まもなく AIがすべてのソフトウェアを食べるようになる と考えています。つまり、過去数十年の間に構築されたソフトウェアがインテリジェントになり、データを活用することで、より賢くなるということです。 その影響は膨大 かつ多様で、カスタマーサポートから医療、教育まであらゆる分野に影響を及ぼします。このブログでは、AIがデータ・プラットフォームをどのように変えるかについて、私たちの見解を述べます。データ・プラットフォームに対するAIのインパクトは漸進的なものではなく、データへのアクセスを大幅に民主化し、手作業による管理を自動化し、カスタムAIアプリケーションのターンキー作成を可能にするという根本的なものであると主張します。 これらすべてを可能にするのが、組織のデータを深く理解する統合プラットフォー