DatabricksのモザイクAIを用いて複合AIシステムをより高速に構築！
多くのお客様が、一般的なモデルを使用したモノリシックなプロンプトから、製品準備完了のGenAIアプリに必要な品質を達成するための特化した複合AIシステムへと移行しています。 7月には、 エージェントフレームワークとエージェント評価を立ち上げ 、多くの企業がエージェントアプリケーションを作成するために使用しています。その一例が Retrieval Augmented Generation (RAG) です。今日、私たちはエージェントフレームワークに新機能を追加し、複雑な推論を行い、サポートチケットの開設、メールへの返信、予約の取得などのタスクを実行するエージェントの構築プロセスを簡素化することを発表します。これらの機能には以下のものが含まれます： 構造化されたエンタープライズデータと非構造化エンタープライズデータを共有可能で管理された AIツールを通じてLLMに接続します。 新しいプレイグラウンド体験を使って、エージェントを素早く実験し評価します 。 新しい ワンクリックコード生成 オプションを使用して、プレイグラ
一般主義者から専門家へ：AIシステムの進化は複合AIへ！
複合AIシステムに対する バズ は現実であり、それには十分な理由があります。複合AIシステムは、複数のAIモデル、ツール、システムの最良の部分を組み合わせて、単一のAIでは効率的に対処するのが難しい複雑な問題を解決します。 振り返る：モノリシックからマイクロサービスへ 複合AIシステムの魔法に飛び込む前に、少し戻ってアプリケーション開発がどのように進化してきたかを探ってみましょう。モノリシックなアプリケーションの日々を覚えていますか？これらは巨大な、一体型のソフトウェアシステムで、フロントエンドのインタラクション、バックエンドの処理、データベース管理を一つのコードベース内で処理していました。彼らは強力でしたが、欠点もありました。 モノリシックアーキテクチャの課題: 遅い更新 : アプリケーションの一部を少し修正するだけで、システム全体を再デプロイする必要がありました。 スケーリングの問題 : システムの一部が重負荷になると、システム全体をスケールアップしなければなりませんでした。 単一の障害点 : 一つのコンポー
カスタムのテキストからSQL生成するアプリケーションで金融のインサイトを解き放つ！
序章 取得強化生成（RAG）は、大規模言語モデル（LLM）を使用して企業が非構造化知識ベースを活用する方法を革新し、その可能性は広範に影響を及ぼします。 インターコンチネンタルエクスチェンジ（ICE） は、世界最大の証券取引所グループであるニューヨーク証券取引所（NYSE）を含む、取引所、クリアリングハウス、データサービス、住宅ローン技術を運営するグローバルな金融組織です。 ICEは、既存のアプリケーションからのデータ移動を必要とせずに、構造化されたRAGパイプラインを持つことで、構造化データ製品の自然言語検索のシームレスなソリューションを先駆的に開発しています。このソリューションは、エンドユーザーがデータモデル、スキーマ、またはSQLクエリを理解する必要性を排除します。 ICEチームはDatabricksエンジニアと協力して、Databricks Mosaic AI製品のフルスタック（ Unity Catalog , Vector Search , Foundation Model APIs , and Mod
Databricks上のMeta Llama 3.2の紹介：高速な言語モデルと強力なマルチモーダルモデル
Metaとのパートナーシップを通じて、Llama 3シリーズの最新モデルを Databricks Data Intelligence Platform でローンチすることを楽しみにしています。このLlama 3.2リリースの小型テキストモデルは、顧客が高速なリアルタイムシステムを構築することを可能にし、大型のマルチモーダルモデルは、Llamaモデルが視覚理解を獲得する初めてのマークです。 両方とも、Databricksの顧客が 複合AIシステム を構築するための重要なコンポーネントを提供し、これらのモデルを企業データに接続してデータインテリジェンスを可能にします。 Llamaシリーズの他のモデルと同様に、Llama 3.2モデルは今日からDatabricks Mosaic AIで利用可能で、あなたのデータで安全かつ効率的にチューニングすることができ、簡単にMosaic AI ゲートウェイ と エージェントフレームワーク にプラグインすることができます。 今日からDatabricksでLlama 3.2を使い始めま
Amazon EC2 G6インスタンス対応をDatabricksが発表
私たちは、Databricksが現在、 Amazon EC2 G6インスタンス をNVIDIA L4 Tensor Core GPUでサポートすることを発表することを嬉しく思います。これによりDatabricksデータインテリジェンスプラットフォーム上でのより効率的でスケーラブルなデータ処理、機械学習、AIワークロードを可能にする一歩を示しています。 AWS G6 GPUインスタンスの利点は何ですか？ Amazon Web Services (AWS)のG6インスタンスは、低コストでエネルギー効率の高いNVIDIA L4 GPUを搭載しています。このGPUは、 NVIDIAの第4世代テンソルコアAda Lovelaceアーキテクチャ に基づいており、最も要求の厳しいAIや機械学習のワークロードをサポートします。 G6インスタンスは、NVIDIA T4...
Entra ID、Azure DevOps、Databricksを連携！CI/CDのセキュリティを強化
パーソナルアクセストークン（PAT）は、パスワードでログインせずにAzure DatabricksやAzure DevOpsなどのサービスにアクセスする便利な方法です。 現在、多くの顧客がDatabricks Gitフォルダ（旧Repos）のリモートリポジトリのGit認証情報としてAzure DevOps PATトークンを使用しています。 残念ながら、PATトークンの使用にはいくつかのデメリットがあります。 Azure DevOpsでは、PATトークンはサービスプリンシパルやマネージドアイデンティティに発行することができず、顧客はサービスアカウントやユーザーのアイデンティティに頼ることになります。 また、PATトークンの最大寿命はしばしば数日、数週間、あるいは数ヶ月であり、そのローテーション（古いトークンが使用できなくなるようにトークンを更新するプロセス）は 管理 されることがありますが、これは長寿命の漏洩したトークンが大きなリスクをもたらす可能性があることを意味します。 より安全な代替手段は、Microsoft
重機メンテナンスへの洞察を革新するGenAI
重機械資産、例えば油田、農業用コンバイン、車両のフリートのメンテナンスは、グローバル企業にとって非常に複雑な課題をもたらします。これらの資産はしばしば世界中に広がっており、そのメンテナンススケジュールやライフサイクルは通常、企業全体のレベルで決定されます。主要なコンポーネントの故障は、1日あたり数百万ドルの収益損失をもたらすだけでなく、顧客への下流への影響も生じます。そのため、多くの企業が、これらの資産が毎日生成するテラバイト単位のデータから洞察を得るために、生成的AIに頼っています。これらの洞察は、停電を予測し、メンテナンス、修理、運用（MRO）のワークフローを改善することで、大幅な時間とコストの節約を実現するのに役立ちます。 Kubrick は、 Databricksのコンサルティングパートナー として、業界を問わずクライアントと協力して、重機械のメンテナンス要件を予測し対応する能力を革新しています。これらの組織は、KubrickとDatabricksの技術と専門知識を活用することで、価値チェーン全体のビジネ
Databricksがエージェント評価の組み込みLLM判断に大幅な改善を発表
エージェント評価における改良された回答正確性判断機能 エージェント評価 は、Databricksの顧客がGenAIアプリケーションの品質を定義し、測定し、改善する方法を理解するのを可能にします。顧客データを扱う業界特有の文脈でのGenAIアプリケーションのML出力の品質を測定することは、新たな複雑さの次元を持っています：入力は複雑なオープンエンドの質問を含むことがあり、出力は文字列マッチングメトリクスを使用して参照回答と簡単に比較できない長い形式の回答になることがあります。 エージェント評価は、2つの補完的なメカニズムでこの問題を解決します。最初の一つは、 組み込みのレビューUI で、人間の専門家がアプリケーションの異なるバージョンとチャットして生成されたレスポンスにフィードバックを提供することができます。二つ目は、 組み込みのLLMジャッジ のスイートで、自動的なフィードバックを提供し、評価プロセスを大量のテストケースにスケールアップすることができます。組み込みのLLMジャッジは、生成された回答が参照回答に対し
Databricks上で高度にスケーラブルなディープ推薦システムを訓練する（パート1）
推薦システム（RecSys）は、さまざまなプラットフォームでパーソナライズされたコンテンツの提案を支える現代のデジタル体験の不可欠な部分となっています。これらの洗練されたシステムとアルゴリズムは、ユーザーの行動、好み、アイテムの特性を分析し、興味のあるアイテムを予測し、推奨します。ビッグデータと機械学習の時代において、推薦システムは単純な協調フィルタリングのアプローチから、深層学習技術を活用する複雑なモデルへと進化しています。 これらの推薦システムをスケールすることは、特に何百万人ものユーザーや何千もの製品を扱う場合には、困難な場合があります。これを行うには、コスト、効率、精度のバランスを見つける必要があります。 このスケーラビリティの問題に対処する一般的なアプローチは、2段階のプロセスを含みます：初期の効率的な「広範な検索」に続いて、最も関連性の高いアイテムに対するより計算的に集中的な「狭範な検索」です。例えば、映画の推薦では、効果的なモデルはまず検索空間を数千からユーザーごとに約100項目に絞り込み、その後、
Mosaic AI Vector Searchのハイブリッド検索の一般提供を開始
Mosaic AI Vector Searchにおけるハイブリッド検索の一般提供開始を発表することを嬉しく思います。ハイブリッド検索は、事前に訓練された埋め込みモデルの強みとキーワード検索の柔軟性を組み合わせた強力な機能です。このブログ投稿では、ハイブリッド検索がなぜ重要で、どのように機能し、どのようにして検索結果を改善するためにそれを使用できるかを説明します。 ハイブリッド検索の理由は何ですか？ 事前学習済みの埋め込みモデルは、非構造化データを表現する強力な方法であり、意味を圧縮し、簡単に検索可能な形式で捉えます。しかし、それは外部データを使用して訓練され ており、あなたのデータについての明確な知識はありません。ハイブリッド検索は、ベクトル検索インデックスの上に学習したキーワード検索インデックスを追加します。キーワード検索インデックスはあなたのデータで訓練されており、そのため、あなたの検索状況に重要な名前、製品キー、その他の識別子についての知識を持っています。 ハイブリッド検索を選ぶタイミング ハイブリッド検索は