未来を守る：生成型AIの時代におけるAIエージェントシステムを保護するAIゲートウェイの役割
未来：ルールエンジンから指示に従うAIエージェントシステムへ 銀行や保険などのセクターでは、ルールエンジンは長い間、意思決定において重要な役割を果たしてきました。銀行口座の開設資格を決定したり、保険請求を承認したりするかどうか、これらのエンジンは事前に定義されたルールを適用してデータを処理し、自動的な決定を下します。これらのシステムが失敗すると、人間の主題専門家（SMEs）が例外処理を行います。 しかし、指示に従うGenAIモデルの出現は、ゲームを変えることになるでしょう。静的なルールエンジンに頼るのではなく、これらのモデルは特定のルールデータセットで訓練され、複雑な決定を動的に行うことができます。例えば、指示に従うモデルは、リアルタイムで顧客の金融履歴を評価し、ローン申請を承認または拒否することができます。ハードコーディングされたルールは必要ありません。データに基づいて決定を下す訓練されたモデルだけです。 この変化は、より大きな柔軟性と効率性をもたらしますが、重要な問いを提起します： 伝統的なルールエンジンを置
AIエージェントシステム：信頼性の高い企業向けAIを実現するモジュール型エンジニアリング
モノリシックからモジュラーへ 新技術の概念実証（POC）は、多くの場合、特性を明確にするのが難しい大規模でモノリシックな単位から始まります。POCはその性質上、拡張性、保守性、品質といった課題を考慮せずに「技術が動作する」ことを示すために設計されます。しかし、技術が成熟し広く展開されると、これらの課題に対応するために、製品開発はより小さく管理しやすい単位に分解されていきます。これがシステム思考の基本的な概念であり、AIの導入が単一のモデルからAIエージェントシステムへと進化している理由なのです。 モジュール設計の概念が適用されてきた分野: modular design 自動車 : 座席、タイヤ、ライト、エンジンなどを異なるベンダーから調達可能 コンピュータチップ : メモリ、I/Oインターフェイス、FLASHメモリなどの事前構築されたモジュールを統合 建築物 : 窓、ドア、床、家電など ソフトウェア : オブジェクト指向プログラミングやAPIにより、小規模で管理可能なコンポーネントに分割 ほぼすべてのエンジニアリ
Aimpoint Digital：Databricksにおける安全で効率的なマルチリージョンモデル提供のためのDelta Sharingの活用
機械学習モデルを提供する際、 遅延 は、予測をリクエストしてからレスポンスを受け取るまでの時間であり、エンドユーザーにとって最も重要な指標の一つです。遅延は、リクエストがエンドポイントに到達する時間、モデルによって処理される時間、そしてユーザーに戻る時間を含みます。異なる地域に基づくユーザーにモデルを提供すると、リクエストとレスポンスの両方の時間が大幅に増加する可能性があります。顧客が基づいている地域とは異なる地域でモデルをホスティングし、提供している企業を想像してみてください。この地理的な分散は、データがクラウドストレージから移動する際の高いエグレスコストを発生させ、2つの仮想ネットワーク間のピアリング接続と比 較してセキュリティが低下します。 地域間の遅延の影響を示すために、ヨーロッパから米国にデプロイされたモデルエンドポイントへのリクエストは、ネットワーク遅延として100-150ミリ秒を追加することができます。対照的に、米国内のリクエストは、この Azureネットワークの往復遅延統計 ブログから抽出した情報に
Logically AIでGPU推論をターボチャージ！
2017年に設立された Logically は、AIを使用してクライアントのインテリジェンス能力を強化する分野のリーダーです。ウェブサイト、ソーシャルプラットフォーム、その他のデジタルソースから大量のデータを処理し分析することで、Logicallyは潜在的なリスク、新たな脅威、重要なナラティブを特定し、それらをサイバーセキュリティチーム、プロダクトマネージャー、エンゲージメントリーダーが迅速かつ戦略的に行動できるように整理します。 GPU加速はLogicallyのプラットフォームの重要な要素であり、高度に規制されたエンティティ の要件を満たすためのナラティブの検出を可能にします。GPUを使用することで、Logicallyは訓練と推論の時間を大幅に短縮し、ソーシャルメディアやインターネット全体での偽情報の拡散を防ぐために必要なスケールでのデータ処理を可能にしました。現在のGPUリソースの不足も、最適なレイテンシとAIプロジェクトの全体的な成功を達成するために、その利用を最適化することが重要であることを意味します。 ロ
シンプル・高速・スケーラブル！Mosaic AIで実現するバッチ LLM 推論
長年にわたり、企業は膨大な量の非構造化テキストデータ（文書、報告書、メールなど）を蓄積してきましたが、そこから意味のあるインサイトを抽出することは依然として課題でした。現在、大規模言語モデル（LLM）を活用することで、このデータをスケーラブルに分析する方法が実現しており、バッチ推論が最も効率的な解決策となっています。しかし、多くのツールはオンライン推論に焦点を当てており、バッチ処理機能の充実にはまだ課題が残されています。 本日、大規模文書に LLM を適用するための、よりシンプルで高速、かつスケーラブルな方法を発表します。これまでのようにデータを CSV ファイルとして 未管理の場所にエクスポートする必要はありません。今では、Unity Catalog による完全なガバナンスのもと、ワークフロー内でバッチ推論を直接実行できます。 以下の SQL クエリを記述し、ノートブックやワークフローで実行するだけで完了します。 ai_query を使用すれば、前例のない速度で大規模なデータセットを処理することが可能になり、最
PentavereとDatabricksによるヘルスケアデータの洞察
金融や小売などの業界では、大量のデータが利用されて数十億ドルの利益を生み出しています。しかし、ヘルスケアでは、重要な情報へのアクセスが困難であり、これが直接的に患者の結果に影響を与えています。根本的な問題は何でしょうか？ 医療データの80％以上 がリスクのある患者を特定し、予防ケアを提供するためのもので、非構造化されています。これは医師のノート、放射線画像、病理スライド、PDFファイル、ファクス、PowerPointスライド、メールに隠されており、アクセスして利用するのが困難で高価です。 データインテリジェンスによる患者のアウトカムの改善 医療機器、遺伝子検査、患者が生成する健康データ、広 範囲にわたる電子健康記録（EHR）の使用の増加により、 ヘルスケアデータの生成が年間47％増加 しています。人工知能（AI）は、ヘルスケアデータの命を救う可能性を解き放つ明らかな解決策のように思えます。しかし、臨床的な洞察を可能にするAIツールを構築し、検証する際には複雑な要件があります： 広範な治療領域にわたる大量のデータへの
一般主義者から専門家へ：AIシステムの進化は複合AIへ！
複合AIシステムに対する バズ は現実であり、それには十分な理由があります。複合AIシステムは、複数のAIモデル、ツール、システムの最良の部分を組み合わせて、単一のAIでは効率的に対処するのが難しい複雑な問題を解決します。 振り返る：モノリシックからマイクロサービスへ 複合AIシステムの魔法に飛び込む前に、少し戻ってアプリケーション開発がどのように進化してきたかを探ってみましょう。モノリシックなアプリケーションの日々を覚えていますか？これらは巨大な、一体型のソフトウェアシステムで、フロントエンドのインタラクション、バックエンドの処理、データベース管理を一つのコードベース内で処理していました。彼らは強力でしたが、欠点もありました。 モノリシックアーキテクチャの課題: 遅い更新 : アプリケーションの一部を少し修正するだけで、システム全体 を再デプロイする必要がありました。 スケーリングの問題 : システムの一部が重負荷になると、システム全体をスケールアップしなければなりませんでした。 単一の障害点 : 一つのコンポー
カスタムのテキストからSQL生成するアプリケーションで金融のインサイトを解き放つ！
序章 取得強化生成（RAG）は、大規模言語モデル（LLM）を使用して企業が非構造化知識ベースを活用する方法を革新し、その可能性は広範に影響を及ぼします。 インターコンチネンタルエクスチェンジ（ICE） は、世界最大の証券取引所グループであるニューヨーク証券取引所（NYSE）を含む、取引所、クリアリングハウス、データサービス、住宅ローン技術を運営するグローバルな金融組織です。 ICEは、既存のアプリケーションからのデー タ移動を必要とせずに、構造化されたRAGパイプラインを持つことで、構造化データ製品の自然言語検索のシームレスなソリューションを先駆的に開発しています。このソリューションは、エンドユーザーがデータモデル、スキーマ、またはSQLクエリを理解する必要性を排除します。 ICEチームはDatabricksエンジニアと協力して、Databricks Mosaic AI製品のフルスタック（ Unity Catalog , Vector Search , Foundation Model APIs , and Mod
Amazon EC2 G6インスタンス対応をDatabricksが発表
私たちは、Databricksが現在、 Amazon EC2 G6インスタンス をNVIDIA L4 Tensor Core GPUでサポートすることを発表することを嬉しく思います。これによりDatabricksデータインテリジェンスプラットフォーム上でのより効率的でスケーラブルなデータ処理、機械学習、AIワークロードを可能にする一歩を示しています。 AWS G6 GPUインスタンスの利点は何ですか？ Amazon Web Services (AWS)のG6インスタンスは、低コストでエネルギー効率の高いNVIDIA L4 GPUを搭載しています。このGPUは、 NVIDIAの第4世代テンソルコアAda Lovelaceアーキテクチャ に基づいており、最も要求の厳しいAIや機械学習のワークロードをサポートします。 G6インスタンスは、NVIDIA T4...
長いシーケンスでLlama 3.1をファインチューニング
私たちは、 Mosaic AIモデルトレーニング が、Meta Llama 3.1モデルファミリーの微調整時に131Kトークンの全文脈長をサポートするようになったことを発表することを嬉しく思います。この新機能により、Databricksの顧客は、長い文脈長のエンタープライズデータを使用して特化したモデルを作成することで、さらに高品質なRetrieval Augmented Generation（RAG）またはツール使用システムを構築することができます。 LLMの入力プロンプトのサイズは、その コンテキスト長 によって決定されます。お客様は特にRAGやマルチドキュメント分析のようなユースケースでは、短いコンテキスト長に制限されることが多いです。Meta Llama 3.1モデルは、コンテキスト長が131Kトークンと長いです。比較すると、『グレート・ギャツビー』は 約72Kトークン です。Llama 3.1モデルは、大量のデータコーパスを理解することを可能にし、RAGでのチャンキングや再ランキングの必要性を減らすか、