シンプル・高速・スケーラブル！Mosaic AIで実現するバッチ LLM 推論
長年にわたり、企業は膨大な量の非構造化テキストデータ（文書、報告書、メールなど）を蓄積してきましたが、そこから意味のあるインサイトを抽出することは依然として課題でした。現在、大規模言語モデル（LLM）を活用することで、このデータをスケーラブルに分析する方法が実現しており、バッチ推論が最も効率的な解決策となっています。しかし、多くのツールはオンライン推論に焦点を当てており、バッチ処理機能の充実にはまだ課題が残されています。 本日、大規模文書に LLM を適用するための、よりシンプルで高速、かつスケーラブルな方法を発表します。これまでのようにデータを CSV ファイルとして 未管理の場所にエクスポ ートする必要はありません。今では、Unity Catalog による完全なガバナンスのもと、ワークフロー内でバッチ推論を直接実行できます。 以下の SQL クエリを記述し、ノートブックやワークフローで実行するだけで完了します。 ai_query を使用すれば、前例のない速度で大規模なデータセットを処理することが可能になり、最
DatabricksのモザイクAIを用いて複合AIシステムをより高速に構築！
多くのお客様が、一般的なモデルを使用したモノリシックなプロンプトから、製品準備完了のGenAIアプリに必要な品質を達成するための特化した複合AIシステムへと移行しています。 7月には、 エージェントフレームワークとエージェント評価を立ち上げ 、多くの企業がエージェントアプリケーションを作成するために使用しています。その一例が Retrieval Augmented Generation (RAG) です。今日、私たちはエージェントフレームワークに新機能を追加し、複雑な推論を行い、サポートチケットの開設、メールへの返信、予約の取得などのタスクを実行するエージェントの構築プロセスを簡素化することを発表します。これらの機能には以下のものが含まれます： 構造化されたエンタープライズデータと非構造化エンタープライズデータを共有可能で管理された AIツールを通じてLLMに接続します。 新しいプレイグラウンド体験を使って、エージェントを素早く実験し評価します 。 新しい ワンクリックコード生成 オプションを使用して、プレイグラ
Mosaic AI Gatewayに高度なセキュリティとガバナンス機能が登場！
私たちは、Mosaic AI Gatewayに新たな強力な機能を導入できることを嬉しく思います。これにより、お客様がAIイニシアチブをさらに簡単に、そしてセキュリティやガバナンスを強化しながら加速させることが可能になります。 企業がAIソリューションの導入を急ぐ中で、セキュリティ、コンプライアンス、コストの管理がますます難しくなっています。そこで、昨年Mosaic AI Gatewayをリリースし、多くの企業がOpenAI GPT、Anthropic Claude、Meta Llamaモデルを含むさまざまなモデルのAIトラフィックを管理するために使用しています。 今回のアップデートでは、使用状況の追跡、ペイロードログの記録、ガードレール設定といった高度な機能が追加され、Databricksデータインテリジェンスプラットフォーム内のあらゆるAIモデルに対してセキュリティとガバナンスを適用できるようになりました。このリリースにより、Mosaic AI Gatewayは最も機密性の 高いデータやトラフィックに対しても、プ
オープンソースAIの新標準：DatabricksでMeta Llama 3.1が利用可能に
当社は Meta と提携して Databricks 上で Llama 3.1 シリーズのモデルをリリースし、強力なオープン モデルの標準をさらに前進させられることを嬉しく思います。Llama 3.1 を使用すると、企業は所有権やカスタマイズを犠牲にすることなく、最高品質の GenAI アプリを構築できるようになります。 Databricks では、イノベーションを加速し、オープン言語モデルを使用してより安全なシステムを構築するという Meta の取り組みに賛同しており、新しいモデル スイートを初日からエンタープライズのお客様に提供できることを嬉しく思っています。 Llama 3.1 を Databricks 内にネイティブに統合し、顧客がこれを使用してアプリケーションを簡単に構築できるようにしました。...
Databricks モデルサービングの新たなアップデートで生成 AI アプリ開発を加速
昨年、 Databricksモデルサービングにおける 基盤モデルのサポート を開始し 、企業が統合データおよび AI プラットフォーム上で安全でカスタマイズされた生成 AI アプリを構築できるようにしました。 それ以来、何千もの組織がモデルサービングを使用して、独自のデータセットに合わせてカスタマイズされた生成 AI アプリを展開してきました。 本日、生成 AI アプリの実験、カスタマイズ、展開を容易にする新しいアップデートを発表できることを嬉しく思います。 これらの更新には、新しい大規模言語モデル (LLM) へのアクセス、より簡単な検出、よりシンプルなカスタマイズ オプション、および改善された モニタリング が含まれます。 これらの改善により、生成 AI...
Databricks上のMeta Llama 3でエンタープライズ生成AIアプリを構築
私たちはMeta社と共同で、最新の大規模言語モデル Meta Llama 3 を Databricks上でリリースできることを嬉しく思います。Databricks上のLlama 3により、あらゆる規模の企業が、完全に管理されたAPIを介してこの新しいモデルを導入することができます。Meta Llama 3は、オープン言語モデルの新しいスタンダードとなり、最先端のクローズドモデルに匹敵する機能を、コミュニティと独自のLLMを開発する企業の両方に提供します。Databricksでは、オープンな言語モデルを推進するというMetaのコミットメントに共感しており、この新しいモデルを初日から企業のお客様にご利用いただけることに興奮しています。 Meta Llama 3は、今後数日のうちにリージョンごとに展開される予定で、Databricksモデルサービング上の統一的なAPIを通じてアクセスすることができます。 つまり、組織固有のデータを安全に活用しながら、ユースケースに最適なモデルを使用して、高品質で本番規模の生成AIアプリ
Mixtral 8x7B と Databricks モデルサーヴィングのご紹介
reviewed by saki.kitaoka 本日、Databricksは モデルサーヴィングで Mixtral 8x7Bをサポートすることを発表します。Mixtral 8x7BはスパースなMixture of Experts（MoE）オープン言語モデルで、多くの最先端モデルを凌駕す るか、あるいはそれに匹敵します。最大32kトークン（約50ページのテキスト）の長いコンテキストを処理する能力を持ち、そのMoEアーキテクチャはより高速な推論を提供するため、RAG（Retrieval-Augmented Generation）やその他の企業ユースケースに理想的です。 Databricks Model Servingは、 プロダクショングレードのエンタープライズ対応プラットフォーム 上で、オンデマンド価格でMixtral 8x7Bへの即時アクセスを提供します。毎秒数千のクエリをサポートし、シームレスな ベクターストア 統合、自動化された品質 モニタリング 、統合 ガバナンス 、アップタイムのSLAを提供します。このエ
ファウンデーションモデル機能でGenAIアプリをより速く構築する方法
先週 発表した RAG（ Retrieval Augmented Generation ）に続き、Model Servingのメジャーアップデートを発表できることを嬉しく思います。Databricks Model Servingは 統一されたインターフェイス を提供するようになり、すべてのクラウドとプロバイダで基盤モデルの実験、カスタマイズ、プロダクション化が容易になりました。これは、組織固有のデータを安全に活用しながら、ユースケースに最適なモデルを使用して高品質のGenAIアプリを作成できることを意味します。 新しい統一インターフェースにより、Databricks上であろうと外部でホストされていようと、すべてのモデルを一箇所で管理し、単一のAPIでクエリすることができます。さらに、Llama2 や MPT モデルなどの一般的な大規模言語モデル (LLM) に Databricks 内から直接アクセスできる Foundation Model API...
「推論テーブル」の発表: AIモデルのモニタリングと診断を簡素化
翻訳：Saki Kitaoka. - Original Blog Link AIモデルを導入してみたものの、実世界で予想外の結果が出たという経験はありませんか？ モデルのモニタリングは、そのデプロイと同じくらい重要です。そこで、AIモデルのモニタリングと診断を簡素化するInference Tables をご紹介します。Inference Tablesを使用すると、 Databricks Model Serving エンドポイントからの入力と予測を継続的にキャプチャし、Unity Catalog Delta Tableに記録することができます。その後、Lakehouse Monitoringなどの既存のデータツールを活用して、AIモデルを監視、デバッグ、最適化できます。 推論テーブルは、LakehouseプラットフォームでAIを実行する際に得られる価値の素晴らしい例です。複雑さやコストを追加することなく、デプロイされたすべてのモデルでモニタリングを有効にすることができます。これにより、問題を早期に検出し、再トレーニン
Databricks Lakehouse AIでLlama 2 Foundation Modelsが利用可能になりました！
翻訳：Saki Kitaoka. - Original Blog Link 私たちは、Meta AIのLlama 2 チャットモデル ( Meta AI’s Llama 2 ) が Databricks Marketplace で利用可能になり、プライベートモデルのサービングエンドポイントに微調整してデプロイできることを発表できることを嬉しく思います。Databricksマーケットプレイスは、クラウド、リージョン、プラットフォーム間でデータアセット（データセットやノートブックを含む）を共有および交換できるオープンなマーケットプレイスです。既にマーケットプレイスで提供されているデータアセットに加え、この新しいリスティングは、7から70ビリオンのパラメータを持つLlama 2のチャット指向の大規模言語モデル（LLM）、およびUnityカタログの集中ガバナンスと系統追跡へのインスタントアクセスを提供します。各モデルはMLflowにラップされており、Databricksノートブックで MLflow Evaluation.