Databricks の Mosaic AI は、予測モデルの構築、最新の生成 AI 、大規模言語モデル（LLM）などの AI と ML ソリューションを構築、デプロイ、監視するための統合ツールを提供します。Databricks データインテリジェンスプラットフォームを基盤に構築された Mosaic AI は、エンタープライズデータをセキュアでコスト効率よく AI ライフサイクルに統合できるようにします。
完全な制御
モデルとデータの両方に対する所有権の維持
本番運用の品質
正確で安全、ガバナンスの原則に従った AI アプリケーションを提供
低コスト
通常の手法と比べて 1／10 の低コストで、独自のカスタム LLM をトレーニングして提供
生成 AI ソリューションの構築を開始する
4 つのアーキテクチャパターンを考慮することは、大規模言語モデルベースのソリューションを構築する際に必要です。4 つのアーキテクチャパターンとは、プロンプトエンジニアリング、検索拡張生成（RAG）、ファインチューニング、事前トレーニングです。Databricks は、これら生成 AI のアーキテクチャパターンの全てに対応する唯一のプロバイダです。最も多くの選択肢を提供し、ビジネス要件の要求に応じて進化させることが可能です。
モデルとデータの完全な所有権
Databricks データインテリジェンスプラットフォームの一部である Mosaic AI は、データ、モデルトレーニング、本番環境を単一のソリューションで統合します。データや IP を社外に送信することなく、企業データを安全に使用して、独自の機械学習および生成 AI モデルを補強、ファインチューニング、構築し、ビジネスのセマンティックな理解に基づいて強化できます。
全ての AI モデルを一元的に展開・ガバナンス
モデルサービングは、AI モデルの展開、ガバナンス、クエリを行うのための統合サービスです。Databricks の統一されたアプローチにより、モデルの実験や本番適用が容易になります。これには、以下が含まれます。
- PyFunc、scikit-learn、LangChain などのカスタム ML モデル
- Llama 2、MPT、Mistral、BGE などの Databricks 上の基盤モデル（FM）
- ChatGPT、Claude 2、Cohere、Stable Diffusion などの他の場所でホストされている基盤モデル
データ、機能、AI モデルを 1 つの場所で監視
Lakehouse Monitoring は、Databricks データインテリジェンスプラットフォーム内に単一の統合された監視ソリューションを提供します。ワンクリックで全てのテーブルの統計特性と品質を監視します。生成 AI を搭載したアプリケーションでは、有害で安全ではないコンテンツの出力をスキャンし、エラーを診断できます。
データからモデルまで、AI のライフサイクル全体でリネージをガバナンス・追跡
厳格なセキュリティとガバナンスの要件を満たすために、適切な権限を強制し、レート制限を設定し、リネージを追跡します。Unity Catalog という単一のツールを使用して、データやモデルなどの全ての ML 資産を管理できます。ML ライフサイクルの開発、展開、メンテナンスに至る各段階で一貫した監視と制御を確保します。
通常の手法と比べて 1／10 の低コストで、独自のカスタム LLM をトレーニングして提供
Mosaic AI を使用すると、モデルの基礎知識が特定のドメインにあわせて調整され、独自の大規模言語モデルをゼロから構築できます。組織の IP をお客さまのデータでトレーニングすることで、独自に差別化されたカスタマイズモデルを作成します。Databricks Mosaic AI の事前トレーニングは、数十億パラメータの LLM を数日で構築し、トレーニングコストを最大 10 倍削減できる最適化されたトレーニングソリューションです。
製品コンポーネント
コラボレーション型 Notebook
Databricks の Notebook は、Python、R、SQL をネイティブにサポートしており、ユーザーは任意の言語やライブラリを使用できます。気づきの視覚化と共有も容易です。
機械学習のランタイム
最も一般的な ML フレームワーク（PyTorch、TensorFlow、scikit-learn など）のスケーラブルかつ信頼性のある分散処理により、事前に構成された ML 最適化クラスタにワンクリックでアクセスできます。このクラスタは、大規模に高性能を実現する最適化を備えています。
特徴量ストア（Feature Store）
自動的にログに記録されたデータソースを活用するデータリネージの検索機能で、特徴量の再利用を促進します。クライアントアプリケーションの変更を不要とするシンプルなモデル展開により、トレーニングやサービスに特徴量を活用できます。
AutoML
AutoML は、グラスボックス的なアプローチによって、機械学習の専門家だけでなく市民データサイエンティストも支援します。すぐに使える高性能なモデルの提供はもとより、専門家による改良が可能なコードの生成もできます。
マネージド MLflow
マネージド MLflow は、MLライフサイクルにおいて世界をリードするオープンソースプラットフォームの MLflow 上に構築されています。エンタープライズセキュリティ、信頼性、スケーラビリティで、 ML モデルの実験から本番への迅速な移行を支援します。
本番グレードのモデルサービング
サーバレスコンピューティングを活用するオプションを備え、あらゆるスケールのモデルをワンクリックで容易に提供します。
モデル監視
モデルの性能とそれがビジネス指標に与える影響をリアルタイムで監視します。Databricks は、本番環境で稼働しているモデルから元のデータソースシステムまで、エンドツーエンドの可視性とリネージを提供します。これにより、ML ライフサイクル全体でモデルとデータの品質を分析し、問題が発生する前にリスクを特定できます。
リポジトリ
Repos は、Databricks での Git ワークフローを効率化し、自 動化された CI/CD ワークフローとコードのポータビリティの活用を可能にします。
大規模言語モデル（LLM）
Databricks は、デプロイメント、ガバナンス、クエリ、監視などの LLM へのアクセスをシンプルにし、ワークフローに統合し、独自のデータを使用して LLM を拡張（RAG）またはファインチューニングするためのプラットフォーム機能を提供します。これにより、ドメインの性能が向上します。また、LLM を数日で事前トレーニングするための最適化されたツールも提供しています。しかも、10 倍の低コストです。
