マネージド MLflow とは
Databricks 上のマネージド MLflow は、従来のモデルやディープラーニング、生成 AI アプリケーションやエージェントなど、機械学習と AI のあらゆる分野に対する最先端のエクスペリメントのトラッキング、可観測性、パフォーマンス評価、モデル管理を、Databricks Data + AI Platform 内でネイティブに提供します。 マネージド MLflow は、オープンソース MLflow の柔軟な基盤の上に構築され、エンタープライズグレードの信頼性、セキュリティ、スケーラビリティで強化されています。 これにより、企業は、AI と機械学習のエコシステム全体で好みのツールを使用して高品質のモデルやエージェントを自信を持って構築できるようになります。また、AI やデータ資産を確実に管理し、保護できるようになります。
マネージド MLflow のメリット
統合された ML および生成 AI のライフサイクル
マネージド MLflow は、従来の ML、ディープラーニング、生成 AI 開発を 1 つの合理的なワークフローに統合します。 エクスペリメントのトラッキング からデプロイメントまで、モデルやエージェント全体で一貫したバージョン管理、プロンプト管理、パッケージングが提供されるため、個別のツールを組み合わせる必要がありません。
オープンソース MLflow をベースに構築
ベンダーのロックインを回避し、スタック全体で完全な柔軟性を維持します。 マネージド MLflow は、800 人を超えるコミュニティコントリビューター、月間 2,500 万回以上のパッケージダウンロード数を誇り、世界中の 5,000 を超える組織から信頼されているオープンソースの MLflow を基盤に構築されており、好みのフレームワーク、言語、ツールをシームレスにサポートします。 オープンソースの自由度と信頼性、および、フルマネージド型のシンプルなエクスペリエンスを享受できます。
エンタープライズグレードの可観測性とガバナンス
Databricks プラットフォームと深く統合されたマネージド MLflow は、AI ワークフロー全体にわたって完全なトレーサビリティ、リアルタイムモニタリング、統合ガバナンスを提供します。 Unity Catalog を使用すると、アクセス制御の適用、リネージの追跡、モデル、データ、エージェント全体でのコンプライアンスの確保を自動的に実現できます。
開発から本番環境までのパフォーマンス分析
開発、ステージング、本番運用全体のパフォーマンスを、すべて一箇所から分析、比較、視覚化できます。MLflow の統合データモデルと Databricks AI/BI および SQL との統合により、データサイエンティストは、構築・デプロイに使用するのと同じプラットフォームで、傾向を把握し、性能の低下を特定して、ビジネス成果につなげることができます。
マネージド MLflow の新しい生成 AI 機能
トレース
MLflow のオープンソースのOpenTelemetry 互換トレースを使用して、入力、出力、およびプロンプト、検索、ツール呼び出しを含む各ステップの実行をキャプチャします。 一般的な生成 AI ライブラリを自動的にインストルメント化するか、トレースを直接取り込みます。インタラクティブなタイムラインビュー、横並びでの比較、そしてベンダーロックインなしの環境により、デバッグとイテレーションを迅速化します。
生成 AI の評価
MLflow UI 上で直接、LLM-as-a-judge と人間のフィードバックを使用して、生成 AI エージェントを評価します。本番運用トレースからデータセットを構築し、バージョン間で出力を比較し、ハルシネーションや関連性などの事前構築済みまたはカスタムのメトリクスを使用して品質を評価します。 Web UI またはアプリ API を介した専門家の フィードバックを組み込み、人間の判断に合わせて結果を継続的に改善します。
プロンプトレジストリとエージェントのバージョン管理
MLflow を使用して、プロンプトをバージョン管理し、エージェントやアプリケーションコードのバージョンも 1 か所で管理します。ライフサイクル全体のリネージを確保するために、トレース、評価、パフォーマンスデータを特定のバージョンにリンクします。 ワークフロー間でプロンプトを再利用および比較し、関連するメトリクスとパラメーターを使用してエージェントのバージョンを管理し、Git および CI/CD と統合してガバナンスを維持しながらイテレーションを加速します。
生成 AI モニタリングとアラート
MLflow のダッシュボード、トレースエクスプローラー、自動アラートを使用して、生成 AI の品質をリアルタイムで監視します。 LLM ジャッジによる評価とカスタムメトリクスを使用して、PII の漏洩、レイテンシの急増、役に立たない応答などの問題を追跡します。 オンライン評価を構成し、ユーザーが影響を受ける前に迅速に対処してください。
マネージド MLflow のコア機能
エクスペリメントのトラッキング
あらゆる ML またはディープラーニングフレームワークのパラメーター、メトリクス、アーティファクト、モデルを自動的に追跡します。 MLflow は完全な監査証跡を提供し、アーキテクチャ、チェックポイント、トレーニングワークフロー間の詳細な比較を大規模にサポートします。
ML および DL のモデル評価
分類や回帰などのタスクにおける組み込みメトリクスとカスタムメトリクスを自動的に記録します。 本番環境に導入する前に、ベースラインと結果を比較し、ROC 曲線などのアーティファクトを記録し、新しいデータセットでモデルを検証します。
容易なモデル管理とガバナンス
エンドツーエンドのガバナンスを実現するために Unity Catalog と統合された MLflow モデルレジストリで、モデルを一元的に検索、共有、管 理できます。 各環境のモデルパフォーマンスを完全に可視化し、デプロイメントの状態を追跡し、チーム間でコラボレーションできます。
大規模なデプロイメント
すべてのコード、依存関係、重みを含む再現可能なパッケージ形式でモデルをデプロイします。 Databricks モデルサービングを介して、モデルを REST API として提供するか、ai_query を使用して高スループットのバッチ推論を実行します。どちらも CPU と GPU の両方に最適化されています。
最新の機能の詳細については、Azure Databricks と AWS の製品ニュースをご覧ください。
オープンソースの MLflow と Databricks 上のマネージド MLflow の比較
オープンソースの MLflow | Databricks のマネージド MLflow | |
|---|---|---|
トレースと AI の可観測性 | ||
トレース用 API | ||
ノートブックのデバッグ統合 | ||
本番運用アプリケーションのトレース | ||
カスタマイズ可能な可観測性ダッシュボード | ||
SQL および AI/BI ツールを使用したトレースデータのクエリ | ||
本番運用のモニタリング | ||
生成 AI の評価 | ||
評価 API | ||
ヒューマンフィードバック UI と API | ||
質の高い LLM ジャッジ | ||
バージョン管理される評価データセット | ||
プロンプト管理 | ||
MLflow プロンプトレジストリ | ||
プロンプトエディタ UI | ||
エクスペリメントのトラッキング | ||
MLflow トラッキング API | ||
パフォーマンス分析・比較用の高機能なダッシュボード | ||
SQL および AI/BI ツールを使用したエクスペリメントデータのクエリ | ||
MLflow トラッキングサーバー | 自己ホスト型 | フルマネージド型 |
ノートブックの統合 | ||
ワークフロー連携 | ||
モデル管理 | ||
MLflow モデルレジストリ | ||
モデルのバージョン管理 | ||
ロールベースの承認ワークフロー | ||
CI/CD ワークフローの統合 | ||
柔軟なデプロイ | ||
モデルのパッケージング | ||
大規模なバッチ推論 | ||
低レイテンシのリアルタイムデプロイメント | ||
組み込みのストリーミング分析 | ||
セキュリティと管理 | ||
エンタープライズガバナンス | ||
高可用性 | ||
自動更新 |
マネージド MLflow リソース
マネージド MLflow のドキュメント
マネージド MLflow チュートリアル
マネージド MLflow ブログ
マネージド MLflow のビデオ
マネージド MLflow eBook
マネージド MLflow ウェビナー
よくある質問
始める準備はできましたか？