Databricks Model ServingでのLLMsのデプロイ

Databricks Model Servingは、複雑なインフラストラクチャを理解することなく、任意のAIモデルをデプロイするための一元的な解決策を提供します。これは、自然言語、ビジョン、オーディオ、表形式、またはカスタムモデルを、どのように訓練されたかに関係なく、任意にデプロイできることを意味します - スクラッチから作成されたもの、オープンソースから取得したもの、または独自のデータで微調整されたものなど。単にあなたのモデルをMLflowでログに記録するだけで、私たちは自動的にCUDAなどのGPUライブラリを含む本番環境用のコンテナを準備し、それをサーバーレスのGPUにデプロイします。私たちの完全に管理されたサービスは、インスタンスの管理、バージョン互換性の維持、バージョンのパッチ適用といった全ての重労働をあなたから取り除きます。このサービスは、トラフィックパターンに合わせてインスタンスを自動的にスケールアップし、インフラストラクチャのコストを節約しながらレイテンシパフォーマンスを最適化します。