Bereitstellung von LLMs auf Databricks Model Serving

Databricks Model Serving bietet eine einzige Lösung zur Bereitstellung jedes KI-Modells, ohne dass eine komplexe Infrastruktur verstanden werden muss. Das bedeutet, dass Sie jedes Modell für natürliche Sprache, Vision, Audio, Tabellen oder benutzerdefinierte Modelle einsetzen können, unabhängig davon, wie es trainiert wurde - ob von Grund auf neu erstellt, aus Open-Source bezogen oder mit proprietären Daten fein abgestimmt. Loggen Sie einfach Ihr Modell mit MLflow, und wir bereiten automatisch einen produktionsbereiten Container mit GPU-Bibliotheken wie CUDA vor und implementieren ihn auf serverlosen GPUs. Unser vollständig verwalteter Service übernimmt für Sie die gesamte schwere Arbeit, sodass Sie keine Instanzen verwalten, die Versionskompatibilität aufrechterhalten oder Versionen patchen müssen. Der Service skaliert automatisch Instanzen, um den Verkehrsmustern gerecht zu werden, wodurch Infrastrukturkosten gespart und gleichzeitig die Latenzleistung optimiert werden.