Mosaic AI Modelltraining: Feinabstimmung Ihres LLM auf Databricks für spezialisierte Aufgaben und Wissen

Foundation LLMs zeichnen sich durch globales Wissen und allgemeine Aufgaben aus. Allerdings erfordern viele Anwendungsfälle spezifisches Wissen oder Verhalten. 

Mit Databricks können Sie leicht spezialisierte OSS LLM-Versionen feinabstimmen und bereitstellen, die Basismodelle übertreffen würden:

• Implementieren und besitzen Sie kleinere LLMs, die größere übertreffen, während sie Kosten reduzieren und Datenschutz/Sicherheit gewährleisten
• Trainieren Sie LLM auf Ihrem eigenen, individuellen Geschäftswissen
• Ändern Sie das Verhalten des LLM, um spezielle Aufgaben wie die Erkennung benannter Entitäten (NER) besser auszuführen.

In diesem Lernmodul erfahren Sie, wie Sie:

• Bereiten Sie ein sauberes Trainings- und Bewertungsdatensatz vor
• Nutzen Sie Databricks Mosaic AI Modelltraining, um ein bestehendes OSS LLM (Mistral, Llama, DBRX...) anzupassen.
• Dieses Modell auf einem Model Serving Endpunkt bereitstellen, der Live-Inferenzen liefert
• Bewerten und vergleichen Sie das fein abgestimmte Modell mit seiner Basis, unter Verwendung von MLflow Evaluate

Um die Demo auszuführen, erhalten Sie einen kostenlosen Databricks-Arbeitsbereich und führen Sie die folgenden zwei Befehle in einem Python-Notebook aus: