Managed MLflow basiert auf MLflow , einer Open-Source-Plattform, die von Databricks entwickelt wurde, um den gesamten Lebenszyklus von Machine Learning zu verwalten – mit Zuverlässigkeit, Sicherheit und Skalierbarkeit für Unternehmen.
Vorteile
EXPERIMENTVERFOLGUNG
Mit MLflow können Sie Experimente mit jeder ML-Bibliothek, jedem Framework und in jeder Programmiersprache durchführen. Die Lösung behält automatisch den Überblick: über Parameter, Kennzahlen, den Code und die Modelle aus jedem Experiment. Durch die Verwendung von MLflow on Databricks können Sie dank der eingebauten Integration mit dem Databricks Workspace und den Notebooks die Ergebnisse von Experimenten sowie die entsprechenden Artefakte und Codeversionen gemeinsam sicher nutzen, verwalten und vergleichen.
MODELLMANAGEMENT
Nutzen Sie eine zentrale Stelle, um ML-Modelle zu entdecken und gemeinsam zu nutzen, um sie gemeinsam vom Experiment zu Online-Tests und zur Produktion zu bringen, um sie in Genehmigungs- und Governance-Workflows und CI/CD-Pipelines zu integrieren und um ML-Einsätze und ihre Leistung zu überwachen. MLflow Model Registry erleichtert den Austausch von Know-how und Wissen und hilft Ihnen, die Kontrolle zu behalten.
Modelle bereitstellen
Implementieren Sie schnell Produktionsmodelle für Batch-Inferenzen auf Apache SparkTM oder als REST-APIs mithilfe der integrierten Integration mit Docker-Containern, Azure ML oder Amazon SageMaker. Mit Managed MLflow auf Databricks können Sie Produktionsmodelle mit dem Databricks Jobs Scheduler und automatisch verwalteten Clustern operationalisieren und überwachen, um sie je nach Bedarf und Geschäftsanforderungen zu skalieren.
Funktionen
MLFLOW-VERFOLGUNG
MLflow-Verfolgung: Protokollieren Sie automatisch Parameter, Codeversionen, Kennzahlen und Artefakte für jeden Lauf mit Python , REST , R API und Java API
MLflow-Tracking-Server: Mit einem integrierten Tracking-Server können Sie schnell alle Läufe und Experimente an einem Ort protokollieren. Keine Konfiguration auf Databricks erforderlich.
Experimentverwaltung: Erstellen, sichern, organisieren, suchen und visualisieren Sie Experimente aus dem Workspace mit Zugriffskontrolle und Suchanfragen.
MLflow Run Sidebar: Verfolgen Sie automatisch Läufe in Notebooks und erfassen Sie für jeden Lauf einen Schnappschuss Ihres Notebooks, sodass Sie immer zu früheren Versionen Ihres Codes zurückkehren können.
Protokollieren von Daten mit Durchläufen: Protokollieren Sie Parameter, Datensätze, Metriken, Artefakte und mehr als Durchläufe in lokalen Dateien, in einer SQLAlchemy-kompatiblen Datenbank oder remote auf einem Tracking-Server.
Delta-Lake-Integration: Verfolgen Sie umfangreiche Datensätze, die Ihre Modelle mit Delta Lake-Schnappschüssen gespeist haben.
Artefaktspeicher: Speichern Sie große Dateien wie S3-Buckets, freigegebenes NFS-Dateisystem und Modelle in Amazon S3, im Azure Blob-Speicher, Google Cloud-Speicher, auf dem SFTP-Server, in NFS und lokalen Dateipfaden.
MLFLOW-PROJEKTE
MLflow-Projekte: In MLflow-Projekten können Sie die Software-Umgebung angeben, in der der Code ausgeführt wird. MLflow unterstützt derzeit die folgenden Projektumgebungen: Conda-Umgebung, Docker-Container-Umgebung und Systemumgebung. Jedes Git-Repo- oder lokale Verzeichnis kann als MLflow-Projekt behandelt werden.
Remote-Ausführungsmodus: Führen Sie mithilfe der Databricks-CLI MLflow-Projekte von Git oder lokalen Quellen auf Databricks-Clustern aus, um Ihren Code schnell zu skalieren.
MLFLOW-MODELLREGISTER
Zentrales Repository: Registrieren Sie MLflow Modelle im MLflow Modellregister. Ein registriertes Modell hat einen eindeutigen Namen, eine eindeutige Version, eine eindeutige Stufe und andere Metadaten.
Modellversionierung: Verfolgen Sie automatisch die Versionen für registrierte Modelle, wenn diese aktualisiert werden.
Modellphase: Jeder Modellversion wurden voreingestellte oder benutzerdefinierte Phasen zugewiesen, z. B. „Staging“ und „Produktion“, um den Lebenszyklus eines Modells darzustellen.
Integration von CI/CD-Workflows: Zeichnen Sie Phasenübergänge auf, fordern Sie Änderungen an, überprüfen und genehmigen Sie sie als Teil von CI/CD-Pipelines, um eine bessere Kontrolle und Steuerung zu gewährleisten.
Modellstufenübergänge: Erfassen Sie neue Registrierungsereignisse oder -änderungen als Aktivitäten, bei denen Benutzer, Änderungen und zusätzliche Metadaten wie Kommentare automatisch protokolliert werden.
MLFLOW-MODELLE
MLflow-Modelle: Ein Standardformat für die Erstellung von maschinellen Lernmodellen, das in einer Vielzahl von nachgelagerten Tools verwendet werden kann, z. B. Echtzeit-Service über eine REST-API oder Batch-Inferenz auf Apache Spark.
Modellanpassung: Verwenden Sie Benutzerdefinierte Python-Modelle und Benutzerdefinierte Varianten für Modelle aus einer ML-Bibliothek, die von den in MLflow integrierten Varianten nicht explizit unterstützt werden.
Eingebaute Modellvarianten: MLflow bietet verschiedene Standardvarianten, die in Ihren Anwendungen nützlich sein können, z. B. Python- und R-Funktionen, H20, Keras, MLeap, PyTorch, Scikit-Learn, Spark MLlib, TensorFlow und ONNX. Integrierte Bereitstellungstools: Schnelle Bereitstellung auf Databricks über Apache Spark UDF für einen lokalen Computer oder mehrere andere Produktionsumgebungen wie Microsoft Azure ML, Amazon SageMaker und Erstellen von Docker Images für die Bereitstellung .
Sehen Sie unsere Produktneuigkeiten von Azure Databricks und AWS, um mehr über unsere neuesten Funktionen zu erfahren.
Vergleichen von MLflow-Angeboten
| Open-Source MLflow |
Managed MLflow auf Databricks |
Nachverfolgung von Experimenten |
| MLflow-Tracking-API |  |
|
| MLflow-Tracking-Server | Eigenes Hosting | Vollständig verwaltet |
| Notebooks-Integration |  |
|
| Workspace-Integration | |
|
Projekte reproduzieren |
| MLflow-Projekte | |
|
| Git & Conda-Integration | |
|
| Skalierbare Cloud/Cluster für Projektdurchläufe | |
|
Modellverwaltung |
| MLflow-Modellregister | |
|
| Modellversionierung | |
|
| ACL-basierte Stage Transition | |
|
| Integration von CI/CD-Workflows | |
|
Flexible Bereitstellung |
| MLflow-Modelle | |
|
| Eingebaute Batch-Inferenz | |
|
| Eingebaute Streaming-Analyse | |
|
Sicherheit & Management |
| Hochverfügbarkeit | |
|
| Automatische Updates | |
|
| Rollenbasierte Zugriffskontrolle | |
|
Wie es funktioniert
MLflow ist ein kompakter Satz von APIs und Benutzeroberflächen, die mit jedem ML-Framework im gesamten Workflow für Machine Learning verwendet werden können. Es umfasst vier Komponenten:
- MLflow Tracking : Experimente aufzeichnen und abfragen: Code, Daten, Konfiguration und Ergebnisse.
- MLflow-Projekte : Paketformat für reproduzierbare Durchläufe auf jeder Plattform.
- MLflow-Modelle : Allgemeines Format zum Senden von Modellen an verschiedene Bereitstellungstools.
- MLflow Modellregister: Zentralisiertes Repository zur gemeinsamen Verwaltung von MLflow-Modellen über den gesamten Lebenszyklus hinweg.
Managed MLflow auf Databricks ist eine vollständig verwaltete Version von MLflow, die Anwendern Reproduzierbarkeit und Versuchsmanagement auf allen Databricks-Notebooks, -Jobs und -Datenspeichern bietet, und zwar mit der Zuverlässigkeit, Sicherheit und Skalierbarkeit der Analyseplattform Unified Data.
Ressourcen
Blog Post
Introducing the MLflow Model Registry
Blog Post
Erkennung von Datenverzerrungen mit SHAP
Notebooks
MLflow-Kurzanleitung in Python
Notebooks
MLflow-Kurzanleitung in R
Notebooks
MLflow-Kurzanleitung in Scala
