Che cos'è Managed MLflow?
Managed MLflow estende le funzionalità di MLflow, una piattaforma open source sviluppata da Databricks per creare modelli migliori e app AI generativa, concentrandosi su affidabilità, sicurezza e scalabilità aziendali. L'ultimo aggiornamento di MLflow introduce funzionalità innovative GenAI e LLMOps che ne migliorano la capacità di gestire e distribuire modelli linguistici di grandi dimensioni (LLM). Questo supporto LLM ampliato è ottenuto attraverso nuove integrazioni con gli strumenti LLM standard di settori industriali OpenAI e Hugging Face Transformers, nonché con MLflow Deployments Server. Inoltre, l'integrazione di MLflowcon i framework LLM (ad esempio LangChain) consente lo sviluppo di modelli semplificati per la creazione di applicazioni AI generativa per una varietà di casi d'uso, tra cui chatbot, riepilogo di documenti, classificazione di testo, analisi del sentiment e altro ancora.
Vantaggi
Sviluppo di modelli
Migliora e accelera la gestione del ciclo di vita del machine learning con un framework standardizzato per modelli pronti per la produzione. Le ricette MLflow gestite consentono il bootstrap continuo di progetti ML , un'iterazione rapida e la distribuzione di modelli su largaScale . Crea applicazioni come chatbot, riepilogo di documenti, analisi del sentiment e classificazione senza sforzo. Sviluppa facilmente AI app generativa (ad esempio chatbot, riepilogo di documenti) con MLflow LLM le offerte di LangChain, che si integrano perfettamente con , Hugging Face e OpenAI.
Monitoraggio di esperimenti
Esegui l'esperimento con qualsiasi libreria, framework o linguaggio ML e tieni traccia automaticamente di parametri, metriche, codice e modelli di ciascun Experiment. Utilizzando MLflow su Databricks, puoi condividere, gestire e confrontare in modo sicuro i risultati Experiment insieme agli artefatti e alle versioni del codice corrispondenti, grazie alle integrazioni dell'integratore con l'area di lavoro e il notebook di Databricks . Potrai anche valutare i risultati dell'esperimento GenAI e migliorare la qualità con la funzionalità di valutazioneMLflow .
Gestione dei modelli
La soluzione offre un luogo centralizzato per scoprire e condividere modelli di ML, collaborare per portare i modelli dalla sperimentazione al collaudo online e alla produzione, integrare il processo con flussi di lavoro di approvazione e governance e pipeline CI/CD, e monitorare le implementazioni di ML e le relative prestazioni. Il registro dei modelli MLflow facilita la condivisione di competenze e conoscenze, aiutando l'utente a mantenere il controllo.
Implementazione di modelli
Implementa velocemente modelli in produzione per l'inferenza in batch su Apache Spark™ e come API REST, utilizzando l'integrazione con contenitori Docker, Azure ML o Amazon SageMaker. Managed MLflow on Databricks consente di operazionalizzare e monitorare modelli in produzione utilizzando Databricks Jobs Scheduler e cluster autogestiti per dimensionare la soluzione in base alle esigenze dell'azienda.
Gli ultimi aggiornamenti a MLflow raggruppano perfettamente le applicazioni GenAI per la distribuzione. Ora puoi distribuire i tuoi chatbot e altre applicazioni GenAI come il riepilogo dei documenti, l'analisi del sentiment e la classificazione su Scale, utilizzando Databricks Model Serving.
Features
MLflow Tracking
MLFLOW TRACKING: Automatically log parameters, code versions, metrics, and artifacts for each run using Python, REST, R API, and Java API
GENERATIVE AI DEVELOPMENT: Simplify model development to build GenAI applications for a variety of use cases such as chatbots, document summarization, sentiment analysis and classification with MLflow’s Deployments Server and Evaluation UI, supported by native integration with LangChain, and seamless UI for fast prototyping and iteration.
MLFLOW TRACKING SERVER: Get started quickly with a built-in tracking server to log all runs and experiments in one place. No configuration needed on Databricks.
EXPERIMENT MANAGEMENT: Create, secure, organize, search and visualize experiments from within the workspace with access control and search queries.
MLFLOW RUN SIDEBAR: Automatically track runs from within notebooks and capture a snapshot of your notebook for each run so that you can always go back to previous versions of your code.
LOGGING DATA WITH RUNS: Log parameters, datasets, metrics, artifacts and more as runs to local files, to a SQLAlchemy compatible database, or remotely to a tracking server.
DELTA LAKE INTEGRATION: Track large-scale datasets that fed your models with Delta Lake snapshots.
ARTIFACT STORE: Store large files such as S3 buckets, shared NFS file system, and models in Amazon S3, Azure Blob Storage, Google Cloud Storage, SFTP server, NFS, and local file paths.
MLflow Models
MLFLOW MODELS: A standard format for packaging machine learning models that can be used in a variety of downstream tools — for example, real-time serving through a REST API or batch inference on Apache Spark.
MODEL CUSTOMIZATION: Use Custom Python Models and Custom Flavors for models from an ML library that is not explicitly supported by MLflow’s built-in flavors.
BUILT-IN MODEL FLAVORS: MLflow provides several standard flavors that might be useful in your applications, like Python and R functions, Hugging Face, OpenAI and LangChain, PyTorch, Spark MLlib, TensorFlow and ONNX.
BUILT-IN DEPLOYMENT TOOLS: Quickly deploy on Databricks via Apache Spark UDF for a local machine, or several other production environments such as Microsoft Azure ML, Amazon SageMaker, and building Docker Images for Deployment.
MLflow Model Registry
CENTRAL REPOSITORY: Register MLflow models with the MLflow Model Registry. A registered model has a unique name, version, stage and other metadata.
MODEL VERSIONING: Automatically keep track of versions for registered models when updated.
MODEL STAGE: Assign preset or custom stages to each model version, like “Staging” and “Production” to represent the lifecycle of a model.
CI/CD WORKFLOW INTEGRATION: Record stage transitions, request, review and approve changes as part of CI/CD pipelines for better control and governance.
MODEL STAGE TRANSITIONS: Record new registration events or changes as activities that automatically log users, changes, and additional metadata such as comments.
MLflow Deployments Server
GOVERN ACCESS TO LLMS: Manage SaaS LLM credentials.
CONTROL COSTS: Set up rate limits.
STANDARDIZE LLM INTERACTIONS: Experiment with different OSS/SaaS LLMs with standard input/output interfaces for different tasks: completions, chat, embeddings.
MLflow Projects
MLFLOW PROJECTS: MLflow projects allow you to specify the software environment that is used to execute your code. MLflow currently supports the following project environments: Conda environment, Docker container environment, and system environment. Any Git repo or local directory can be treated as an MLflow project.
REMOTE EXECUTION MODE: Run MLflow Projects from Git or local sources remotely on Databricks clusters using the Databricks CLI to quickly scale your code.
MLflow Recipes
SIMPLIFIED PROJECT STARTUP: MLflow Recipes provides out-of-box connected components for building and deploying ML models.
ACCELERATED MODEL ITERATION: MLflow Recipes creates standardized, reusable steps for model iteration — making the process faster and less expensive.
AUTOMATED TEAM HANDOFFS: Opinionated structure provides modularized production-ready code, enabling automatic handoff from experimentation to production.
Leggi la sezione dedicata alle novità di prodotto di Azure Databricks e AWS per scoprire le nostre funzionalità più recenti.
Offerte MLflow a confronto
Open Source MLflow | Managed MLflow on Databricks | |
|---|---|---|
Monitoraggio di esperimenti | ||
API di tracciamento di MLflow | ||
Server di tracciamento di MLflow | Hosting interno | Completamente gestito |
Integrazione con notebook | ||
Integrazione con flussi di lavoro | ||
Progetti riproducibili | ||
Progetti MLflow | ||
Integrazione con Git e Conda | ||
Cloud/cluster scalabili per esecuzione di progetti | ||
Gestione dei modelli | ||
Registro dei modelli MLflow | ||
Gestione delle versioni dei modelli | ||
Transizione di fase basata su ACL | ||
Integrazione con flussi di lavoro CI/CD | ||
Implementazione flessibile | ||
Inferenza batch integrata | ||
Modelli MLflow | ||
Analisi in streaming integrata | ||
Sicurezza e gestione | ||
Alta disponibilità | ||
Aggiornamenti automatici | ||
Controllo degli accessi per ruoli |
Come funziona
MLflow è un set leggero di API e interfacce utente che può essere utilizzato con qualsiasi framework di ML lungo tutto il flusso di lavoro di ML. Comprende quattro componenti: MLflow Tracking, MLflow Projects, MLflow Models e MLflow Model Registry
Managed MLflow su Databricks
Managed MLflow su Databricks è una versione completamente gestita di MLflow che fornisce ai professionisti la riproducibilità e la gestione Experiment su Databricks Notebook, Job e archivi dati, con l'affidabilità, la sicurezza e la scalabilità della Databricks Data Intelligence Platform.
Risorse
Blog
Video
Tutorial
Webinar
eBook
Notebook
Documentazione
Ready to get started?