Revenir au contenu principal

Mlflow administré

Créez de meilleurs modèles et applications d’IA générative

Qu'est-ce que Managed MLflow ?

Managed MLflow étend les fonctionnalités de MLflow, une plateforme open source développée par Databricks pour créer de meilleurs modèles et applications d’IA générative, en mettant l’accent sur la fiabilité, la sécurité et l’évolutivité de l’entreprise. La dernière mise à jour de MLflow introduit des fonctionnalités innovantes GenAI et LLMOps qui améliorent sa capacité à gérer et à déployer des modèles de langage volumineux (LLM). Cette LLM prise en charge étendue est obtenue grâce à de nouvelles intégrations avec les outils de standard de Secteurs d’activité,LLM OpenAI et Hugging Face Transformers, ainsi qu’avec le MLflow serveur de déploiements . De plus, l’intégration de MLflow avec les frameworks LLM (par exemple, LangChain) permet un développement simplifié de modèles pour la création d’applications d’IA générative pour une variété de cas d’utilisation, notamment les chatbots, le résumé de documents, la classification de texte, l’analyse des sentiments et bien plus encore.

Avantages

model development

Développement de modèles

Améliorez et accélérez la gestion du cycle de vie du machine learning grâce à un cadre standardisé pour les modèles prêts pour la production. Les recettes de MLflow gérées permettent un démarrage de projet ML transparent, une itération rapide et un déploiement de modèle Monter en charge à grande échelle. Créez des applications telles que des chatbots, des résumés de documents, l’analyse des sentiments et la classification sans effort. Développez facilement des applications d’IA générative (par exemple, des chatbots, des résumés de documents) avec les offres LLM de MLflow, qui s’intègrent de manière transparente à LangChain, Hugging Face et OpenAI.

Deploy a model for a batch interface

Suivi des tests

Exécutez l’expérimentation avec n’importe quelle bibliothèque, infrastructure ou langage ML , et gardez automatiquement une trace des paramètres, des métriques, du code et des modèles de chaque expérimentation. En utilisant MLflow sur Databricks, vous pouvez partager, gérer et comparer en toute sécurité les résultats de l’expérimentation ainsi que les artefacts et les versions de code correspondants, grâce aux intégrations intégrées avec l' Databricks Espace de travail et Notebook. Vous serez également en mesure d’évaluer les résultats de l’expérimentation GenAI et d’améliorer la qualité grâce à MLflow fonctionnalité d’évaluation.

model development

Gestion de modèles

Au sein d'un même emplacement centralisé, vous allez pouvoir partager des modèles ML, collaborer pour les faire passer de l'expérimentation aux tests et à la production, intégrer des workflows d'approbation et de gouvernance et assurer le suivi des déploiements ML et de leurs performances. Le Registre de modèles MLflow facilite le partage d'expertise et de connaissances et vous aide à garder le contrôle.

model development

Déploiement de modèles

Déployez rapidement des modèles en production pour les inférences par batch sur Apache Spark™ ou sous forme d'API REST grâce aux intégrations natives avec les conteneurs Docker, Azure ML ou Amazon SageMaker. Avec Managed MLflow sur Databricks, vous pouvez mettre en service et surveiller les modèles de production à l'aide de l'ordonnanceur Databricks et des clusters auto-gérés en fonction de vos besoins métier.

Les dernières mises à niveau de MLflow package de manière transparente les applications GenAI pour le déploiement. Vous pouvez désormais déployer vos chatbots et d’autres applications GenAI telles que le résumé de documents, l’analyse des sentiments et la classification chez Monter en charge, en utilisant Databricks Model Serving.

Fonctionnalités

icon-orange-Data-Parser-Normalizer-ETL-ELT

MLFLOW TRACKING

MLflow Tracking : Enregistrez automatiquement les paramètres, versions du code, indicateurs et artefacts de chaque exécution avec Python, REST, l'API R et l'API JAVA.

DÉVELOPPEMENT DE L’IA GÉNÉRATIVE : Simplifiez le développement de modèles pour créer des applications GenAI pour une variété de cas d’utilisation tels que les chatbots, le résumé de documents, l’analyse des sentiments et la classification avec le serveur de déploiements et l’interface utilisateur d’évaluation de MLflow, pris en charge par une intégration native avec LangChain et une interface utilisateur transparente pour un prototypage et une itération rapides.

Serveur MLflow Tracking : Démarrez rapidement avec un serveur de suivi inclus permettant d'enregistrer toutes vos exécutions et expériences en un seul et même endroit. Aucune configuration n'est requise sur Databricks.

Expérimentation MANAGEMENT : Créez, sécurisez, organisez, recherchez et visualisez l’expérimentation depuis l’Espace de travail avec le contrôle d’accès et les requêtes de recherche.

BARRE LATÉRALE D’EXÉCUTION MLFLOW : Effectuez automatiquement le suivi des exécutions à partir de Notebook et capturez un instantané de votre Notebook pour chaque exécution afin de pouvoir toujours revenir aux versions précédentes de votre code.

Journalisation des données des exécutions : Enregistrez les paramètres, jeux de données, indicateurs, artefacts, etc. en tant qu'exécutions, que ce soit dans des fichiers locaux, dans une base de données compatible SQLAlchemy ou encore à distance sur un serveur de suivi.

Intégration Delta Lake : Effectuez le suivi des jeux de données à grande échelle qui ont servi à alimenter vos modèles grâce aux instantanés Delta Lake.

Banque d'artefacts : Stockez des fichiers volumineux tels que des buckets Amazon S3 buckets, des systèmes de fichiers NFS partagés et des modèles sur Amazon S3, Azure Blob Storage, Google Cloud Storage, un SFTP, NFS ou via des chemins de fichiers locaux.

icon connectors

MLflow Models

MLflow Models : Format standard d'empaquetage des modèles de machine learning utilisable avec divers outils en aval tels que la diffusion en temps réel par une API REST ou l'inférence par batch sous Apache Spark.

Personnalisation de modèles : Utilisez des modèles Python personnalisés et des saveurs personnalisées pour vos modèles à partir d'une bibliothèque ML non explicitement prise en charge par les saveurs intégrées à MLflow.

intégré SAVEURS DE MODÈLE : MLflow fournit plusieurs versions standard qui pourraient être utiles dans vos applications, comme les fonctions Python et R, Hugging Face, OpenAI et LangChain, PyTorch, Spark MLlib, TensorFlow et ONNX.

OUTILS DE DÉPLOIEMENT INTÉGRÉS : déployez rapidement sur Databricks via Apache Spark UDF dans le cas d'une machine locale, ou dans plusieurs autres environnements de production comme Microsoft Azure ML, Amazon SageMaker, et créez des images Docker Images à déployer.

icon-orange-Join-Hints

MLflow Model Registry

CENTRAL repository: Enregistrez MLflow modèles avec le MLflow Model Registry. Un modèle enregistré possède un nom, une version, une étape et d’autres métadonnées uniques.

Contrôle de version des modèles : Conservez automatiquement la trace des versions des modèles enregistrés lors de leur mise à jour.

STADES DE MODÈLES : assignez des étapes prédéfinies ou personnalisées à chaque version de modèle, telle que « pré-production » ou « production » pour représenter le cycle de vie d'un modèle.

Intégrations de workflows CI/CD : Enregistrez les transitions entre les stades, demandez, évaluez et approuvez des changements dans le cadre de pipelines CI/CD pour un contrôle et une gouvernance optimisés.

Transitions entre stades de modèles : Conservez les nouveaux événements d'enregistrement ou leurs modifications sous forme d'activités gardant automatiquement une trace des utilisateurs, changements et nouvelles métadonnées telles que les commentaires.

icon

Serveur de déploiements MLflow

RÉGIR L’ACCÈS AUX LLM : Gérez les informations d’identification SaaS LLM.

MAÎTRISER LES COÛTS : Définissez des limites de débit.

STANDARDISER LLM INTERACTIONS : Expérimentation de différents LLM OSS/SaaS avec des interfaces d’entrées/sorties standard pour différentes tâches : complétions, chat, embeddings.

Predictive maintenance

MLflow Projects

PROJETS MLFLOW : les projets MLflow permettent de préciser l'environnement logiciel à utiliser pour exécuter votre code. À ce jour, MLflow prend en charge les environnements de projet suivants : Conda, conteneurs Docker et environnement système. Tout dépôt Git ou répertoire local peut être traité en tant que projet MLflow.

Mode d'exécution à distance : Exécutez des projets MLflow à distance depuis Git ou des sources locales sur des clusters Databricks à l'aide de la ligne de commande Databricks et adaptez ainsi rapidement votre code à n'importe quelle échelle.

mlflow recipes

Recette MLflow

UN DÉMARRAGE SIMPLIFIÉ : les recettes MLflow fournissent des composants connectés prêts à l'emploi pour créer et déployer des modèles de ML.

ITÉRATION DE MODÈLES ACCÉLÉRÉE : les recettes MLflow découpent l'itération des modèles en étapes standardisées et réutilisables, ce qui rend le processus plus rapide et réduit son coût.

TRANSMISSION AUTOMATISÉE D'UNE ÉQUIPE À L'AUTRE : une structure articulée fournit du code modulaire prêt à mettre en production pour automatiser le passage de l'expérimentation à la production.

Consultez les actus sur nos produits publiées sur Azure Databricks et AWS pour découvrir nos dernières fonctionnalités.

Comparaison des offres MLflow

Open Source MLflow

Managed MLflow on Databricks

Suivi des tests

API de suivi MLflow

Serveur de suivi MLflow

Auto-hébergé

Entièrement géré

Intégration des notebooks

Intégration des workflows

Projets reproductibles

MLflow Projects

Intégration Git et Conda

Cloud/clusters évolutifs pour l'exécution des projets

Gestion de modèles

MLflow Model Registry

Contrôle de versions des modèles

Transition d'étape ACL

Intégrations de workflows CI/CD

Déploiements flexibles

Inférence par batch intégrée

MLflow Models

Analyses en streaming intégrées

Sécurité et gestion

Haute disponibilité

Mises à jour automatiques

Contrôle d'accès basé sur les rôles

Comment ça marche

MLflow est un ensemble d'interfaces utilisateur et d'API légères utilisables avec n'importe quelle infrastructure ML sur l'ensemble du workflow de machine learning. Il regroupe quatre composants : MLflow Tracking, MLflow Projects, MLflow Models et MLflow Model Registry

En savoir plus sur MLflow

managed mlflow
MLFLOW TRACKING

Enregistrement et interrogation Expérimentation : code, données, config et résultats.

En savoir plus
managed mlflow
MLflow Projects

Un format de package pour des cycles reproductibles sur n'importe quelle plateforme.

En savoir plus
managed mlflow
MLflow Models

Un format général pour envoyer des modèles vers différents outils de déploiement.

En savoir plus
managed mlflow
MLflow Model Registry

Un dépôt centralisé permettant de gérer les modèles MLflow de manière collaborative, tout au long de leur cycle de vie.

En savoir plus

MLflow managé<br /> sur Databricks

Managed MLflow on Databricks est une version entièrement gérée de MLflow offrant aux praticiens une gestion de la reproductibilité et de l’expérimentation sur Databricks magasins de blocs, de tâches et de données, ainsi que la fiabilité, la sécurité et l’évolutivité de la plate-formeDatabricks Data Intelligence.

Lire la documentation

Log Your First Run as an Experiment MLflow

Ressources