Ir para o conteúdo principal

MLflow gerenciado

Crie modelos melhores e aplicativos de IA generativa

O que é o Managed MLflow?

O Managed MLflow amplia a funcionalidade do MLflow, uma plataforma de código aberto desenvolvida pela Databricks para criar melhores modelos e aplicativos de IA generativa, com foco na confiabilidade, segurança e escalabilidade da empresa. A última atualização do MLflow introduz recursos inovadores de GenAI e LLMOps que aprimoram sua capacidade de gerenciar e implantar grandes modelos de linguagem (LLMs). O suporte expandido para LLM é obtido por meio de novas integrações com ferramentas LLM padrão do setor, OpenAI e Hugging Face Transformers, bem como o MLflow Deployments Server. Além disso, a integração do MLflow com frameworks LLM (por exemplo, LangChain) permite o desenvolvimento simplificado de modelos para a criação de aplicativos de IA generativa para diversos casos de uso, incluindo chatbots, resumo de documentos, classificação de texto, análise de sentimento e muito mais.

Benefícios

model development

Desenvolvimento de modelos

Aprimore e agilize o gerenciamento do ciclo de vida do machine learning com uma estrutura padronizada para modelos prontos para produção. Managed MLflow Recipes permitem a inicialização imediata de projetos de ML, a iteração rápida e a implantação de modelos em grande escala. Crie aplicativos como chatbots, resumo de documentos, análise de sentimentos e classificação sem esforço. Desenvolva facilmente aplicativos de IA generativa (por exemplo, chatbots e resumo de documentos) com as ofertas de LLM do MLflow, que se integram perfeitamente ao LangChain, Hugging Face e OpenAI.

Deploy a model for a batch interface

Acompanhamento de experimentos

Execute experimentos com qualquer biblioteca, estrutura ou idioma de ML e acompanhe automaticamente parâmetros, métricas, códigos e modelos de cada experimento. Ao usar o MLflow na Databricks, você pode compartilhar, gerenciar e comparar com segurança os resultados do experimento, juntamente com os artefatos correspondentes e versões de código, graças às integrações incorporadas com o Databricks Workspace e os notebooks. Você também poderá avaliar os resultados dos experimentos com GenAI e melhorar a qualidade com a funcionalidade de avaliação do MLflow.

model development

Gerenciamento de modelos

Use um local central para descobrir e compartilhar modelos de ML, colaborar na migração de experimentação para testes e produção online, integrar com fluxos de trabalho de aprovação e governança e pipelines de CI/CD e monitorar implantações de ML e seu desempenho. O MLflow Model Registry facilita o compartilhamento de experiência e conhecimento e ajuda você a manter o controle.

model development

Implantação de modelos

Implemente rapidamente modelos de produção para inferência em lote no Apache Spark™ ou como APIs REST usando integração integrada com containers do Docker, Azure ML ou Amazon SageMaker. Com o Managed MLflow na Databricks, você pode operacionalizar e monitorar modelos de produção usando o Databricks Jobs Scheduler e os clusters gerenciados automaticamente para dimensionar com base nas necessidades da empresa.

As atualizações mais recentes do MLflow fornecem aplicativos de IA generativa prontos para implantação. Agora, você pode usar o Databricks Model Serving para implantar em escala seus chatbots e outros aplicativos de IA generativa, como resumos de documentos, análise de sentimento e classificação.

Recursos

icon-orange-Data-Parser-Normalizer-ETL-ELT

MLflow Tracking

MLFLOW TRACKING: registre automaticamente parâmetros, versões de código, métricas e artefatos para cada execução usando Python, REST, API Re API Java

DESENVOLVIMENTO DE IA GENERATIVA: simplifique o desenvolvimento de modelos para construir aplicativos de IA generativa para diversos casos de uso, como chatbots, resumo de documentos, análise e classificação de sentimentos, com o Deployments Server e a Evaluation UI do MLflow, com suporte de integração nativa com LangChain e UI perfeita para prototipagem e iteração rápidas.

SERVIDOR DO MLFLOW TRACKING: comece rapidamente com um servidor de rastreamento integrado para registrar todas as execuções e experimentos em um só lugar. Nenhuma configuração necessária na Databricks.

GERENCIAMENTO DE EXPERIMENTOS: crie, proteja, organize, pesquise e visualize experimentos no Workspace com controle de acesso e consultas de query.

MLFLOW RUN SIDEBAR: rastreie automaticamente as execuções em notebooks e capture um snapshot do seu notebook para cada execução, assim você sempre pode voltar às versões anteriores do seu código.

REGISTRO DE DADOS COM EXECUÇÕES: registre parâmetros, conjuntos de dados, métricas, artefatos e muito mais, conforme executados em arquivos locais, em um banco de dados compatível com SQLAlchemy ou remotamente em um servidor de acompanhamento.

INTEGRAÇÃO COM O DELTA LAKE: rastreie conjuntos de dados em grande escala que alimentam seus modelos com snapshots do Delta Lake.

LOJA DE ARTEFATOS: armazene arquivos grandes, como buckets do S3, sistema de arquivos NFS compartilhado e modelos no Amazon S3, Armazenamento de Blobs do Azure, Google Cloud Storage, servidor SFTP, NFS e caminhos de arquivos locais.

icon connectors

MLflow Models

MLFLOW MODELS: um formato padrão para embalar modelos de machine learning que podem ser usados em diversas ferramentas downstream; por exemplo, servir em tempo real por meio de uma API REST ou inferência em lote no Apache Spark.

PERSONALIZAÇÃO DO MODELO: use modelos Python personalizados e variantes personalizadas para modelos de uma biblioteca de ML que não seja explicitamente suportada pelas variantes integradas do MLflow.

VARIANTES DE MODELO INTEGRADAS: o MLflow fornece diversas variantes padrão que podem ser úteis em suas aplicações, como funções Python e R, Hugging Face, OpenAI e LangChain, PyTorch, Spark MLlib, TensorFlow e ONNX.

FERRAMENTAS DE IMPLANTAÇÃO INTEGRADAS: implante rapidamente na Databricks por meio do Apache Spark UDF para uma máquina local ou vários outros ambientes de produção, como Microsoft Azure ML, Amazon SageMaker e a criação de imagens do Docker para implantação.

icon-orange-Join-Hints

MLflow Model Registry

REPOSITÓRIOS CENTRAIS: registre os modelos do MLflow com o MLflow Model Registry. Um modelo registrado tem nome, versão, estágio e outros metadados únicos.

VERSÕES DE MODELOS: acompanhe automaticamente as versões dos modelos registrados quando atualizados.

ESTÁGIO DE MODELOS: atribua estágios predefinidos ou personalizados a cada versão do modelo, como "Homologação" e "Produção", para representar o ciclo de vida de um modelo.

INTEGRAÇÃO DE FLUXO DE TRABALHO CI/CD: grave transições de estágio, solicite, revise e aprove mudanças como parte dos pipelines CI/CD para melhor controle e governança.

TRANSIÇÕES DE ESTÁGIO DOS MODELOS: registre novos eventos de registro ou alterações como atividades que registram automaticamente usuários, alterações e metadados adicionais, como comentários.

icon

Servidor de implementações do MLflow

ACESSO CONTROLADO A LLMs: gerencie credenciais de LLM em SaaS.

CONTROLE DE CUSTOS: defina limites de taxa.

PADRONIZAÇÃO DAS INTERAÇÕES DO LLM: experimente diferentes LLMs OSS/SaaS com interfaces de entrada/saída padrão para diferentes tarefas, como conclusões, chat e incorporações.

Predictive maintenance

MLflow Projects

MLFLOW PROJECTS: o MLflow Projects permite especificar o ambiente de software que é usado para executar seu código. O MLflow atualmente suporta os seguintes ambientes de projeto: ambiente Conda, ambiente de container do Docker e ambiente de sistema. Qualquer repositório Git ou diretório local pode ser tratado como um projeto de MLflow.

MODO DE EXECUÇÃO REMOTA: execute o MLflow Projects a partir do Git ou de fontes locais remotamente em clusters da Databricks usando a CLI Databricks para dimensionar rapidamente seu código.

mlflow recipes

MLflow Recipes

INICIALIZAÇÃO SIMPLIFICADA DO PROJETO: o MLflow Recipes fornece componentes conectados prontos para uso para criar e implantar modelos de ML.

ITERAÇÃO ACELERADA DO MODELO: o MLflow Recipes cria etapas padronizadas e reutilizáveis para a iteração do modelo, tornando o processo mais rápido e menos dispendioso.

TRANSFERÊNCIAS DE EQUIPE AUTOMATIZADAS: a estrutura opinativa fornece código modularizado pronto para produção, permitindo a transferência automática da experimentação para a produção.

Veja nossas notícias de produtos do Azure Databricks e da AWS para conhecer nossos recursos mais recentes.

Comparação das ofertas de MLflow

Open Source MLflow

Managed MLflow on Databricks

Acompanhamento de experiments

API MLflow Tracking

Servidor de rastreamento do MLflow

Hosting interno

Totalmente gerenciado

Integração de notebooks

Integração de fluxos de trabalho

Projetos reproduzíveis

MLflow Projects

Integração do Git e Conda

Nuvem/clusters escaláveis para execução de projetos

Gerenciamento de modelos

MLflow Model Registry

Controle de versões de modelos

Transição de estágio baseada em ACL

Integrações de fluxos de trabalho CI/CD

Implementação flexível

Inferência de batch integrada

MLflow Models

Análise de streaming integrada

Segurança e gerenciamento

Alta disponibilidade

Atualizações automatizadas

Controle de acesso baseado na função

Como funciona

O MLflow é um conjunto leve de APIs e interfaces de usuário que pode ser usado com qualquer estrutura de ML em todo o fluxo de trabalho de machine learning. Inclui quatro componentes: MLflow Tracking, MLflow Projects, MLflow Models e MLflow Model Registry

Mais sobre o MLflow

managed mlflow
MLflow Tracking

Registre e consulte experimentos: código, dados, configuração e resultados.

Saiba mais
managed mlflow
MLflow Projects

Formato de embalagem para execuções reproduzíveis em qualquer plataforma.

Saiba mais
managed mlflow
MLflow Models

Formato geral para enviar modelos para diversas ferramentas de implantação.

Saiba mais
managed mlflow
MLflow Model Registry

Repositório centralizado para gerenciar os modelos de MLflow de forma colaborativa durante todo o ciclo de vida.

Saiba mais

MLflow gerenciado na Databricks

O Managed MLflow na Databricks é uma versão totalmente gerenciada do MLflow que oferece aos profissionais reprodutibilidade e gerenciamento de experimentos em notebooks, jobs e armazenamentos de dados da Databricks, com confiabilidade, segurança e escalabilidade da Databricks Data Intelligence Platform.

Leia os documentos

Log Your First Run as an Experiment MLflow

Recursos