Servindo modelo

Implantação e governança unificadas para todos os modelos de IA

Experimente gratuitamente Agendar uma demonstração

ML de produção em escala com lakehouse

Palestras. Demonstrações. Painel do cliente. Perguntas e respostas.

Assista agora

Introdução

O Databricks Model Serving é um serviço unificado para implantar, governar, consultar e monitorar modelos ajustados ou pré-implantados pela Databricks, como Llama 2, MosaicML MPT ou BGE, ou de qualquer outro provedor de modelos, como Azure OpenAI, AWS Bedrock, AWS SageMaker e Anthropic. Nossa abordagem unificada facilita a experimentação e a produção de modelos de qualquer nuvem ou provedor para encontrar o melhor candidato para seu aplicativo em tempo real. Você pode fazer testes A/B de diferentes modelos e monitorar a qualidade do modelo em dados de produção em tempo real depois que eles forem implantados. O Model Serving também tem modelos pré-implantados, como o Llama2 70B, permitindo começar a desenvolver aplicativos de IA, como geração aumentada de recuperação (RAG), e fornecer acesso pago por token ou compute pago por provisionamento para garantir o throughput.

Citações de clientes

Implantação simplificada para todos os modelos de IA

Implante qualquer tipo de modelo, desde modelos de código aberto pré-treinados até modelos personalizados construídos em seus próprios dados, tanto na CPU quanto na GPU. A construção automatizada de contêineres e o gerenciamento de infraestrutura reduzem os custos de manutenção e aceleram a implantação para você se concentrar na criação de projetos de IA e na entrega de valor mais rapidamente para seus negócios.

Gerenciamento unificado para todos os modelos

Gerencie todos os modelos, incluindo modelos de ML personalizados, como PyFunc, scikit-learn e LangChain, modelos de fundação (FMs) no Databricks, como Llama 2, MPT e BGE, e modelos básicos hospedados em outros locais, como ChatGPT, Claude 2, Cohere e Stable Diffusion. O Model Serving torna todos os modelos acessíveis em uma interface de usuário e API unificadas, incluindo modelos hospedados pela Databricks ou de outro provedor de modelos no Azure e AWS.

Effortless batch inference

Model Serving enables efficient AI inference on large datasets, supporting all data types and models in a serverless environment. You can seamlessly integrate with Databricks SQL, Notebooks and Workflows to apply AI models across vast amounts of data in one streamlined operation. Enhance data processing, generate embeddings and evaluate models — all without complex rework.

Governança incorporada

Atenda aos rigorosos requisitos de segurança e governança, pois é possível impor permissões adequadas, monitorar a qualidade do modelo, definir limites de taxa e rastrear a linhagem em todos os modelos, estejam eles hospedados pela Databricks ou em qualquer outro provedor de modelos.

Modelos baseados em dados

Acelere as implementações e reduza os erros por meio da integração profunda com a plataforma de inteligência de dados. Você pode hospedar facilmente vários modelos de IA generativa, ampliados (RAG) ou aperfeiçoados com seus dados corporativos. O Model Serving oferece pesquisas automatizadas, monitoramento e governança em todo o ciclo de vida da IA.

Econômico

Disponibilize modelos como uma API de baixa latência em um serviço serverless altamente disponível com suporte de CPU e GPU. Dimensione sem esforço a partir do zero para atender às suas necessidades mais críticas, e reduza a escala quando os requisitos mudarem. Você pode começar rapidamente com um ou mais modelos pré-implantados e cargas de trabalho de compute pagas por token (sob demanda, sem compromissos) ou pagas por provisionamento para obter throughput garantido. A Databricks cuidará do gerenciamento da infraestrutura e dos custos de manutenção, para que você possa se concentrar em gerar valor comercial.