Bússola de Custo de Cuidados: Um Sistema de Agentes Usando o Framework de Agentes Mosaic AI

Oportunidades e Obstáculos no Desenvolvimento de IA Generativa Confiável para Empresas

A IA generativa oferece benefícios transformadores no desenvolvimento de aplicações empresariais, fornecendo capacidades avançadas de linguagem natural nas mãos dos Engenheiros de Software. Ele pode automatizar tarefas complexas como geração de conteúdo, análise de dados e sugestões de código, reduzindo significativamente o tempo de desenvolvimento e os custos operacionais. Ao aproveitar modelos avançados, as empresas podem criar experiências de usuário mais personalizadas, melhorar a tomada de decisões por meio de insights inteligentes de dados e otimizar processos como suporte ao cliente com chatbots impulsionados por IA.

Apesar de suas muitas vantagens, o uso de IA generativa no desenvolvimento de aplicações empresariais apresenta desafios significativos.

Precisão: Um grande problema é a precisão e confiabilidade dos resultados da IA, pois os modelos gerativos podem às vezes produzir resultados imprecisos ou tendenciosos.

Segurança: Garantir a segurança e o uso ético da IA também é uma preocupação, especialmente ao lidar com dados sensíveis ou aplicações em indústrias regulamentadas. A conformidade regulatória e a abordagem de vulnerabilidades de segurança permanecem preocupações críticas ao implantar a IA em escala.

Custo: Além disso, a escalabilidade dos sistemas de IA para estarem prontos para empresas requer infraestrutura robusta e expertise, o que pode ser intensivo em recursos. A integração da IA generativa em sistemas existentes também pode apresentar desafios de compatibilidade, enquanto a manutenção da transparência e responsabilidade nos processos orientados por IA é crucial, mas difícil de alcançar.

Mosaic AI Agent Framework e Databricks Data Intelligence Platform

Mosaic AI Agent Framework oferece um conjunto abrangente de ferramentas para construir, implantar, avaliar e gerenciar aplicações de IA generativa de ponta. Alimentado pela Plataforma de Inteligência de Dados Databricks, o Mosaic AI permite que as organizações desenvolvam de forma segura e econômica sistemas complexos de IA prontos para produção, que são integrados de forma transparente com seus dados empresariais.

Agente de Saúde para Cálculo de Custos Não Cobertos pelo Seguro

Pagadores na indústria de saúde são organizações — como provedores de planos de saúde, Medicare e Medicaid — que definem as taxas de serviço, coletam pagamentos, processam reivindicações e pagam as reivindicações dos provedores. Quando um indivíduo precisa de um serviço ou cuidado, a maioria liga para o representante de atendimento ao cliente de seu pagador e explica sua situação para obter uma estimativa do custo de seu tratamento, serviço ou procedimento.

Este cálculo é bastante padrão e pode ser feito de forma determinística uma vez que temos informações suficientes do usuário. Criar uma aplicação agente capaz de identificar as informações relevantes da entrada do usuário e, em seguida, recuperar o custo correto com precisão pode liberar os agentes de atendimento ao cliente para atender chamadas telefônicas mais importantes.

Neste artigo, vamos construir um Sistema GenAI de Agente usando as capacidades do Mosaic AI como Busca Vetorial, Serviço de Modelo, Gateway de IA, Tabelas Online e Catálogo Unity. Também demonstraremos o uso da metodologia de Desenvolvimento Orientado à Avaliação para construir rapidamente aplicações agentes e melhorar iterativamente a qualidade do modelo.

Visão Geral da Aplicação

O cenário que estamos discutindo aqui é quando um cliente acessa um portal de Pagador e usa o recurso de chatbot para perguntar sobre o custo de um procedimento médico. A aplicação agente que criamos aqui é implantada como uma API REST usando Mosaic AI Model Serving.

Uma vez que o agente recebe uma pergunta, um fluxo de trabalho típico para a estimativa de custo do procedimento é como abaixo:

• Entenda o client_id do cliente que está fazendo a pergunta.
• Recupere o benefício negociado apropriado relacionado à questão.
• Recupere o código do procedimento relacionado à pergunta.
• Recupere os atuais dedutíveis do membro para o ano do plano atual.
• Recupere o custo do procedimento negociado para o código do procedimento.
• Com os detalhes do benefício, custo do procedimento e dedutíveis atuais, calcule o custo dentro e fora da rede para o procedimento para o membro.
• Resuma o cálculo de custo de uma maneira profissional e envie-o ao usuário.

Na realidade, os pontos de dados para esta aplicação serão resultados de múltiplos fluxos de trabalho complexos de engenharia de dados e cálculos, mas faremos algumas suposições simplificadoras para manter o escopo deste trabalho limitado ao design, desenvolvimento e implantação da aplicação agente.

1. A lógica de agrupamento para o documento Resumo dos Benefícios presume que a estrutura é quase a mesma para a maioria dos documentos. Também assumimos que o Resumo Final de Benefícios para cada produto para todos os clientes está disponível em um Volume do Catálogo Unity.
2. O esquema da maioria das tabelas é simplificado para apenas alguns campos obrigatórios.
3. Presume-se que o preço negociado para cada procedimento esteja disponível em uma Tabela Delta no Catálogo Unity.
4. O cálculo para determinar o custo de desembolso é simplificado apenas para mostrar as técnicas usadas para capturar notas.
5. Também é assumido que o aplicativo do cliente inclui o ID do membro na solicitação e que o ID do cliente pode ser procurado a partir de uma Tabela Delta.

Os notebooks para este Acelerador de Soluções estão disponíveis aqui.

Arquitetura

Usaremos o framework Mosaic AI Agent na plataforma Databricks Data Intelligence para construir essa solução. Um diagrama de arquitetura de alto nível é dado abaixo.

Construiremos a solução em várias etapas, começando pela preparação dos dados.

Preparação de Dados

Nas próximas seções, falaremos sobre a preparação dos dados para nossa aplicação de Agente.

As Tabelas Delta abaixo conterão os dados sintéticos necessários para este Agente.

member_enrolment: Tabela contendo informações de inscrição do membro como cliente e plan_id

member_accumulators: Tabela contendo acumuladores de membros como dedutíveis e gastos fora do bolso

cpt_codes: Tabela contendo códigos CPT e descrições

procedure_cost: Tabela contendo o custo negociado de cada procedimento

sbc_details: Tabela contendo fragmentos derivados do pdf do Resumo de Benefícios

Você pode se referir a este notebook para detalhes de implementação.

Análise e Divisão do Resumo dos Documentos de Benefícios

Para recuperar o contrato apropriado relacionado à pergunta, precisamos primeiro analisar o Resumo do Documento de Benefícios de cada cliente em uma tabela delta. Esses dados analisados serão então usados para criar um Índice Vetorial para que possamos executar pesquisas semânticas nesses dados usando a pergunta do cliente.

Estamos presumindo que o Resumo do Documento de Benefícios tem a estrutura abaixo.

Nosso objetivo é extrair esses dados tabulares do PDF e criar um resumo completo de cada item de linha, de forma que capture os detalhes adequadamente. Abaixo está um exemplo

Para o item de linha abaixo, queremos gerar dois parágrafos como abaixo

Se você tem um teste, para teste diagnóstico (raio-x, exame de sangue) você pagará $10 de coparticipação por teste na Rede e 40% de co-seguro fora da Rede.

e

Se você fizer um exame, para Imagens (CT/PET scans, RMIs) você pagará $50 de coparticipação por exame na Rede e 40% de co-seguro Fora da Rede.

NOTA: Se o Resumo do Documento de Benefícios tiver formatos diferentes, teremos que criar mais pipelines e lógica de análise para cada formato. Este notebook detalha o processo de divisão.

O resultado deste processo é uma Tabela Delta que contém cada item da linha do documento de Resumo de Benefícios como uma linha separada. O client_id foi capturado como metadados do parágrafo de benefício. Se necessário, podemos capturar mais metadados, como product_id, mas para o escopo deste trabalho, vamos mantê-lo simples.

Consulte o código em este notebook para detalhes de implementação.

Criando Índices Vetoriais

Mosaic AI Vector Search é um banco de dados de vetores integrado à Plataforma de Inteligência de Dados Databricks e integrado com suas ferramentas de governança e produtividade. Um banco de dados vetorial é otimizado para armazenar e recuperar incorporações, que são representações matemáticas do conteúdo semântico dos dados, geralmente texto ou dados de imagem.

Para esta aplicação, criaremos dois índices vetoriais.

• Índice de Vetor para os resumos analisados dos Benefícios e Cobertura
• Índice Vetorial para códigos CPT e descrições

Criar Índices de Vetor no Mosaic AI é um processo de dois passos.

1. Crie um Endpoint de Pesquisa Vetorial: O Endpoint de Pesquisa Vetorial serve o índice de Pesquisa Vetorial. Você pode consultar e atualizar o endpoint usando a API REST ou o SDK. Os endpoints dimensionam automaticamente para suportar o tamanho do índice ou o número de solicitações simultâneas.
2. Criar Índices de Vetor: O índice de busca de vetor é criado a partir de uma tabela Delta e é otimizado para fornecer buscas aproximadas de vizinhos mais próximos em tempo real. O objetivo da busca é identificar documentos que são semelhantes à consulta. Os índices de busca de vetor aparecem e são governados pelo Catálogo Unity.

Este notebook detalha o processo e contém o código de referência.

Tabelas online

Uma tabela online é uma cópia somente leitura de uma Tabela Delta que é armazenada em um formato orientado a linhas otimizado para acesso online. As tabelas online são tabelas totalmente sem servidor que ajustam automaticamente a capacidade de throughput com a carga de solicitações e fornecem acesso de baixa latência e alto throughput a dados de qualquer escala. As tabelas online são projetadas para trabalhar com Mosaic AI Model Serving, Feature Serving e aplicações agente que são usadas para consultas rápidas de dados.

Precisaremos de tabelas online para nossas tabelas de inscrição de membros, acumuladores de membros e custos de procedimentos.

Este notebook detalha o processo e contém o código necessário.

Construindo Aplicação Agente

Agora que temos todos os dados necessários, podemos começar a construir nossa Aplicação de Agente. Seguiremos a metodologia de Desenvolvimento Orientado à Avaliação para desenvolver rapidamente um protótipo e melhorar iterativamente sua qualidade.

Desenvolvimento Orientado à Avaliação

O Fluxo de Trabalho Orientado à Avaliação é baseado nas melhores práticas recomendadas pela equipe de Pesquisa Mosaic para a construção e avaliação de aplicações RAG de alta qualidade.

A Databricks recomenda o seguinte fluxo de trabalho orientado à avaliação:

• Defina os requisitos
• Coletar feedback das partes interessadas em uma prova de conceito (POC) rápida
• Avalie a qualidade do POC
• Diagnostique e corrija problemas de qualidade de forma iterativa
• Implantar para a produção
• Monitorar em produção

Leia mais sobre Desenvolvimento Orientado à Avaliação no Databricks AI Cookbook.

Construindo Ferramentas e Avaliando

Ao construir Agentes, podemos estar aproveitando muitas funções para realizar ações específicas. Em nossa aplicação, temos as seguintes funções que precisamos implementar

• Recupere o member_id do contexto
• Classificador para categorizar a pergunta
• Uma função de busca para obter client_id a partir de member_id da tabela de inscrição de membros
• Um módulo RAG para buscar Benefícios do índice de Resumo de Benefícios para o client_id
• Um módulo de busca semântica para procurar o código de procedimento apropriado para a pergunta
• Uma função de busca para obter o custo do procedimento para o código de procedimento recuperado da tabela de custos do procedimento
• Uma função de busca para obter acumuladores de membros para o member_id da tabela de acumuladores de membros
• Uma função Python para calcular o custo fora do bolso com base nas informações dos passos anteriores
• Um resumidor para resumir o cálculo de maneira profissional e enviá-lo ao usuário

Ao desenvolver Aplicações Agente, é uma prática geral desenvolver funções reutilizáveis como Ferramentas para que o Agente possa usá-las para processar a solicitação do usuário. Essas Ferramentas podem ser usadas com execução de agente autônoma ou estrita.

Neste notebook, desenvolveremos essas funções como ferramentas LangChain para que possamos potencialmente usá-las em um agente LangChain ou como um estrito modelo personalizado PyFunc.

NOTA: Em um cenário da vida real, muitas dessas ferramentas poderiam ser funções complexas ou chamadas de API REST para outros serviços. O escopo deste notebook é ilustrar o recurso e pode ser estendido de qualquer maneira possível.

Um dos aspectos da metodologia de desenvolvimento orientada à avaliação é:

• Defina métricas de qualidade para cada componente na aplicação
• Avalie cada componente individualmente contra as métricas com diferentes parâmetros
• Escolha os parâmetros que deram o melhor resultado para cada componente

Isso é muito semelhante ao exercício de ajuste de hiperparâmetros no desenvolvimento clássico de ML.

Faremos exatamente isso com nossas ferramentas também. Vamos avaliar cada ferramenta individualmente e escolher os parâmetros que dão os melhores resultados para cada ferramenta. Este notebook explica o processo de avaliação e fornece o código. Novamente, a avaliação fornecida no notebook é apenas uma diretriz e pode ser expandida para incluir qualquer número de parâmetros necessários.

Montando o Agente

Agora que temos todas as ferramentas definidas, é hora de combinar tudo em um Sistema de Agentes.

Como fizemos nossos componentes como Ferramentas LangChain, podemos usar um AgentExecutor para executar o processo.

Mas, como é um processo muito direto, para reduzir a latência de resposta e melhorar a precisão, podemos usar um modelo PyFunc personalizado para construir nossa aplicação de Agente e implantá-la no Databricks Model Serving.

Função Python MLflow
A função Python do MLflow, pyfunc, oferece flexibilidade para implantar qualquer código Python ou qualquer modelo Python. Os seguintes são cenários de exemplo onde você pode querer usar isso.

• Seu modelo requer pré-processamento antes que as entradas possam ser passadas para a função predict do modelo.
• Seu framework de modelo não é suportado nativamente pelo MLflow.
• Sua aplicação requer que as saídas brutas do modelo sejam pós-processadas para consumo.
• O próprio modelo tem lógica de ramificação por solicitação.
• Você está procurando implantar código totalmente personalizado como um modelo.

Você pode ler mais sobre a implantação de código Python com Model Serving aqui

CareCostCompassAgent

CareCostCompassAgent é a nossa função Python que implementará a lógica necessária para o nosso Agente. Consulte este caderno para a implementação completa.

Existem duas funções obrigatórias que precisamos implementar:

• load_context - qualquer coisa que precise ser carregada apenas uma vez para o modelo operar deve ser definida nesta função. Isso é crítico para que o sistema minimize o número de artefatos carregados durante a função de previsão, o que acelera a inferência. Estaremos instanciando todas as ferramentas neste método
• predict - esta função abriga toda a lógica que é executada toda vez que uma solicitação de entrada é feita. Implementaremos a lógica do aplicativo aqui.

Entrada e Saída do Modelo
Nosso modelo está sendo construído como um Agente de Chat e isso determina a assinatura do modelo que vamos usar. Então, a solicitação será ChatCompletionRequest

Os dados de entrada para um modelo pyfunc podem ser um DataFrame do Pandas, Series do Pandas, Array do Numpy, Lista ou um Dicionário. Para nossa implementação, esperaremos um DataFrame do Pandas como entrada. Como é um agente de Chat, ele terá o esquema de mlflow.models.rag_signatures.Message.

Nossa resposta será apenas um mlflow.models.rag_signatures.StringResponse

Fluxo de trabalho
Implementaremos o fluxo de trabalho abaixo no método de previsão do modelo pyfunc. Os três fluxos abaixo podem ser executados paralelamente para melhorar a latência de nossas respostas.

1. obtenha o client_id usando o id do membro e então recupere a cláusula de benefício apropriada
2. obtenha os acumuladores do membro usando o member_id
3. obtenha o código do procedimento e procure o código do procedimento

Usaremos a biblioteca asyncio para as operações de IO paralelas. O código está disponível neste notebook.

Avaliação do Agente

Agora que nossa aplicação de agente foi desenvolvida como uma classe Python compatível com MLflow, podemos testar e avaliar o modelo como um sistema de caixa preta. Embora tenhamos avaliado as ferramentas individualmente, é importante avaliar o agente como um todo para garantir que está produzindo a saída desejada. A abordagem para avaliar o modelo é praticamente a mesma que fizemos para as ferramentas individuais.

• Defina um quadro de dados de avaliação
• Defina as métricas de qualidade que vamos usar para medir a qualidade do modelo
• Use a avaliação do MLflow usando databricks-agents para realizar a avaliação
• Estude as métricas de avaliação para avaliar a qualidade do modelo
• Examine os rastros e os resultados da avaliação para identificar oportunidades de melhoria

Este notebook mostra os passos que acabamos de cobrir.

Agora, temos algumas métricas preliminares de desempenho do modelo que podem se tornar o benchmark para futuras iterações. Vamos aderir ao fluxo de trabalho do Desenvolvimento Orientado à Avaliação e implantar este modelo para que possamos disponibilizá-lo a um conjunto selecionado de stakeholders de negócios e coletar feedbacks selecionados para que possamos usar essas informações em nossa próxima iteração.

Registrar Modelo e Implementar

Na plataforma de Inteligência de Dados Databricks, você pode gerenciar o ciclo de vida completo dos modelos no Catálogo Unity. Databricks fornece uma versão hospedada do Registro de Modelo MLflow no Catálogo Unity. Saiba mais aqui.

Uma rápida recapitulação do que fizemos até agora:

• Ferramentas construídas que serão usadas por nosso aplicativo Agent
• Avaliou as ferramentas e escolheu os parâmetros que funcionam melhor para ferramentas individuais
• Criamos uma função personalizada em Python que implementou a lógica
• Avaliamos a aplicação Agente para obter uma referência preliminar
• Rastreados todas as execuções acima em Experimentos MLflow

Agora é hora de registrar o modelo no Catálogo Unity e criar a primeira versão do modelo.

O Catálogo Unity fornece uma solução unificada de governança para todos os dados e ativos de IA no Databricks. Saiba mais sobre o Catálogo de Unidades aqui. Modelos no Catálogo Unity estendem os benefícios do Catálogo Unity para modelos de ML, incluindo controle de acesso centralizado, auditoria, linhagem e descoberta de modelos em diferentes espaços de trabalho. Modelos no Catálogo Unity são compatíveis com o cliente Python de código aberto MLflow.

Quando registramos um modelo no Catálogo Unity, precisamos garantir que incluímos todas as informações necessárias para empacotar o modelo e executá-lo em um ambiente autônomo. Forneceremos todos os detalhes abaixo:

• model_config: Configuração do Modelo - Isso conterá todos os parâmetros, nomes de endpoints e informações de índice de busca vetorial necessários pelas ferramentas e pelo modelo. Ao usar uma configuração de modelo para especificar os parâmetros, também garantimos que os parâmetros são automaticamente capturados no MLflow toda vez que registramos o modelo e criamos uma nova versão.
• python_model: Caminho do Código Fonte do Modelo - Vamos registrar nosso modelo usando a funcionalidade Modelos a partir do Código do MLFlow, em vez da técnica de serialização legada. Na abordagem legada, a serialização é feita no objeto do modelo usando cloudpickle (pyfunc personalizado e LangChain) ou um serializador personalizado que tem cobertura incompleta (no caso do LlamaIndex) de toda a funcionalidade dentro do pacote subjacente. Em modelos a partir do código, para os tipos de modelo que são suportados, um script simples é salvo com a definição do pyfunc personalizado ou da interface do sabor (ou seja, no caso do LangChain, podemos definir e marcar uma cadeia LCEL diretamente como um modelo dentro de um script). Isso é muito mais limpo e remove todos os erros de serialização que se poderia encontrar para bibliotecas dependentes.
• artifacts: Qualquer artefato dependente - Não temos nenhum em nosso modelo
• pip_requirements: Bibliotecas dependentes do PyPi - Também podemos especificar todas as nossas dependências pip aqui. Isso garantirá que essas dependências possam ser lidas durante a implantação e adicionadas ao contêiner construído para a implantação do modelo.
• input_example: Uma solicitação de amostra - Também podemos fornecer uma entrada de amostra como orientação para os usuários que usam este modelo
• assinatura: Assinatura do Modelo
• registered_model_name: Um nome único para o modelo no namespace de três níveis do Catálogo Unity
• recursos: Lista de outros endpoints acessados a partir deste modelo. Essas informações serão usadas no momento da implantação para criar tokens de autenticação para acessar esses endpoints.

Agora usaremos o mlflow.pyfunc.log_model método para registrar e logar o modelo no Catálogo Unity. Consulte este notebook para ver o código.

Uma vez que o modelo é registrado no MLflow, podemos implantá-lo no Mosaic AI Model Serving. Como a implementação do Agente é uma simples função Python que chama outros endpoints para executar chamadas LLM, podemos implantar esta aplicação em um endpoint de CPU. Usaremos o Mosaic AI Agent Framework para

• implante o modelo criando um ponto de extremidade de serviço de modelo de CPU
• configurar tabelas de inferência para rastrear entradas e respostas do modelo e rastros gerados pelo agente
• crie e defina credenciais de autenticação para todos os recursos usados pelo agente
• cria um modelo de feedback e implanta uma Aplicação de Revisão no mesmo ponto de serviço

Leia mais sobre a implantação de aplicações de agentes usando a api de agentes Databricks aqui

Uma vez que a implantação esteja completa, você verá duas URLs disponíveis: uma para a inferência do modelo e a segunda para o aplicativo de revisão, que você pode agora compartilhar com seus stakeholders de negócios.

Coletando Feedback Humano

O dataframe de avaliação que usamos para a primeira avaliação do modelo foi montado pela equipe de desenvolvimento como um esforço para medir a qualidade preliminar do modelo e estabelecer um benchmark. Para garantir que o modelo atenda aos requisitos de negócios, será uma ótima ideia obter feedback dos stakeholders de negócios antes da próxima iteração do ciclo interno de desenvolvimento. Podemos usar o Review App para fazer isso.

O feedback coletado via Review App é salvo em uma tabela delta junto com a Tabela de Inferência. Você pode ler mais aqui.

Ciclo Interno com Dados de Avaliação Melhorados

Agora, temos informações críticas sobre o desempenho do agente que podemos usar para iterar rapidamente e melhorar a qualidade do modelo rapidamente.

1. Feedback de qualidade dos stakeholders de negócios com perguntas apropriadas, respostas esperadas e feedback detalhado sobre como o agente se saiu.
2. Insights sobre o funcionamento interno do modelo a partir dos Rastros MLflow capturados.
3. Insights da avaliação anterior realizada no agente com feedback dos juízes do Databricks LLM e métricas sobre a qualidade da geração e recuperação.

Também podemos criar um novo dataframe de avaliação a partir das saídas do aplicativo de revisão para nossa próxima iteração. Você pode ver uma implementação de exemplo neste notebook.

Vimos que os Sistemas de Agentes lidam com tarefas de IA combinando vários componentes interativos. Esses componentes podem incluir várias chamadas para modelos, recuperadores ou ferramentas externas. Construir aplicações de IA como Sistemas de Agentes tem vários benefícios:

• Construir com reutilização: Um componente reutilizável pode ser desenvolvido como uma Ferramenta que pode ser gerenciada no Catálogo Unity e pode ser usada em vários aplicativos agênticos. As ferramentas podem então ser facilmente fornecidas para sistemas de raciocínio autônomo que tomam decisões sobre quais ferramentas usar e quando e as usam de acordo.
• Sistemas dinâmicos e flexíveis: Como a funcionalidade do agente é dividida em vários subsistemas, é fácil desenvolver, testar, implantar, manter e otimizar esses componentes facilmente.
• Melhor controle: É fácil controlar a qualidade da resposta e os parâmetros de segurança para cada componente individualmente, em vez de ter um grande sistema com todo o acesso.
• Mais opções de custo/qualidade: Combinações de modelos/componentes menores e ajustados fornecem melhores resultados a um custo menor do que modelos maiores construídos para aplicação ampla.

Os Sistemas de Agentes ainda são uma categoria em evolução de aplicações GenAI e introduzem vários desafios para desenvolver e produzir tais aplicações, como:

• Otimizando vários componentes com vários hiperparâmetros
• Definindo métricas apropriadas e medindo e rastreando-as objetivamente
• Iterar rapidamente para melhorar a qualidade e o desempenho do sistema
• Implantação custo-efetiva com capacidade de escalar conforme necessário.
• Governança e linhagem de dados e outros ativos
• Guardrails para o comportamento do modelo
• Monitorando custo, qualidade e segurança das respostas do modelo

O Mosaic AI Agent Framework oferece um conjunto de ferramentas projetadas para ajudar os desenvolvedores a construir e implantar aplicativos Agent de alta qualidade que são consistentemente medidos e avaliados para serem precisos, seguros e governados. Com o Mosaic AI Agent Framework, é mais fácil para os desenvolvedores avaliar a qualidade de um aplicativo RAG, iterar rapidamente com a capacidade de testar hipóteses, reimplantar o aplicativo com facilidade e ter a governança e as barreiras apropriadas para garantir a qualidade contínua.

O Mosaic AI Agent Framework é perfeitamente integrado ao restante da Databricks Data Intelligence Platform. Isso significa que você tem tudo o que precisa para implantar um sistema RAG de ponta a ponta, de segurança e governança até integração de dados, bancos de dados vetoriais, avaliação de qualidade e implantação otimizada com um clique. Com a governança e as barreiras implementadas, você também pode evitar respostas tóxicas e garantir que seu aplicativo siga as políticas da sua organização.

 

(This blog post has been translated using AI-powered tools) Original Post