Desbloqueando o Potencial de Agentes de IA: De Pilotos ao Sucesso na Produção

Enquanto 85% das empresas globais já utilizam a Inteligência Artificial Generativa (GenAI), as organizações enfrentam desafios significativos para escalar esses projetos além da fase piloto. Mesmo os modelos GenAI mais avançados lutam para entregar resultados específicos para o negócio, precisos e bem governados, principalmente porque eles não têm conhecimento dos dados empresariais relevantes. Embora muitos clientes estejam confortáveis em implantar soluções GenAI em casos de uso de baixo risco e de escopo limitado, a maioria não tem confiança para implantá-las em casos de uso externos ou internos que envolvam risco financeiro.

Hoje estamos animados para apresentar várias inovações chave que ajudarão as empresas a escalar e implantar agentes de IA com confiança. Isso inclui:

• Governança centralizada para todos os modelos de IA: Integre e gerencie tanto modelos de IA de código aberto quanto comerciais em um só lugar com o suporte do Mosaic AI Gateway para provedores LLM personalizados (Pré-visualização Pública).
• Integração simplificada em fluxos de trabalho de aplicativos existentes: A suíte de API Conversacional AI/BI Genie (Pré-visualização Pública) permite que os desenvolvedores incorporem chatbots baseados em linguagem natural diretamente em aplicativos personalizados ou ferramentas de produtividade populares como Microsoft Teams, Sharepoint e Slack.
• Fluxos de trabalho simplificados com humanos no ciclo: O aplicativo atualizado de Avaliação de Agente (Visualização Pública) facilita para os especialistas do domínio fornecerem feedback direcionado, enviar rastreamentos para rotulação e personalizar critérios de avaliação.
• Inferência em Lote sem Provisionamento: Uma nova maneira de executar inferência em lote com Mosaic AI usando uma única consulta SQL (Visualização Pública) - eliminando a necessidade de provisionar infraestrutura enquanto permite a integração perfeita de dados não estruturados.

Essas novas capacidades permitirão que as organizações implantem agentes de IA em aplicações de alto valor e missão crítica, garantindo precisão, governança e facilidade de uso. Agora, vamos mergulhar nos detalhes de cada lançamento.

Construção e governança de agentes de alta qualidade

Na Databricks, acreditamos que o melhor modelo de base é aquele que é mais eficaz para atender ao seu caso de uso específico. Às vezes, isso pode ser um modelo de código aberto, enquanto em outras vezes pode ser o GPT-4o ou outro modelo comercial de IA. Para ajudar os clientes a governar e gerenciar tanto modelos de IA de código aberto quanto proprietários, criamos o Mosaic AI Gateway. O Gateway de IA permite que você traga endpoints de modelos externos para que possa ter uma governança, monitoramento e integração unificados em todos os seus modelos.

A partir de hoje, estamos expandindo o escopo do AI Gateway para suportar qualquer endpoint LLM, para que você também possa trazer endpoints de seu próprio gateway interno. Isso permitirá que as empresas obtenham todo o valor do Databricks sem ter que abrir mão de quaisquer capacidades personalizadas que tenham sido incorporadas em seus próprios sistemas. Nós ouvimos muitas pessoas pedindo por isso e estamos animados em anunciar que está em Visualização Pública hoje. Espero que você continue sintonizado para mais anúncios do AI Gateway na terça-feira.

Além disso, estamos introduzindo o conjunto de APIs de Conversação Genie, que permite aos usuários obter insights de dados de forma autônoma usando linguagem natural de várias plataformas, incluindo Databricks Apps, Slack, Teams, SharePoint e aplicativos personalizados. Com a API Genie, os usuários podem enviar prompts programaticamente e receber insights assim como fariam na interface do Genie. A API é stateful, permitindo que ela retenha o contexto em várias perguntas de acompanhamento dentro de um tópico de conversa.

Em nosso próximo blog, revisaremos os principais endpoints disponíveis na Visualização Pública, exploraremos a integração do Genie com os Frameworks de Agentes de IA da Mosaic e destacaremos um exemplo de incorporação do Genie em um canal do Microsoft Teams.

Garantindo que os agentes entreguem resultados precisos e confiáveis

Construir agentes de IA de alta qualidade é um desafio, pois nem sempre é claro como melhorar a resposta a um prompt sem impactar negativamente muitos outros ao mesmo tempo. Os profissionais gastaram um tempo considerável e esforço tentando entender se seu agente terá um desempenho bem-sucedido e como ele está se saindo em produção. Em meados de dezembro, nós lançamos uma API que permite aos clientes construir sinteticamente um conjunto de dados de avaliação baseado em seus dados proprietários. Hoje, estamos animados em anunciar novas atualizações no Aplicativo de Revisão de Avaliação de Agentes para agilizar o feedback humano no loop. Esta ferramenta atualizada permite que especialistas do domínio forneçam avaliações direcionadas, enviem rastreamentos do desenvolvimento ou produção para rotulagem, e definam critérios de avaliação personalizados - tudo isso sem a necessidade de planilhas ou aplicações personalizadas. Ao facilitar a coleta de feedback estruturado, as equipes podem refinar continuamente o desempenho do agente de IA e impulsionar melhorias sistemáticas na precisão.

À medida que os clientes buscam implantar agentes em domínios que carregam risco reputacional ou financeiro, medir a precisão e ter as ferramentas para impulsionar sistematicamente melhorias na precisão é crucial. Se você quer saber mais sobre nossas novas funcionalidades para avaliar agentes, fique atento ao nosso post no blog desta quarta-feira, onde vamos aprofundar como você pode usá-lo para melhorar a precisão de agentes novos ou existentes.

Escalando IA sem dores de cabeça de infraestrutura

Embora a seleção de modelos, governança e avaliação sejam fundamentais para a construção de agentes de alta qualidade, sabemos que simplificar a experiência também é importante para as empresas que desejam escalar essa tecnologia em todo o negócio. No último ano, mais organizações adotaram a inferência em lote para modelos de base e agentes. Com o Mosaic AI agora suportando inferência em lote com Funções de IA, escalar essas cargas de trabalho é mais simples do que nunca.

Seja usando um LLM para fazer classificação ou processamento de linguagem natural, ou usando um agente para executar tarefas mais complexas de inteligência de dados, os clientes apreciaram o uso de simples declarações SQL para acessar o poder desses modelos em escala.

Embora escrever as instruções SQL não seja difícil, muitos clientes ficaram presos na provisionamento e escalonamento de endpoints. Agora, você não precisa mais configurar a infraestrutura para executar ai_query - em vez disso, cuidamos disso para você e você só paga pelo que usa. Os clientes já estão vendo sucesso com essas capacidades:

“A IA em lote com Funções de IA está otimizando nossos fluxos de trabalho de IA. Isso está nos permitindo integrar inferência de IA em larga escala com uma simples consulta SQL - sem necessidade de gerenciamento de infraestrutura. Isso será integrado diretamente em nossos pipelines, reduzindo custos e diminuindo o ônus da configuração. Desde que adotamos, vimos uma aceleração dramática na velocidade de nossos desenvolvedores ao combinar ETL tradicional e pipeline de dados com cargas de trabalho de inferência de IA."

— Ian Cadieu, CTO da Altana

Estamos animados para compartilhar mais sobre este lançamento e outras capacidades empolgantes com você em nosso blog na quinta-feira.

Mais novidades virão durante a semana dos agentes

Esta vai ser uma grande semana, pois celebramos uma "Semana de Agentes" com uma grande variedade de novas capacidades. Apesar de dois anos de avanços na GenAI, muitas empresas ainda lutam para implantar agentes de IA em casos de uso de alto valor devido a preocupações com precisão, governança e segurança. A partir de nossas conversas com os clientes, está claro que a confiança - não apenas a tecnologia - continua sendo o maior obstáculo.

As inovações que introduzimos esta semana enfrentam esses desafios de frente, permitindo que as empresas passem de projetos piloto para produção em larga escala com agentes de IA em que podem confiar.

Estamos ansiosos para compartilhar mais com você nesta semana e esperamos que você experimente nossos produtos e compartilhe seu feedback conosco para que possamos continuar a ajudá-lo a desbloquear o valor prometido desta tecnologia.

Confira o Guia Compacto para Agentes de IA

Assista ao vídeo de demonstração

Comece com a documentação:

• Mosaic AI Gateway: provedores personalizados
• Inferência em lote de IA Mosaic com Funções de IA
• Avaliação de Agentes de IA da Mosaic Atualizações do Aplicativo de Revisão

(This blog post has been translated using AI-powered tools) Original Post