Apresentando Novas Capacidades de Governança para Escalar Agentes de IA com Confiança

Como mencionamos em nosso blog no início desta semana, os agentes de IA requerem integração de dados empresariais e governança de saída para alcançar a qualidade de produção. Hoje estamos lançando atualizações para o Mosaic AI Gateway, as ferramentas do Catálogo Unity e o AI/BI Genie que permitem às organizações construir agentes de IA prontos para produção com robustas capacidades de governança e integração de dados.

Aqui está o porquê isso é importante: Imagine seus desenvolvedores construindo um agente de IA que resume reclamações de clientes de alta prioridade e alerta os departamentos via Slack. Sem um desempenho de alta qualidade, os departamentos podem ser inundados com alertas ruidosos, fazendo-os perder assuntos verdadeiramente urgentes. Ainda pior, se os desenvolvedores receberem acesso direto às credenciais da API do Slack em vez de usar a integração segura da empresa, atores mal-intencionados poderiam potencialmente sequestrar essas credenciais e distribuir links de phishing em toda a empresa.

 No seu núcleo, os agentes de IA dependem de três componentes essenciais: modelos, ferramentas e dados. Vamos explorar como as atualizações de hoje permitem que você construa agentes de IA de alta qualidade e bem governados em todos os aspectos:

• Modelos - Aproveite o Mosaic AI Gateway (Visualização Pública) para governar o acesso ao Modelo de Fundação, monitorar a qualidade e rastrear o uso entre os provedores. Agora, habilite fallbacks de tráfego automático para melhorar a confiabilidade do modelo e integre LLMs de provedor personalizado como Modelos Externos.
• Ferramentas - Diga adeus ao gerenciamento de credenciais arriscado. Conexões e Funções do Catálogo Unity integram de forma segura APIs empresariais e externas como ferramentas poderosas para agentes de IA.
• Dados - Libere com segurança agentes de IA em seus dados empresariais de forma segura. As  APIs de Conversação AI/BI Genie (Pré-visualização Pública) e a ferramenta de recuperação de pesquisa por vetor se integram diretamente com o Agent Framework, criando um pipeline seguro para seus dados do Catálogo Unity enquanto fornecem insights valiosos.

Databricks fornece uma estrutura de governança unificada e completa para todos os seus agentes de IA, eliminando a necessidade de soluções fragmentadas e impulsionando a qualidade e a segurança em geral. Agora, vamos explorar as últimas atualizações para cada um desses componentes-chave de governança.

Potencialize Agentes de IA com Segurança com Modelos de Fundação de Última Geração 

Na Databricks, sabemos que usar o Modelo de Fundação certo - seja de código aberto ou proprietário - é fundamental para construir agentes de IA de alta qualidade. 

O Gateway AI Mosaic é o seu hub central de controle para IA de nível empresarial, garantindo tanto a governança quanto a qualidade em todos os modelos de base e agentes de IA. Com o Gateway AI, você pode:

• Aplique controles seguros em modelos de topo (OpenAI GPT, Claude, Llama, Gemini) usados dentro de agentes de IA através de permissões centralizadas, guardrails e limites de taxa.
• Monitorar a qualidade do agente de IA em produção e auditar para conformidade através do registro automático de carga útil 
• Unificar o rastreamento de uso em todos os provedores, simplificando a atribuição de custos e a auditoria de uso

O Mosaic AI Gateway acelera a inovação e entrega agentes de IA de alta qualidade combinando governança e flexibilidade. Os desenvolvedores obtêm acesso unificado aos modelos mais otimizados para seus agentes de IA, tudo dentro de um framework centralizado e governado.

Vimos o quanto isso agregou valor para nossos clientes, por isso estamos animados em anunciar duas novas capacidades disponíveis via Gateway AI para construir agentes de IA confiáveis e de alta qualidade:

1. Apresentando Suporte Personalizado de Provedor no Mosaic AI Gateway (Visualização Pública)

Muitas empresas desenvolveram proxies personalizados para suas necessidades específicas, mas querem construir e implantar seus agentes de IA no Databricks de ponta a ponta. Outros precisam integrar modelos auto-hospedados ou de terceiros no Gateway AI para aproveitar os melhores modelos para seus agentes de IA.

A partir de hoje, o AI Gateway suporta qualquer Modelo de Fundação compatível com o esquema OpenAI como um Modelo Externo, seja hospedado em seu proxy personalizado ou vindo de um provedor alternativo. Isso permite o gerenciamento centralizado de acesso ao modelo, garantindo segurança e capturando dados valiosos para monitorar a qualidade, independentemente de onde seu Modelo de Base está hospedado.

Para incorporar com segurança todos os seus Modelos de Fundação em seus agentes de IA hoje, registre um LLM de um provedor personalizado para governar o acesso e monitorar a qualidade usando o Mosaic AI Gateway.

2. Alimentando Agente de IA Confiável com Fallbacks de Modelo de IA (Visualização Pública)

Equipes que precisam produzir agentes de IA confiáveis e de alto tráfego muitas vezes enfrentam problemas de disponibilidade de provedores de modelos de IA de terceiros. Serviços de terceiros caem inesperadamente ou picos de uso resultam em atingir limites de cota, tornando esses Modelos de Fundação (e consequentemente os agentes de IA que dependem deles) inacessíveis. 

As novas alternativas de tráfego do Mosaic AI Gateway garantem failovers perfeitos entre vários provedores, regiões e recursos, evitando qualquer interrupção voltada para o cliente. Com mecanismos de fallback automáticos, as empresas mantêm os sistemas de agentes de IA funcionando sem problemas, mesmo durante picos ou interrupções.

"Na Erste Group, garantir operações impulsionadas por IA confiáveis é crítico para nosso sucesso. O recurso de fallbacks do Mosaic AI Gateway fortaleceu a resiliência de nosso sistema ao redirecionar automaticamente o tráfego quando os modelos primários encontram problemas."
— Jürgen Neulinger, Gerente Sênior de Soluções, Erste Group

Aumente as Capacidades do Agente de IA com Acesso Seguro à API e Integração de Ferramentas

Os agentes de IA se tornam mais poderosos quando se integram a serviços externos (ou seja, Equipes, Slack) e back-ends empresariais (ou seja, APIs internas) para tomar decisões e ações. No entanto, distribuir essas credenciais sensíveis de API para desenvolvedores, especialmente em grande escala, pode representar um sério desafio de segurança.  

Com Conexões e Funções do Catálogo Unity (UC) (Visualização Pública), seus desenvolvedores podem incorporar integrações de API totalmente governadas em seus agentes de IA sem os riscos de segurança que acompanham.  

Notavelmente, as equipes de TI podem usar as Conexões UC para gerenciar central e seguramente todas as credenciais da API. Com base nas permissões de acesso, os desenvolvedores podem integrar conexões pré-aprovadas em seus agentes de IA como ferramentas e, opcionalmente, criar (e compartilhar) Funções UC para chamá-las. Isso garante que os desenvolvedores e seus códigos nunca tenham acesso a tokens de API remotos, e todo o acesso à API através das Conexões UC é totalmente auditado.

Aqui está um exemplo de como um desenvolvedor pode definir uma ferramenta "enviar mensagem Slack" em Python que autentica na API REST do Slack via uma Conexão UC.

As Conexões UC são seguras, reutilizáveis e descobríveis. Agora, os desenvolvedores podem construir agentes de IA ágeis que interagem com dados e ações do mundo real - tudo isso mantendo uma governança rigorosa de API.

Integre com Segurança os Dados da Empresa com Seus Sistemas de Agentes

Os agentes de IA dependem de dados proprietários para impulsionar a qualidade e o desempenho diferenciados. Portanto, é fundamental que eles tenham uma maneira segura e eficiente de interagir com os dados empresariais que alimentam insights e ações de alta qualidade. 

Para garantir agentes de IA seguros e de alto desempenho, estamos introduzindo duas novas capacidades que permitem a integração sem esforço de dados empresariais estruturados e não estruturados em seus agentes de IA.

APIs de Conversação AI/BI Genie

Os desenvolvedores têm pedido uma maneira de integrar o Genie - nossa poderosa ferramenta de IA/BI que permite que as equipes de negócios interajam com os dados usando linguagem natural - em seus agentes de IA. Estamos animados em anunciar que as APIs de Conversação Genie agora tornam isso possível!

Com o Unity Catalog governando todos os seus dados Genie, usuários de negócios de diferentes departamentos podem consultar "Quais são meus custos?" e só ver resultados relevantes para o seu departamento. Integrar as APIs de Conversação Genie no seu Framework de Agente torna mais fácil do que nunca construir sistemas multi-agente seguros que interagem com seus dados do Unity Catalog.

 "Ter o Genie integrado com o Teams foi um grande avanço para a democratização dos dados. Torna os insights de dados acessíveis a todos, independentemente de sua formação técnica."
— Cezar Steinz, Gerente de Operações de Dados, Grupo Casas Bahia

Para começar, confira nosso blog detalhado anunciando as APIs de Conversação do Genie aqui.

Ferramenta de Recuperação de Pesquisa Vetorial

Muitos agentes de IA aproveitam a Pesquisa Vetorial Databricks para conversar de forma segura com dados não estruturados. Para simplificar a integração como uma ferramenta em seu sistema de agente de IA, mantendo os recursos de governança de dados do Unity Catalog, introduzimos as APIs da Ferramenta de Recuperação de Pesquisa Vetorial. 

Essas APIs permitem que você integre suavemente os recuperadores de busca vetorial como ferramentas dentro de seus agentes de IA, garantindo que as informações sensíveis permaneçam protegidas enquanto entregam insights de alta qualidade com confiança.

Agora é tão fácil quanto algumas linhas de código capacitar seus agentes de IA com dados empresariais de forma segura. 

Comece a Construir e Governar Seus Agentes de IA Hoje

As melhores empresas utilizam a governança para impulsionar agentes de IA seguros e de qualidade em produção. Quando você usa o Databricks, pode escalar agentes de IA de alta qualidade com confiança com cada modelo, ferramenta e conjunto de dados.

Comece a governar seus sistemas de agentes de ponta a ponta de maneira unificada hoje:

• Configure o Gateway AI Mosaic com os Modelos de Base de que seus agentes de IA precisam.
• Use Conexões do Catálogo Unity para conectar ferramentas de agente de IA a serviços externos de forma segura.
• Integre as APIs de Conversação Genie ao seu Mosaic AI Agent Framework.
• use a Ferramenta de Recuperação de Busca Vetorial em seus sistemas de agentes para acessar de forma segura dados não estruturados.
• Assista ao vídeo de demonstração.

E certifique-se de conferir o Guia Compacto para Agentes de IA para aprender como obter o maior retorno do seu investimento em GenAI.

(This blog post has been translated using AI-powered tools) Original Post