Padrões de arquitetura de IA generativa
Crie IA generativa de qualidade de produção para qualquer padrão de arquitetura
Comece a criar sua solução de IA generativa
Há quatro padrões de arquitetura a serem considerados ao criar uma solução de grande modelo de linguagem (LLM).
A Databricks é o único provedor que permite criar soluções de alta qualidade a baixo custo nos quatro padrões de arquitetura de IA generativa:
Engenharia de prompt
A engenharia de prompt é a prática de personalizar os prompts para obter melhores respostas sem alterar o modelo subjacente. A engenharia de prompt é fácil com a Databricks, que encontra modelos disponíveis no Marketplace (incluindo modelos populares de código aberto, como Llama 2 e MPT), disponibilizando modelos atrás de um endpoint no Model Serving e avalia prompts em uma IU fácil de usar com Playground ou MLflow.
Geração aumentada de recuperação (RAG)
A RAG encontra dados/documentos relevantes para uma pergunta ou tarefa e os fornece como contexto para que o LLM forneça respostas mais relevantes.
A Databricks tem um conjunto de ferramentas de RAG que ajuda a combinar e otimizar todos os aspectos do processo de RAG, como preparação de dados, modelos de recuperação, modelos de linguagem (sejam SaaS ou código aberto), pipelines de classificação e pós-processamento, engenharia de prompt e modelos de treinamento em dados corporativos personalizados.
Ajuste fino
O ajuste fino adapta um modelo de LLM de uso geral existente fazendo treinamento adicional usando o IP da sua organização com seus dados. O ajuste fino da Databricks permite fazer isso com facilidade, para você começar com seu modelo de LLM preferido — incluindo modelos de LLM selecionados pela Databricks, como MPT-30B, Llama 2 e BGE — e tendo a possibilidade de fazer treinamento adicional em novos datasets.
Pré-treinamento
O pré-treinamento é a prática de criar um novo modelo de LLM do zero para garantir que o conhecimento básico do modelo seja adaptado ao seu domínio específico. Ao treinar o IP da sua organização com seus dados, ele cria um modelo personalizado que é exclusivamente diferenciado. O Databricks Mosaic IA Pretraining é uma solução de treinamento otimizada que pode criar novos LLMs de vários bilhões de parâmetros em dias, com custos de treinamento até dez vezes menores.
Escolhendo o melhor padrão
Esses padrões de arquitetura não são mutuamente exclusivos. Em vez disso, eles podem (e devem) ser combinados para aproveitar os pontos fortes de cada um em diferentes implantações de IA generativa. A Databricks é o único fornecedor que permite os quatro padrões de arquitetura de IA generativa, garantindo que você tenha mais opções e possa evoluir conforme as exigências de seus negócios.
