Ajuste fino

Como funciona o ajuste fino de LLMs

Modelos de linguagem de grande porte pré-treinados são treinados em vastas quantidades de dados para aprimorar sua capacidade de compreender a linguagem natural e gerar respostas semelhantes às humanas, tornando-os um ponto de partida ideal para um modelo base.

O ajuste fino desses modelos melhora a capacidade de executar tarefas específicas, como análise de sentimentos, resposta a perguntas ou resumo de documentos, com maior precisão. Modelos LLM de terceiros estão disponíveis, mas ajustar modelos com os dados próprios da organização oferece resultados específicos para o domínio.

A importância e os benefícios do ajuste fino

O ajuste fino conecta a inteligência dos LLMs de uso geral aos dados empresariais, permitindo que as organizações adaptem os modelos de GenAI às suas necessidades de negócios únicas com maior grau de especificidade e relevância. Mesmo pequenas empresas podem desenvolver modelos personalizados que atendam às suas necessidades e orçamentos.

O ajuste fino reduz significativamente a necessidade de investir em infraestrutura cara para treinamento de modelos do zero. Ao fazer ajustes finos em modelos pré-treinados, as organizações podem alcançar um tempo de lançamento no mercado mais rápido com latência de inferência reduzida, já que o modelo é adaptado de forma mais eficiente a casos de uso específicos.

As técnicas de ajuste fino ajudam a reduzir o uso de memória e acelerar o processo de treinamento de modelos de fundação com conhecimento especializado e específico do domínio, economizando mão de obra e recursos.

Ao ajustar um modelo de linguagem nos seus dados proprietários na Databricks, seus conjuntos de dados exclusivos não são expostos a riscos de terceiros associados a ambientes gerais de treinamento de modelos. 

Tipos de ajuste fino

O ajuste fino pode melhorar a precisão e a relevância dos resultados de um modelo, tornando-os mais eficazes em aplicações especializadas do que os modelos de fundação amplamente treinados. Ele tenta adaptar o modelo para compreender e gerar textos específicos para um determinado domínio ou indústria. O modelo é ajustado em um dataset composto por texto do domínio-alvo para melhorar seu contexto e conhecimento de tasks específicas do domínio. O processo pode ser muito intensivo em recursos, mas novas técnicas tornam o ajuste fino muito mais eficiente. A seguir estão algumas das formas que as organizações utilizam para ajustar seus LLMs:

• Ajuste fino completo: o ajuste fino completo envolve a otimização ou o treinamento de todas as camadas da rede neural. Embora essa abordagem geralmente produza os melhores resultados, ela também é a mais intensiva em recursos e demorada.
• Ajuste fino parcial: reduza as demandas computacionais atualizando apenas o subconjunto selecionado de parâmetros pré-treinados mais críticos para o desempenho do modelo em tarefas relevantes de downstream.
• Ajuste fino aditivo: métodos aditivos adicionam parâmetros ou camadas extras ao modelo, congelam os pesos pré-treinados existentes e treinam apenas esses novos componentes.
• Aprendizado por poucos exemplos: quando coletar um grande dataset rotulado é impraticável, o aprendizado por poucos exemplos tenta resolver isso fornecendo alguns exemplos (ou amostras) da task necessária em questão.
• Aprendizado por transferência: esta técnica permite que um modelo realize uma tarefa diferente daquela para a qual foi inicialmente treinado. A ideia principal é aproveitar o conhecimento que o modelo adquiriu de um grande dataset geral e aplicá-lo a uma task mais específica ou relacionada.

Otimização eficiente de parâmetros

O ajuste fino eficiente de parâmetros (PEFT) é um conjunto de técnicas desenvolvidas para adaptar grandes modelos pré-treinados a tarefas específicas, minimizando o uso de recursos computacionais e os requisitos de armazenamento. Esta abordagem é vantajosa para aplicações com recursos limitados ou que necessitam de múltiplas tarefas de ajuste fino. Os métodos PEFT, como adaptação de baixa classificação (LoRA) e ajuste fino baseado em adaptador, funcionam ao introduzir um pequeno número de parâmetros treináveis em vez de atualizar o modelo inteiro. As camadas adaptadoras, um componente key do PEFT, são modelos leves e treináveis inseridos em cada camada de um modelo pré-treinado.

Esses adaptadores, que estão disponíveis em variantes como sequencial, residual e paralelo, ajustam a saída do modelo sem alterar os pesos originais, preservando-os enquanto permitem ajustes específicos para a tarefa. Por exemplo, o LoRA pode ajustar com eficiência grandes modelos de linguagem para tarefas como a geração de descrições de produtos. Enquanto isso, a adaptação quantizada de baixa ordem (QLoRA) se concentra na redução da memória e da carga computacional por meio da quantização. O QLoRA otimiza a memória com matrizes quantizadas de baixa ordem, o que o torna altamente eficiente para tarefas em que os recursos de hardware são limitados.

Quando utilizar o ajuste fino

O ajuste fino proporciona ao modelo um dataset mais direcionado, como terminologia específica das indústrias ou interações focadas em tarefas. Isso ajuda o modelo a gerar respostas mais relevantes para o caso de uso, que pode incluir desde a personalização e complementação do conhecimento principal do modelo até a extensão do modelo para novas tarefas e domínios.

• Adaptação específica da tarefa: quando você possui um modelo de linguagem pré-treinado e quer adaptá-lo para realizar uma tarefa específica, como análise de sentimentos ou geração de texto para um domínio particular usando dados específicos desse domínio. Em vez de treinar um modelo grande do zero, você pode começar com um modelo pré-treinado e ajustá-lo para sua tarefa específica, aproveitando sua compreensão geral da linguagem para a nova tarefa.
• Mitigação de viés: o ajuste fino pode ser usado para reduzir ou neutralizar os vieses presentes em um modelo pré-treinado, fornecendo dados de treinamento equilibrados e representativos.
• Segurança e conformidade de dados: ao lidar com dados sensíveis, é possível ajustar um modelo localmente em sua infraestrutura segura para garantir que o modelo nunca saia do seu ambiente controlado.
• Disponibilidade limitada de dados: o ajuste fino é especialmente vantajoso quando há poucos dados rotulados disponíveis para a sua tarefa específica. Em vez de treinar um modelo do zero, você pode aproveitar o conhecimento de um modelo pré-treinado e adaptá-lo à sua task usando um dataset menor.
• Aprendizado contínuo: o ajuste fino é útil para cenários de aprendizado contínuo em que o modelo precisa se adaptar a dados e requisitos que mudam ao longo do tempo. Permite que você atualize o modelo periodicamente sem precisar começar do zero.

Os LLMs também podem ser ajustados para aplicações específicas das indústrias, como na área da saúde, onde o ajuste fino em dados médicos proprietários pode resultar em diagnósticos e tratamentos mais precisos. Da mesma forma, em aplicações financeiras, modelos ajustados podem ser treinados para detectar fraudes analisando dados de transações e comportamento do cliente.

O processo de ajuste fino

1. Configurando o ambiente: o ajuste fino de um modelo normalmente é um processo iterativo, portanto, a maioria dos modelos de código aberto será treinada mais de uma vez — o que significa que ter os dados de treinamento na mesma plataforma de ML se tornará crucial para o desempenho e o custo. O ajuste fino de um modelo GenAI em dados empresariais requer acesso a informações proprietárias e, conforme sua empresa avança na curva de maturidade da AI, o número de modelos em execução só aumentará, aumentando também a demanda por acesso aos dados. O ambiente de treinamento do modelo deve ser capaz de rastrear a data lineage e lidar com todos os parâmetros do modelo na memória; portanto, uma arquitetura paralela geralmente é necessária para eficiência compute.
2. Selecione um modelo base: atualmente, existem muitos datasets, modelos e bibliotecas de prompts de código aberto para diferentes tarefas: arquitetura, tamanho, camadas de dados de treinamento e desempenho em tarefas relevantes para selecionar um modelo que se alinhe estreitamente com as características da tarefa alvo.
3. Preparação de dados: transforme os dados para um formato adequado ao ajuste fino supervisionado. O ajuste fino supervisionado continua a treinar um modelo para gerar texto com base em um prompt fornecido.
4. Ajuste os parâmetros do modelo: comece com um modelo existente e amplie ou aperfeiçoe-o com dados corporativos. Amplie esses modelos utilizando técnicas como geração aumentada por recuperação (RAG), PEFT ou ajuste fino padrão.
5. Treinamento e avaliação: avalie regularmente o progresso do modelo durante o treinamento para acompanhar sua eficácia e implementar as modificações necessárias. Isso envolve avaliar o desempenho do modelo usando um dataset de validação distinto durante todo o período de treinamento.

Ajuste fino em machine learning

Os LLMs são modelos de machine learning que realizam tarefas relacionadas ao idioma, como tradução, resposta a perguntas, chat, resumo de conteúdo e geração de conteúdo e código. Os LLMs extraem valor de enormes conjuntos de dados e tornam esse “aprendizado” acessível imediatamente. Esse processo de "aprendizado por transferência" utiliza modelos pré-treinados para compute recursos para uso em outros modelos subsequentes, reduzindo significativamente o tempo necessário para treinar e ajustar um novo modelo. Veja Featurization para Aprendizagem de Transferência para mais informações e um exemplo.

Desafios e práticas recomendadas

Desafios comuns

• Model drift: o desempenho de um modelo pode se deteriorar com o tempo. O monitoramento regular e o ajuste fino podem se tornar necessários para manter o desempenho ideal.
• Experimentação entre modelos: experimentação rápida entre modelos, incluindo o gerenciamento de credenciais, limites de taxa, permissões e sintaxes de query de diferentes provedores de modelos.
• Falta de contexto empresarial: os modelos de fundação possuem amplo conhecimento, mas carecem de conhecimento interno e especialização no domínio.
• Operacionalização de modelos: as solicitações e respostas do modelo devem ser monitoradas consistentemente para garantir qualidade, depuração e segurança. Interfaces diferentes entre modelos dificultam sua governança e integração.
• Sobreajuste: quando os modelos são treinados de forma muito próxima a um dataset específico para ter um bom desempenho em dados novos e não vistos, eles podem perder a capacidade de generalizar.
• Amplificação de viés: quando os vieses inerentes ao modelo pré-treinado são intensificados durante o ajuste fino, eles podem intensificar os vieses nos novos datasets.
• Complexidade de hiperparâmetros: sem as estruturas e ferramentas adequadas, o processo de identificar as configurações corretas de hiperparâmetros é demorado e caro em termos computacionais.

Práticas recomendadas

• Aproveite os modelos pré-treinados: modelos pré-treinados começam com conhecimento de vastas quantidades de dados e uma compreensão geral da linguagem, permitindo que as equipes de dados se concentrem no treinamento específico do domínio.
• Comece pequeno: quando os recursos de compute são limitados, modelos menores exigem menos energia e memória, facilitando e acelerando a experimentação e iteração sobre eles. Você pode começar com subconjuntos de dados menores e aumentar gradualmente até o dataset completo.
• Use conjuntos de dados de alta qualidade: certifique-se de que o dataset seja representativo da task e do domínio para minimizar os ruídos e os erros.
• Experimente com formatos de dados: incluir diversos tipos de entrada de dados ajuda o modelo a desenvolver versatilidade em suas respostas e a atuar em uma gama mais ampla de cenários.
• Utilize hiperparâmetros: os hiperparâmetros devem ser ajustados para equilibrar a eficiência do aprendizado e evitar o overfitting. Experimente diferentes valores de hiperparâmetros para melhorar a precisão do modelo.

Quando não fazer ajustes finos

Para evitar qualquer potencial “overfitting” do modelo, evite adicionar ou ajustar tarefas que sejam muito semelhantes às tarefas do modelo pré-treinado, pois ele pode perder a capacidade de generalizar a partir dos datasets originais. Expandir os datasets de treinamento pode aumentar a precisão do modelo.

O futuro do ajuste fino

O trabalho continua a democratizar a AI generativa, reduzindo a dependência de grandes recursos compute e facilitando a personalização confiável das implantações de LLM. O ajuste fino dos LLMs em grande escala requer ferramentas mais automatizadas e inteligentes para reduzir ainda mais essa dependência.

Avanços como o LoRA simplificam o processo, abrindo caminho para ferramentas mais inteligentes que podem acessar fontes externas para validar em tempo real, cruzar a saída do modelo e melhorar seu desempenho automaticamente.

Uma integração maior pode resultar em LLMs capazes de gerar seus próprios datasets de treinamento, criando perguntas e ajustando com base nas respostas curadas. Isso simplifica a integração de LLMs ajustados em um fluxo de trabalho empresarial e melhora as operações de negócios.

Em muitos casos de uso, os modelos de AI hoje em dia apresentam desempenho igual ou próximo ao nível de precisão humana, mas as preocupações persistem em relação à ética da AI e ao viés no desenvolvimento de LLMs, o que significa que os provedores devem permanecer comprometidos em garantir práticas de AI responsáveis e justas.

Ao treinar LLMs para tarefas, indústrias ou datasets específicos, você amplia as capacidades desses modelos generalizados. Um serviço unificado para treinamento, implantação, governança, query e monitoramento de modelos permite gerenciar todos os modelos em um só lugar e consultá-los com uma única API, oferecendo eficiência, precisão e sustentabilidade de custo.

Olhando para o futuro, os avanços no ajuste fino multimodal estão expandindo os limites do que os modelos de AI podem realizar, permitindo que integrem múltiplos tipos de dados — como imagens, texto e fala — em uma única solução ajustada e refinada. À medida que os modelos de AI ajustados se tornam mais precisos, eficientes e escaláveis, espera-se que eles se tornem mais essenciais nas operações empresariais e impulsionem uma maior adoção em todos os setores.