Réglage fin

Comment fonctionne l'affinement des LLM

Les grands modèles de langage pré-entraînés ont exploité de très grandes quantités de données pour parvenir à comprendre le langage naturel et à fournir des réponses humaines à une question. Ils constituent donc le point de départ idéal pour un modèle de base.

L'affinement de ces modèles améliore leur capacité à réaliser des tâches spécifiques – produire des analyses de sentiment, répondre à des questions ou résumer de documents, par exemple – avec davantage de précision. Il existe des LLM tiers, mais affiner des modèles avec les données d'une organisation permet d'obtenir des résultats spécialisés et contextualisés.

Importance et avantages de l'affinement

L'affinement associe l'intelligence des LLM généralistes aux données d'une entreprise pour adapter les modèles d'IA générative à ses besoins commerciaux particuliers, et obtenir des degrés de spécialisation et de pertinence plus élevés. Même les petites entreprises peuvent développer des modèles personnalisés en phase avec leurs besoins et leurs budgets.

L'affinement évite en grande partie de devoir investir dans une infrastructure coûteuse pour entraîner des modèles à partir de zéro. En affinant des modèles pré-entraînés, les organisations peuvent passer plus rapidement à la mise sur le marché en bénéficiant d'une latence d'inférence réduite, dans la mesure où le modèle est adapté avec efficacité à des cas d'utilisation spécifiques.

Les techniques d'affinement réduisent l'utilisation de la mémoire et accélèrent le processus d'entraînement des modèles de fondation. Elles les enrichissent de connaissances spécialisées et contextualisées, avec des besoins moindres en main-d'œuvre et en ressources.

Lorsque vous affinez un modèle de langage avec vos données propriétaires sur Databricks, vos datasets ne sont pas exposés aux risques tiers inhérents aux environnements d'entraînement généraux.

Types d'affinement

L'affinement peut améliorer la précision et la pertinence des résultats d'un modèle. Celui-ci sera alors plus efficaces dans des applications spécialisées que les modèles de fondation ayant reçu un entraînement généraliste. Ce processus vise à adapter le modèle pour qu'il comprenne et génère du texte propre à un domaine ou à un secteur particulier. Le modèle est affiné à l'aide d'un corpus issu du domaine cible pour gagner en contexte et approfondir sa maîtrise des tâches spécialisées. L'affinement peut être fortement consommateur de ressources, mais il devient de plus en plus efficace avec le développement de nouvelles techniques. Voici quelques approches couramment employées pour affiner des LLM :

• Affinement complet : l'affinement complet implique l'optimisation ou l'entraînement de toutes les couches du réseau neuronal. Si cette approche donne généralement les meilleurs résultats, c'est aussi celle qui consomme le plus de ressources et prend le plus de temps.
• Affinement partiel : on réduit les demandes en calcul en intervenant uniquement sur une sélection de paramètres pré-entraînés, généralement les plus critiques pour la performance du modèle dans les tâches d'intérêt.
• Affinement additif : les méthodes additives ajoutent des paramètres ou des couches supplémentaires au modèle, gèlent les pondérations du pré-entraînement et n'entraînent que les nouveaux composants.
• Apprentissage avec quelques exemples : lorsqu'il n'est pas possible de collecter un grand ensemble de données étiquetées, le « few-short learning » s'appuie sur quelques exemples de la tâche à accomplir.
• Apprentissage par transfert : cette technique permet à un modèle d'effectuer une tâche différente de celle pour laquelle il a été entraîné au départ. Le principe consiste à exploiter les connaissances acquises par le modèle à partir d'un vaste dataset généraliste et de les appliquer à une tâche plus spécifique ou connexe.

Réglage fin efficace des paramètres

Le réglage fin efficace des paramètres (PEFT) est un ensemble de techniques conçues pour adapter les grands modèles pré-entraînés à des tâches spécifiques, en minimisant les ressources de calcul et les besoins en stockage. Cette approche convient particulièrement aux applications dont les ressources sont limitées et à celles qui requièrent plusieurs tâches d'affinement. Les méthodes PEFT, telles que l'adaptation de bas rang (LoRA) et le réglage fin basé sur des adaptateurs, introduisent un petit nombre de paramètres entraînables au lieu de mettre à jour l'ensemble du modèle. Composants clés du PEFT, les couches d'adaptation sont des modèles légers et entraînables insérés dans chaque couche d'un modèle pré-entraîné.

Ces adaptateurs se déclinent en plusieurs variantes – séquentiels, résiduels, parallèles – et ajustent la sortie du modèle sans modifier les pondérations d'origine, afin de les préserver tout en apportant des ajustements spécifiques à la tâche. Par exemple, la LoRA affinera efficacement les grands modèles de langage pour générer des descriptions de produits. D'autre part, la LoRA quantifiée (QLoRA) a pour priorité de réduire la charge de mémoire et de calcul en utilisant la quantification. La QLoRA optimise la mémoire en utilisant des matrices de faible rang quantifiées, ce qui la rend très efficace lorsque les ressources matérielles sont limitées.

Quand utiliser l'affinement

L'affinement fournit au modèle un dataset plus ciblé : de la terminologie spécialisée, par exemple, ou des interactions axées sur une tâche. Le modèle est ainsi en mesure de générer des réponses plus pertinentes pour le cas d'utilisation. Les applications sont diverses, et cela permet aussi bien de compléter les connaissances de base d'un modèle que d'étendre un modèle à des tâches et des domaines entièrement nouveaux.

• Adaptation à une tâche spécifique : vous avez un modèle de langage pré-entraîné et vous souhaitez l'adapter pour effectuer une tâche spécifique, comme de l'analyse de sentiment ou de la génération de texte dans un domaine particulier, en utilisant des données propres au domaine en question. Au lieu d'entraîner intégralement un grand modèle, vous pouvez vous appuyer sur un modèle pré-entraîné et l'affiner en fonction de la tâche à réaliser en profitant de sa compréhension générale du langage.
• Atténuation des biais :  l'affinement peut contribuer à réduire ou contrebalancer les biais présents dans un modèle pré-entraîné en injectant des données d'entraînement plus équilibrées et représentatives.
• Sécurité des données et conformité : si vous travaillez avec des données sensibles, vous pouvez affiner un modèle localement sur votre infrastructure sécurisée. De cette façon, le modèle ne quittera jamais votre environnement contrôlé.
• Problèmes de disponibilité des données :  l'affinement est particulièrement utile lorsque vous disposez de peu de données étiquetées pour réaliser une tâche particulière. Plutôt que d'entraîner intégralement un modèle, vous pouvez prendre appui sur les connaissances d'un modèle pré-entraîné et l'adapter à votre tâche en utilisant un dataset plus restreint.
• Apprentissage continu :  l'affinement est utile dans les scénarios d'apprentissage continu, où le modèle doit s'adapter à l'évolution des données et des exigences. Il permet de mettre régulièrement le modèle à jour avec une base.

Il est également possible d'affiner des LLM pour répondre à des applications industrielles spécifiques. Dans le domaine de la santé, par exemple, l'affinement à l'aide de données médicales propriétaires peut permettre de produire des diagnostics et des traitements plus précis. De même, dans les applications financières, des modèles affinés peuvent détecter la fraude en analysant les données de transaction et le comportement des clients.

Processus d'affinement

1. Configuration de l'environnement : l'affinement est généralement un processus itératif, et la plupart des modèles doivent être entraînés plus d'une fois. C'est pourquoi il est essentiel que les données d'entraînement se trouvent sur la même plateforme ML, pour des questions de coût mais aussi de performance.L'affinement d'un modèle d'IA générative à l'aide de données d'entreprise implique l'accès à des informations propriétaires. Avec l'évolution des pratiques d'IA d'une entreprise, le nombre de modèles en cours d'exécution est amené à augmenter, intensifiant de ce fait la demande d'accès aux données. L'environnement d'entraînement du modèle doit être capable de suivre le déplacement des données : on parle de traçabilité ou de data lineage. Il faut également qu'il puisse gérer tous les paramètres du modèle en mémoire, d'où l'intérêt d'une architecture parallèle pour l'efficacité du calcul.
2. Sélection du modèle de base : on trouve aujourd'hui un large éventail de datasets, modèles et bibliothèques de prompts open source adaptés à différentes tâches. On choisira le modèle idéal pour la tâche cible sur des critères d'architecture, de taille, de couches de données d'entraînement et de performance.
3. Préparation des données : les données doivent être converties en un format adapté à l'affinement supervisé. L'affinement supervisé entraîne davantage un modèle pour générer du texte conditionné sur la base d'un prompt.
4. Ajustement des paramètres du modèle : commencez avec un modèle existant et augmentez-le ou affinez-le avec des données d'entreprise. Vous pouvez également étendre ces modèles en utilisant des techniques comme la génération augmentée par récupération (RAG), le PEFT ou l'affinement standard.
5. Entraînement et évaluation : évaluez régulièrement les progrès du modèle au cours de l'entraînement pour suivre son efficacité et mettre en œuvre les modifications nécessaires. Vous devrez notamment mesurer les performances du modèle à l'aide d'un dataset de validation distinct tout au long de la période d'entraînement.

L'affinement en machine learning

Les LLM sont des modèles de machine learning qui effectuent des tâches liées au langage : traduction, réponse à des questions, conversation, résumé de contenu, génération de contenu et de code. Les LLM extraient la valeur de vastes corpus de données et rendent cet « apprentissage » directement accessible. Ce processus d'« apprentissage par transfert » utilise des modèles pré-entraînés pour calculer des caractéristiques qui seront utilisées dans d'autres modèles en aval. Cela réduit considérablement le temps nécessaire pour entraîner et ajuster un nouveau modèle. Voir  Featurization pour l'apprentissage par transfert  pour plus d'informations et un exemple.

Défis et bonnes pratiques

Principaux défis

• Dérive du modèle : la performance d'un modèle peut se détériorer avec le temps. Il faut donc exercer une surveillance constante et procéder à des affinements réguliers pour maintenir des performances optimales.
• Expérimentation sur différents modèles : multiplier les expérimentations rapides sur différents modèles implique de gérer les identifiants, les limites de taux, les permissions et les syntaxes de requête des différents fournisseurs de modèles.
• Manque de contextualisation :  les modèles de base possèdent des connaissances généralistes mais manquent d'expertise dans un domaine et ne maîtrisent pas les savoirs internes.
• Opérationnalisation des modèles : les requêtes et les réponses des modèles doivent faire l'objet d'une surveillance constante pour des raisons de qualité, de débogage et de sécurité. Les disparités d'interface entre les modèles compliquent les efforts de gouvernance et d'intégration.
• Excès d'affinement : lorsque les modèles sont entraînés trop étroitement sur un dataset spécifique pour donner des performances optimales sur des données inédites, ils peuvent perdre leur capacité à généraliser.
• Amplification des biais : les biais inhérents au modèle pré-entraîné peuvent être intensifiés au cours de l'affinement en raison des nouveaux datasets.
• Complexité des hyperparamètres : sans les cadres et les outils appropriés, le processus d'identification des réglages idéaux pour les hyperparamètres est long et coûteux sur le plan du calcul.

Bonnes pratiques

• Misez sur des modèles pré-entraînés : les modèles pré-entraînés offrent des connaissances issues de grands volumes de données et une compréhension générale du langage qui permettent aux équipes de données de se concentrer sur le processus de spécialisation.
• Commencez petit : lorsque les ressources de calcul sont limitées, les modèles plus petits demandent moins de puissance et de mémoire, ce qui facilite et accélère l'expérimentation et les itérations successives. Vous pouvez commencer avec des dataset plus restreints et augmenter progressivement pour utiliser l'intégralité du dataset.
• Utilisez des datasets de haute qualité : l'ensemble de données doit être représentatif de la tâche et du domaine ciblés pour minimiser le bruit et les erreurs.
• Expérimentez avec les formats de données : la diversification des types d'entrée aide le modèle à gagner en polyvalence dans ses réponses et améliore ses performances sur une plus large gamme de scénarios.
• Utilisez des hyperparamètres : les hyperparamètres doivent être ajustés pour maximiser l'efficacité de l'apprentissage sans tomber dans l'excès d'affinement. Expérimentez avec différentes valeurs d'hyperparamètres pour améliorer la précision du modèle.

Quand l'affinement devient inutile

Pour éviter tout affinement excessif du modèle, abstenez-vous d'ajouter ou d'affiner des tâches trop similaires à celles du modèle de base, car il pourrait perdre sa capacité à généraliser à partir des datasets d'origine. Vous pouvez, au contraire, augmenter la précision du modèle en élargissant les datasets d'entraînement.

L'avenir de l'affinement

Les efforts de démocratisation de l'IA générative se poursuivent pour réduire les ressources de calcul nécessaires et offrir des moyens fiables de personnaliser les déploiements de LLM. L'affinement des LLM à grande échelle va mobiliser des outils plus automatisés et intelligents pour limiter davantage la consommation de ressources.

Des avancées comme la LoRA simplifient ce processus et ouvrent la voie à des outils plus intelligents, capables d'accéder à des sources externes pour vérifier en temps réel les résultats du modèle et améliorer ses performances de façon autonome.

Avec une intégration plus poussée, on peut envisager des LLM à même de générer leurs propres datasets d'entraînement en créant des questions et en s'affinant en fonction des réponses sélectionnées. Cette approche facilitera l'intégration des LLM affinés dans les workflows des entreprises et l'optimisation des opérations commerciales.

Dans de nombreux scénarios, les modèles d'IA actuels atteignent un niveau de précision proche de celui des humains, voire équivalent. Mais il subsiste des inquiétudes quant à l'éthique de l'IA et à ses biais dans le développement des LLM, et les fournisseurs doivent s'attacher à maintenir des pratiques d'IA responsables et équitables.

Lorsque vous entraînez des LLM pour des tâches, un domaine ou des données spécifiques, vous élargissez les capacités de ces modèles généralistes. Avec un service unifié pour l'entraînement, le déploiement, la gouvernance, l'interrogation et la surveillance des modèles, vous pouvez gérer tous les modèles au même endroit et les interroger avec une seule API – une approche à la fois économique, efficace, précise et durable.

À l'avenir, les avancées de l'affinement multimodal sont destinées à repousser les limites des modèles d'IA, en leur permettant d'intégrer différents types de données (images, texte, voix) dans une même solution affinée. En devenant sans cesse plus précis, efficaces et évolutifs, les modèles d'IA affinés vont s'intégrer plus profondément dans les opérations commerciales, et leur adoption va se généraliser dans tous les secteurs.