Ajustement par Instructions

Qu’est-ce que l’ajustement par instructions ?

L’ajustement par instructions est une technique utilisée dans le domaine de l’intelligence artificielle (IA) visant à améliorer les capacités des grands modèles de langage (LLM). Elle consiste à affiner des modèles de langage pré-entraînés sur un ensemble de données composé de paires instruction-réponse. L’objectif est d’entraîner le modèle à mieux comprendre et suivre les instructions humaines, comblant ainsi l’écart entre la capacité du modèle à prédire du texte et son aptitude à accomplir des tâches spécifiques telles que demandées par les utilisateurs.

Fondamentalement, l’ajustement par instructions permet à un modèle de langage non seulement de générer un texte cohérent basé sur les schémas appris lors du pré-entraînement, mais aussi de produire des résultats conformes aux instructions données. Cela rend le modèle plus interactif, réactif et utile pour des applications réelles où la précision dans le suivi des consignes utilisateur est essentielle.

Comment l’ajustement par instructions est-il utilisé ?

L’ajustement par instructions est appliqué après qu’un modèle de langage a subi un pré-entraînement initial, qui consiste généralement à apprendre à partir de grandes quantités de textes non étiquetés pour prédire le mot suivant dans une séquence. Bien que ce pré-entraînement confère une solide compréhension de la structure linguistique et des connaissances générales, il ne permet pas au modèle de suivre efficacement des instructions spécifiques ou d’accomplir des tâches définies.

Pour pallier cela, l’ajustement par instructions affine le modèle à l’aide d’un jeu de données sélectionné de paires instruction-réponse. Ces ensembles de données sont conçus pour couvrir un large éventail de tâches et d’instructions susceptibles d’être fournies par les utilisateurs. En s’entraînant sur ces exemples, le modèle apprend à interpréter les consignes et à générer des réponses appropriées.

Étapes clés de l’ajustement par instructions

1. Création du jeu de données :
   Compiler un jeu de données contenant des paires instruction-réponse diverses. Les instructions peuvent concerner des tâches variées telles que la traduction, la synthèse, la réponse à des questions, la génération de texte, etc.

2. Processus d’affinage :
   Utiliser l’apprentissage supervisé pour entraîner le modèle pré-entraîné sur ce jeu de données. Le modèle ajuste ses paramètres pour minimiser l’écart entre ses sorties générées et les réponses attendues du jeu de données.

3. Évaluation et itération :
   Évaluer les performances du modèle sur des tâches de validation qui ne figurent pas dans les données d’entraînement afin de s’assurer qu’il généralise bien à de nouvelles instructions. Itérer sur le jeu de données et le processus d’entraînement pour améliorer les performances si nécessaire.

Exemples d’ajustement par instructions en pratique

• Traduction de langues :
  Entraîner un modèle à traduire un texte d’une langue à une autre selon des instructions du type « Traduisez la phrase suivante en français. »

• Synthèse :
  Affiner un modèle pour résumer de longs articles sur demande, par exemple « Résumez les points clés de cet article sur le changement climatique. »

• Réponse à des questions :
  Permettre à un modèle de répondre à des questions en fournissant des instructions telles que « Répondez à la question suivante en vous basant sur le contexte fourni. »

• Génération de texte avec des consignes de style :
  Adapter un modèle à écrire dans un style ou un ton précis, par exemple « Réécrivez le paragraphe suivant dans un style académique formel. »

Recherche sur l’ajustement par instructions

L’ajustement par instructions s’impose comme une technique clé pour perfectionner les modèles multilingues et les grands modèles de langage (LLM), afin d’améliorer leur utilité dans des contextes linguistiques variés. Des études récentes explorent différents aspects de cette approche, mettant en lumière ses potentiels et ses défis.

1. Investigating Multilingual Instruction-Tuning: Do Polyglot Models Demand for Multilingual Instructions?
Par Alexander Arno Weber et al. (2024)
Cette étude explore l’adaptation des LLM multilingues pré-entraînés afin qu’ils fonctionnent efficacement comme assistants dans différentes langues. Elle examine de manière systématique des modèles multilingues ajustés par instructions sur divers ensembles de données linguistiques, en se concentrant sur les langues indo-européennes. Les résultats montrent qu’un ajustement par instructions sur des corpus parallèles multilingues améliore les capacités de suivi d’instructions interlinguistiques jusqu’à 9,9 %, remettant en question l’hypothèse de l’alignement superficiel. L’étude souligne également la nécessité de jeux de données d’ajustement par instructions à grande échelle pour les modèles multilingues. Les auteurs ont également mené une étude d’annotation humaine pour aligner les évaluations humaines et celles de GPT-4 dans des scénarios de chat multilingues.
En savoir plus

2. OpinionGPT: Modelling Explicit Biases in Instruction-Tuned LLMs
Par Patrick Haller et al. (2023)
Cette étude s’intéresse aux biais présents dans les LLM ajustés par instructions. Elle met en lumière les préoccupations concernant les biais reflétés dans les modèles entraînés sur des données influencées par certains groupes démographiques, tels que les biais politiques ou géographiques. Plutôt que de les supprimer, les auteurs proposent de les rendre explicites et transparents via OpinionGPT, une application web permettant aux utilisateurs d’explorer et de comparer les réponses selon différents biais. Cette démarche inclut la création d’un corpus d’ajustement par instructions reflétant des biais variés, offrant ainsi une compréhension plus nuancée des biais dans les LLM.
En savoir plus