Instruktions-tuning

Hvad er Instruktions-tuning?

Instruktions-tuning er en teknik, der bruges inden for kunstig intelligens (AI) til at forbedre evnerne hos store sprogmodeller (LLM’er). Det indebærer at finjustere fortrænede sprogmodeller på et datasæt bestående af instruktion-svar-par. Målet er at træne modellen til bedre at forstå og følge menneskelige instruktioner og dermed bygge bro mellem modellens evne til at forudsige tekst og dens evne til at udføre specifikke opgaver, som brugeren angiver.

Kernen i instruktions-tuning er at justere en sprogmodel, så den ikke blot genererer sammenhængende tekst baseret på de mønstre, den har lært under fortræningen, men at den leverer output, der er afstemt efter de givne instruktioner. Det gør modellen mere interaktiv, lydhør og anvendelig i virkelige applikationer, hvor det er vigtigt nøjagtigt at følge brugerens anvisninger.

Hvordan bruges Instruktions-tuning?

Instruktions-tuning anvendes efter, at en sprogmodel har gennemgået den indledende fortræning, hvor den typisk lærer sprogets struktur og generel viden ved at forudsige næste ord i store mængder uanmærket tekstdata. Denne fortræning giver modellen en stærk forståelse for sprog, men gør den ikke i stand til effektivt at følge specifikke instruktioner eller løse definerede opgaver.

For at løse dette finjusteres modellen ved instruktions-tuning på et nøje udvalgt datasæt bestående af instruktion- og output-par. Disse datasæt er designet til at dække en bred vifte af opgaver og instruktioner, som brugere kunne finde på at give. Ved at træne på disse eksempler lærer modellen at fortolke instruktioner og generere passende svar.

Centrale trin i Instruktions-tuning

1. Datasæt-oprettelse:
   Udarbejd et datasæt med alsidige instruktion-svar-par. Instruktionerne kan dække mange slags opgaver såsom oversættelse, opsummering, besvarelse af spørgsmål, tekstgenerering m.m.

2. Finjusteringsproces:
   Brug superviseret læring til at træne den fortrænede model på dette datasæt. Modellen justerer sine parametre for at minimere forskellen mellem det genererede output og de ønskede svar i datasættet.

3. Evaluering og iteration:
   Evaluer modellens ydeevne på valideringsopgaver, der ikke indgår i træningsdataene, for at sikre, at den generaliserer godt til nye instruktioner. Iterér på datasættet og træningsprocessen efter behov for at forbedre resultaterne.

Eksempler på Instruktions-tuning i praksis

• Sproglig oversættelse:
  Træning af en model til at oversætte tekst fra et sprog til et andet baseret på instruktioner som “Oversæt følgende sætning til fransk.”

• Opsummering:
  Finjustering af en model til at opsummere lange artikler, når den får besked, f.eks. “Opsummer hovedpunkterne i denne artikel om klimaforandringer.”

• Besvarelse af spørgsmål:
  Gøre det muligt for modellen at svare på spørgsmål ved at give instruktioner som “Besvar følgende spørgsmål baseret på den givne kontekst.”

• Tekstgenerering med stilretningslinjer:
  Justering af modellen til at skrive i en bestemt stil eller tone, eksempelvis “Omskriv følgende afsnit i en formel akademisk stil.”

Forskning om Instruktions-tuning

Instruktions-tuning er blevet en central teknik til at forfine flersprogede og store sprogmodeller (LLM’er) og øge deres anvendelighed på tværs af sproglige kontekster. Nyere studier udforsker forskellige aspekter af denne tilgang og giver indblik i både potentiale og udfordringer.

1. Investigating Multilingual Instruction-Tuning: Do Polyglot Models Demand for Multilingual Instructions?
Af Alexander Arno Weber m.fl. (2024)
Dette studie undersøger tilpasningen af flersprogede fortrænede LLM’er til at fungere som effektive assistenter på tværs af sprog. Det analyserer systematisk flersprogede modeller, der er instruktions-tunet på datasæt med forskellige sprog, med fokus på indoeuropæiske sprog. Resultaterne viser, at instruktions-tuning på parallelle flersprogede korpora forbedrer evnen til at følge instruktioner på tværs af sprog med op til 9,9 % og udfordrer den såkaldte Superficial Alignment Hypothesis. Studiet understreger også behovet for store instruktions-tuning-datasæt til flersprogede modeller. Forfatterne har desuden gennemført et annoteringsstudie for at sammenligne menneskelig og GPT-4-baseret evaluering i flersprogede chatscenarier.
Læs mere

2. OpinionGPT: Modelling Explicit Biases in Instruction-Tuned LLMs
Af Patrick Haller m.fl. (2023)
Dette studie undersøger de bias, der er indlejret i instruktions-tunede LLM’er. Studiet anerkender bekymringer om bias afspejlet i modeller, der er trænet på data med bestemte demografiske påvirkninger, såsom politiske eller geografiske bias. I stedet for at undertrykke disse bias foreslår forfatterne at gøre dem eksplicitte og gennemsigtige gennem OpinionGPT – en webapplikation, der lader brugere udforske og sammenligne svar baseret på forskellige bias. Tilgangen inkluderede oprettelsen af et instruktions-tuning-korpus, der afspejler forskellige bias, og giver en mere nuanceret forståelse af bias i LLM’er.
Læs mere