Waarom Hallucineren Taalmodellen? Onderzoek van OpenAI

Introductie

Taalmodellen zijn steeds krachtiger geworden, maar ze blijven gevoelig voor een cruciale tekortkoming: hallucinaties. Dit zijn zelfverzekerde, overtuigend klinkende uitspraken die feitelijk onjuist zijn. Het recente onderzoeksartikel van OpenAI, “Why Language Models Hallucinate”, biedt baanbrekende inzichten in de hoofdoorzaken van dit fenomeen en reikt praktische oplossingen aan. Hallucinaties zijn geen willekeurige bugs of onvermijdelijke fouten, maar ingebakken in de manier waarop moderne taalmodellen worden gebouwd en getraind. Dit onderzoek begrijpen is essentieel voor iedereen die met AI-systemen werkt, omdat het laat zien dat hallucinaties niet alleen een technisch probleem zijn—het is een systemisch probleem geworteld in hoe we deze modellen trainen, evalueren en belonen. In dit artikel worden de belangrijkste bevindingen van het onderzoek uitgelegd en besproken wat ze betekenen voor de toekomst van betrouwbare AI-systemen.

Hallucinaties bij Taalmodellen Begrijpen: Het Vertrouwensprobleem

Taalmodellen staan bekend om het produceren van wat onderzoekers “overmoedige, plausibele onwaarheden” noemen—uitspraken die aannemelijk klinken en met zekerheid worden gebracht, maar feitelijk onjuist zijn. Dit is fundamenteel anders dan gewone fouten maken. Een model dat zegt “Ik weet het niet zeker” bij twijfel, gedraagt zich anders dan een model dat met overtuiging iets verkeerds beweert. Het probleem is dat als een model met overtuiging fout zit, het uiterst moeilijk wordt om dat model nog te vertrouwen. Gebruikers kunnen niet eenvoudig onderscheid maken tussen correcte en gehallucineerde informatie, wat het nut van het hele systeem ondermijnt. Dit is vooral problematisch in toepassingen met hoge inzet, zoals medische diagnoses, juridisch onderzoek of financiële analyses, waar foute informatie met veel zekerheid verstrekt kan leiden tot ernstige gevolgen. De uitdaging is dus niet alleen dat modellen soms fouten maken, maar dat ze fouten maken terwijl ze er volledig zeker van lijken te zijn.

De kern van dit probleem ligt in het begrijpen waar hallucinaties ontstaan tijdens de ontwikkeling van het model. Het is verleidelijk te denken dat hallucinaties vooral voortkomen uit fouten in de trainingsdata, maar de werkelijkheid is genuanceerder en fundamenteler. Zelfs als het je op de een of andere manier zou lukken om een perfecte trainingsdataset samen te stellen zonder fouten of onjuistheden—wat in theorie onmogelijk is—zouden hallucinaties toch voorkomen. Het probleem zit namelijk niet alleen in wat het model leert uit de data, maar vooral in hoe het model getraind wordt om zich te gedragen en welke doelen het moet bereiken. Het trainingsproces zelf, via de gebruikte feedbackmechanismen en beloningsstructuren, stimuleert actief juist het gedrag dat tot hallucinaties leidt.

Het Trainingsdataprobleem: Waarom Perfecte Data Niet Genoeg Is

Taalmodellen leren van enorme hoeveelheden tekst die onvermijdelijk fouten, onnauwkeurigheden en halve waarheden bevatten. Een model dat traint op Wikipedia, boeken, artikelen en webinhoud neemt niet alleen correcte informatie op, maar ook de fouten, misvattingen en onjuiste claims uit die bronnen. Als 20% van de geboortedata slechts één keer voorkomt in de trainingsdata, zal het model bij ongeveer 20% van de vragen over verjaardagen hallucineren, omdat het die feiten niet betrouwbaar genoeg geleerd heeft. Dit lijkt een voor de hand liggende bron van hallucinaties, en dat is het ook, maar het is niet de belangrijkste oorzaak.

Het grotere probleem is dat zelfs met foutloze trainingsdata, de doelstellingen waarop taalmodellen worden geoptimaliseerd alsnog tot hallucinaties leiden. Dit is een cruciale inzichtverschuiving. De trainingsdoelen—de manier waarop modellen verteld wordt of ze goed of slecht presteren—zijn fundamenteel niet in lijn met het doel om hallucinaties te verminderen. Tijdens de training leren modellen te optimaliseren voor specifieke meetwaarden en beloningssignalen, en deze signalen stimuleren vaak zelfverzekerd gokken boven eerlijke onzekerheid. Het model leert dat het geven van een specifiek, zelfverzekerd antwoord hoger wordt beloond dan toegeven dat het iets niet weet. Zo ontstaat een perverse prikkelstructuur waarin hallucineren voor het model rationeel wordt.

De Asymmetrie Tussen Generatie en Verificatie

Een van de belangrijkste inzichten uit het onderzoek van OpenAI is dat het genereren van juiste antwoorden aanzienlijk moeilijker is dan het verifiëren of een antwoord klopt. Deze asymmetrie is fundamenteel voor het begrijpen waarom hallucinaties ontstaan. Als je een antwoord moet verifiëren—bepalen of een uitspraak juist of onjuist is—heb je een veel eenvoudigere taak. Je kunt feiten controleren, zoeken naar tegenstrijdigheden en de consistentie beoordelen. Maar als je een antwoord helemaal zelf moet genereren, moet je niet alleen het juiste antwoord produceren, maar ook alle mogelijke foute antwoorden vermijden—en dat zijn er vaak veel meer dan goede. Voor de meeste vragen zijn er veel meer verkeerde dan juiste antwoorden, waardoor generatie per definitie een zwaardere taak is dan verificatie.

Deze asymmetrie verklaart waarom meerdere AI-agenten die samenwerken doorgaans betere resultaten opleveren dan één agent alleen. Wanneer de ene agent het antwoord van een andere controleert, voert deze een verificatietaak uit, die eenvoudiger en betrouwbaarder is dan generatie. Daarom merken gebruikers vaak dat wanneer ze tegen een taalmodel zeggen “Nee, dat klopt niet. Verbeter het,” het model vervolgens met een beter antwoord komt. Het model schakelt dan over op verificatiemodus—het controleert of het vorige antwoord juist was en genereert een alternatief—in plaats van het antwoord helemaal opnieuw te bedenken. Dit inzicht heeft grote gevolgen voor het ontwerp van AI-systemen en voor het verbeteren van hun betrouwbaarheid.

De Meerkeuze-examenanalogie: Waarom Modellen Liever Gokken

Het artikel gebruikt een treffende analogie om uit te leggen waarom taalmodellen hallucineren: hun gedrag lijkt op dat van studenten bij meerkeuze-examens wanneer ze het antwoord niet weten. Bij een meerkeuzevraag met vier opties heb je, als je het antwoord niet weet, 25% kans op een goed antwoord door te gokken. Maar als je afziet van antwoorden—dus de vraag overslaat of “ik weet het niet” zegt—krijg je gegarandeerd nul punten. Onder een binair scoresysteem dat één punt geeft voor een goed antwoord en nul voor blanco of “ik weet het niet”-antwoorden, maximaliseer je je verwachte score door te gokken. Precies dit leert een taalmodel tijdens de training.

Als modellen onzeker zijn, leren ze te “bluffen”—een specifiek, zelfverzekerd antwoord geven in plaats van onzekerheid toe te geven. Opvallend is dat deze blufs vaak heel specifiek zijn, niet vaag. Een model zal “30 september” zeggen in plaats van “ergens in de herfst” als het een datum niet weet. Deze specificiteit is op zichzelf een vorm van hallucinatie omdat het valse zekerheid uitstraalt. Het model heeft geleerd dat specifieke, zelfverzekerde antwoorden hoger worden beloond dan genuanceerde of onzekere antwoorden. Dit gedrag wordt versterkt door de evaluatiemaatstaven waarmee modelprestaties worden beoordeeld. De meeste benchmarks voor taalmodellen, waaronder GPQA, MMLU Pro en Math, gebruiken binaire beoordelingsschema’s die lijken op gestandaardiseerde examens. Ze belonen goede antwoorden en bestraffen foute, maar waarderen onthouding of onzekerheid niet. Alleen benchmarks zoals WildBench kennen punten toe voor “ik weet het niet”-antwoorden, en opvallend genoeg presteren modellen anders op deze benchmarks.

Hoe Reinforcement Learning Hallucinaties Verergert

De nabewerkingsfase, waarin modellen worden verfijnd met reinforcement learning en andere technieken, zou hallucinaties moeten verminderen. Onderzoek toont echter aan dat reinforcement learning modellen juist vaak de verkeerde kant op stuurt. Tijdens de nabewerking worden modellen doorgaans beloond voor behulpzaamheid, besluitvaardigheid en zelfvertrouwen. Dit zijn in veel contexten waardevolle eigenschappen, maar ze kunnen ten koste gaan van accuraatheid en kalibratie. Kalibratie betekent dat het zelfvertrouwen van een model overeenkomt met de werkelijke nauwkeurigheid. Een goed gekalibreerd model dat 70% zekerheid claimt, moet ongeveer 70% van de tijd gelijk hebben. Een model dat 80% zekerheid claimt, moet 80% van de tijd goed zitten.

Wat er tijdens reinforcement learning gebeurt, is dat deze kalibratie verloren gaat. Een basismodel kan redelijk goed gekalibreerd zijn, met vertrouwen dat ongeveer overeenkomt met de werkelijke prestaties. Maar na reinforcement learning wordt het model overmoedig. Het kan 80% zekerheid claimen terwijl het maar 45% van de tijd correct is. Dit komt doordat reinforcement learning het model aanzet tot behulpzaamheid en besluitvaardigheid, wat zich vertaalt in meer zelfvertrouwen dan gerechtvaardigd is. Het model leert dat het uiten van onzekerheid wordt bestraft, terwijl het geven van zelfverzekerde antwoorden—zelfs als ze soms fout zijn—wordt beloond. Dit is een fundamenteel probleem met onze huidige trainingsmethoden voor taalmodellen, en er zijn systeemwijzigingen nodig om dit op te lossen.

De Rol van Evaluatiemaatstaven in het Instandhouden van Hallucinaties

Het hallucinatieprobleem is niet alleen een trainingsprobleem, maar ook een evaluatieprobleem. De benchmarks waarmee taalmodelprestaties worden gemeten, versterken vaak juist het gedrag dat tot hallucinaties leidt. Kijk je naar de belangrijkste benchmarks in het veld—GPQA, MMLU Pro, Wildbench, Math en SWEBench—dan zie je dat vrijwel allemaal binaire beoordelingen hanteren. Of een antwoord is goed en krijgt volledige punten, of het is fout en krijgt geen punten. En belangrijker: meestal krijg je geen punten als je afziet van antwoorden of “ik weet het niet” zegt. Dit zorgt voor een misalignment tussen wat we meten en wat we eigenlijk willen dat modellen doen.

De enige grote benchmark die niet puur binair beoordeelt en “ik weet het niet”-antwoorden wel waardeert, is WildBench. Dit verschil is belangrijk omdat het betekent dat modellen worden geëvalueerd op een maatstaf die onzekerheid niet bestraft. Wanneer modellen worden getraind en geëvalueerd op meetwaarden die zelfverzekerde antwoorden boven eerlijke onzekerheid plaatsen, leren ze vertrouwen boven accuraatheid te stellen. Dit is een systemisch probleem dat het hele veld raakt. Benchmarkontwikkelaars, modelbouwers en onderzoekers zijn gezamenlijk verantwoordelijk door evaluatiemaatstaven te gebruiken die onthouding onvoldoende waarderen. De oplossing vereist gecoördineerde aanpassingen in de hele sector om benchmarks en evaluatiepraktijken te vernieuwen.

De FlowHunt-aanpak voor Betrouwbare AI-Automatisering

Bij het bouwen van AI-gedreven workflows en automatiseringssystemen staat betrouwbaarheid voorop. FlowHunt erkent dat hallucinaties en modelonzekerheid cruciale uitdagingen zijn die op systeemniveau moeten worden aangepakt. In plaats van te vertrouwen op de output van één model, bevat de architectuur van FlowHunt meerdere verificatielagen en betrouwbaarheidsdrempels. Deze aanpak weerspiegelt het onderzoeksresultaat dat verificatie eenvoudiger en betrouwbaarder is dan generatie. Door systemen te bouwen waarin AI-agenten elkaars outputs controleren en verifiëren, voorkomt FlowHunt dat hallucinaties zich door geautomatiseerde workflows verspreiden.

Bovendien stelt het FlowHunt-platform gebruikers in staat om betrouwbaarheidsdrempels in te stellen voor verschillende soorten taken. Voor contentgeneratie, onderzoek en analyse kunnen gebruikers aangeven dat het systeem alleen doorgaat met outputs die aan een bepaald betrouwbaarheidsniveau voldoen, of juist onzekere resultaten markeren voor menselijke beoordeling. Dit sluit aan bij het onderzoeksadvies dat modellen moeten afzien van antwoorden wanneer hun vertrouwen onder een bepaalde drempel zakt. Door deze principes in het platform te verwerken, helpt FlowHunt organisaties om meer betrouwbare AI-workflows te bouwen die niet alleen maximale output, maar vooral betrouwbare output leveren.

De Oplossing: Betrouwbaarheidsdrempels en Onthouding Belonen

Het onderzoek van OpenAI stelt een eenvoudige maar krachtige oplossing voor het hallucinatieprobleem voor: implementeer betrouwbaarheidsdrempels en beloon modellen voor onthouding bij onzekerheid. In plaats van te proberen modellen altijd een antwoord te laten geven, is het de bedoeling om het acceptabel—en zelfs wenselijk—te maken voor modellen om “ik weet het niet” te zeggen. Dit vereist aanpassingen op meerdere niveaus: in de training van modellen, in hun evaluatie, en in het design van de systemen waarin ze gebruikt worden.

De praktische uitwerking is elegant in zijn eenvoud. Tijdens de nabewerking kunnen modellen getraind worden om alleen een antwoord te geven als hun vertrouwen boven een bepaalde drempel uitkomt, bijvoorbeeld 75%. Daaronder moeten ze reageren met “ik weet het niet” of een vergelijkbare uiting van onzekerheid. Dit kan worden versterkt via de beloningssignalen bij reinforcement learning. In plaats van het huidige binaire systeem dat goede antwoorden beloont en foute bestraft, zou een beter systeem +1 geven voor een goed antwoord, 0 voor “ik weet het niet”, en -1 voor een fout antwoord. Zo ontstaan de juiste prikkels: goede antwoorden worden beloond, foute zwaarder bestraft dan onthouding, dat neutraal is.

Belangrijk is dat deze aanpak geen perfecte data of perfecte modellen vereist. Het werkt omdat het de prikkels van het model in lijn brengt met wat we echt willen: betrouwbare informatie als het model zeker is, en eerlijke onzekerheid als dat niet het geval is. Het model leert dat het beste gedrag niet bluffen of hallucineren is, maar accurate informatie geven als het kan en twijfels toegeven als dat nodig is. Dit is eerlijker en uiteindelijk nuttiger dan de huidige aanpak van zelfverzekerd gokken.

Benchmarkhervorming: Het Missende Element

Om deze oplossing op schaal te laten werken, moeten benchmarks worden aangepast zodat onthouding wordt beloond. Als modellen worden getraind om te onthouden bij onzekerheid, maar vervolgens worden geëvalueerd op benchmarks die onthouding bestraffen, leren ze hun training te negeren en toch weer zelfverzekerd te gokken. Daarom is hervorming van benchmarks essentieel. Benchmarkontwikkelaars zouden scoresystemen moeten implementeren die goede antwoorden belonen, neutraal of positief scoren voor “ik weet het niet”-antwoorden, en foute antwoorden zwaarder bestraffen. Bijvoorbeeld: +1 voor goed, 0 voor “ik weet het niet”, -1 voor fout.

Het goede nieuws is dat deze verandering al langzaam plaatsvindt. Volgens berichten wordt GPT-5 al getraind op deze manier. Bij vragen waar het model onzeker over is, reageert GPT-5 soms met “ik weet het niet” na het probleem te hebben doordacht, in plaats van een zelfverzekerd maar mogelijk fout antwoord te geven. Dit betekent een verschuiving in hoe modellen worden getraind en welke gedragingen worden beloond. Naarmate meer modellen deze aanpak volgen en meer benchmarks worden aangepast om onthouding te waarderen, mogen we een duidelijke afname van hallucinaties verwachten.

Praktische Gevolgen en Reactie van de Sector

De implicaties van dit onderzoek reiken veel verder dan academische interesse. In de praktijk hebben hallucinaties echte gevolgen. Een model dat met veel vertrouwen verkeerde medische, juridische of financiële informatie geeft, kan ernstige schade veroorzaken. Door te begrijpen dat hallucinaties niet onvermijdelijk zijn maar het gevolg van specifieke trainings- en evaluatiepraktijken, kan de sector gerichte aanpassingen doen om ze te verminderen. Dit onderzoek biedt daarvoor een routekaart.

De reactie van toonaangevende AI-labs is bemoedigend. Anthropic, in hun eigen onderzoek naar de interne werking van taalmodellen, heeft vergelijkbare problemen gevonden en aanvullende oplossingen voorgesteld. Zij merken op dat modellen een soort “momentum” hebben richting het geven van complete, zelfverzekerde antwoorden, zelfs als ze onzeker zijn. Dit momentum is ingebouwd in de architectuur en het trainingsproces van het model. Door dit te begrijpen, kunnen onderzoekers interventies ontwerpen die dit momentum tegengaan en meer eerlijke onzekerheid stimuleren. Dat meerdere labs onafhankelijk tot vergelijkbare inzichten komen, wijst op een groeiende consensus over zowel het probleem als de oplossing.

Gedragskalibratie: Meten wat Echt Telt

Naast het invoeren van betrouwbaarheidsdrempels introduceert het onderzoek het concept gedragskalibratie. Dit gaat verder dan alleen het controleren van de waarschijnlijkheidsverdeling van modeluitkomsten. Gedragskalibratie houdt in dat je test of het uitgesproken vertrouwen van een model daadwerkelijk overeenkomt met de werkelijke nauwkeurigheid. Bij 50% vertrouwen, heeft het model dan echt 50% van de tijd gelijk? Bij 90% vertrouwen, klopt het dan ook 90% van de tijd? Zo bepaal je of een model zich eerlijk en betrouwbaar gedraagt.

Het testen van gedragskalibratie vereist een andere evaluatie-aanpak dan traditionele benchmarks. In plaats van alleen de totale nauwkeurigheid te meten, moet je de nauwkeurigheid per vertrouwensniveau bepalen. Zo zie je of een model goed gekalibreerd is of overmoedig. Een model kan een hoge totale nauwkeurigheid hebben maar slecht gekalibreerd zijn, zodat het vertrouwen niet overeenkomt met de werkelijke prestaties. Omgekeerd kan een model met lagere totale nauwkeurigheid juist goed gekalibreerd zijn, zodat je weet wanneer je het kunt vertrouwen en wanneer je extra informatie of menselijke controle moet zoeken. Voor veel toepassingen is een goed gekalibreerd model met lagere nauwkeurigheid nuttiger dan een overmoedig model met hogere nauwkeurigheid, omdat je dan weet wanneer je het antwoord serieus kunt nemen.

De Route Vooruit: Systeemverandering Nodig

Het oplossen van het hallucinatieprobleem vereist aanpassingen op meerdere niveaus van de AI-ontwikkelketen. Ten eerste moeten modelbouwers betrouwbaarheidsdrempels invoeren en onthouding belonen bij training en nabewerking. Ten tweede moeten benchmarkontwikkelaars hun evaluatiemaatstaven aanpassen zodat “ik weet het niet”-antwoorden beloond worden en gedragskalibratie gemeten wordt. Ten derde moeten organisaties die AI-systemen inzetten, hun workflows zo ontwerpen dat verificatiestappen en menselijke beoordeling van onzekere resultaten mogelijk zijn. Ten vierde moeten gebruikers van AI-systemen begrijpen dat het uiten van onzekerheid door modellen een functie is, geen fout, en als zodanig gewaardeerd moet worden.

Dit is geen probleem dat één enkele partij binnen het ecosysteem kan oplossen. Het vereist coördinatie en afstemming tussen modelontwikkelaars, onderzoekers, benchmarkontwikkelaars en gebruikers. Het goede nieuws is dat de oplossing relatief eenvoudig is en geen fundamentele doorbraken in AI-architectuur of trainingsmethoden vereist. Het is vooral een kwestie van het uitlijnen van prikkels en evaluatiepraktijken met wat we echt willen: betrouwbare, eerlijke AI-systemen die hun eigen grenzen kennen.

Naarmate meer partijen in de sector deze praktijken overnemen, mogen we een duidelijke verbetering van de betrouwbaarheid en betrouwbaarheid van taalmodellen verwachten.

Conclusie

Het onderzoek van OpenAI naar de reden waarom taalmodellen hallucineren laat zien dat het probleem niet onvermijdelijk is, maar voortkomt uit specifieke trainings- en evaluatiepraktijken die zelfverzekerd gokken boven eerlijke onzekerheid stimuleren. Hallucinaties ontstaan doordat modellen worden getraind en geëvalueerd op maatstaven die goede antwoorden belonen en zowel foute antwoorden als onthouding gelijk bestraffen, wat een prikkel creëert om te bluffen bij onzekerheid. De oplossing is het invoeren van betrouwbaarheidsdrempels, modellen belonen voor “ik weet het niet”-antwoorden, en benchmarks aanpassen zodat onthouding wordt gewaardeerd. Deze systeemverandering, die nu al zichtbaar wordt in modellen als GPT-5, betekent een fundamentele verandering in onze benadering van AI-betrouwbaarheid. Door de prikkels van modellen in lijn te brengen met wat we echt willen—betrouwbare informatie bij zekerheid en eerlijke onzekerheid bij twijfel—kunnen we hallucinaties aanzienlijk terugdringen en betrouwbaardere AI-systemen bouwen.