De ce halucinează modelele de limbaj? Cercetarea OpenAI

Introducere

Modelele de limbaj au devenit tot mai puternice, însă rămân predispuse la o problemă critică: halucinațiile. Acestea sunt afirmații rostite cu încredere, care par plauzibile, dar sunt incorecte factual. Studiul recent al OpenAI, „Why Language Models Hallucinate”, oferă perspective revoluționare despre cauzele de bază ale acestui fenomen și propune soluții practice. Mai degrabă decât erori întâmplătoare sau defecte inevitabile, halucinațiile sunt de fapt integrate în modul în care sunt construite și antrenate modelele moderne de limbaj. Înțelegerea acestei cercetări este esențială pentru oricine lucrează cu sisteme AI, deoarece arată că halucinațiile nu sunt doar o problemă tehnică — ele țin de sistemul de antrenare, evaluare și stimulare a acestor modele. Acest articol sintetizează principalele concluzii ale lucrării și analizează ce înseamnă ele pentru viitorul AI de încredere.

Înțelegerea halucinațiilor modelelor de limbaj: problema încrederii

Modelele de limbaj sunt cunoscute pentru producerea așa-numitelor „neadevăruri plauzibile, dar rostite cu prea multă încredere” — afirmații care sună rezonabil și sunt spuse cu certitudine, dar sunt de fapt greșite. Acest lucru diferă fundamental de simpla comitere a unor erori. Un model care spune „Nu sunt sigur” când nu știe se comportă diferit față de unul care afirmă ceva greșit cu convingere. Problema este că, atunci când un model se înșală cu încredere, devine extrem de dificil să ai încredere în el, indiferent de context. Utilizatorii nu pot distinge ușor între informațiile corecte și cele halucinate, ceea ce subminează utilitatea întregului sistem. Este deosebit de problematic în contexte cu miză mare, precum diagnostic medical, cercetare juridică sau analiză financiară, unde informațiile incorecte prezentate cu încredere pot duce la consecințe grave. Provocarea nu este doar că modelele fac uneori greșeli — ci că le fac păstrând o aparență totală de certitudine.

Rădăcina acestei probleme constă în înțelegerea momentului în care apar halucinațiile pe parcursul dezvoltării modelului. Deși e tentant să credem că halucinațiile provin în primul rând din erori ale datelor de antrenament, realitatea este mai nuanțată și mai profundă. Chiar dacă ai putea construi, teoretic, un set de date de antrenament perfect curat, fără nicio greșeală sau inexactitate — lucru imposibil în practică — halucinațiile tot ar apărea. Asta pentru că problema nu ține doar de ce învață modelul din date, ci și de modul în care este antrenat să se comporte și de ce obiective este optimizat să atingă. Însuși procesul de antrenare, prin mecanismele de feedback și structurile de recompensă folosite, încurajează activ comportamentul care duce la halucinații.

Problema datelor de antrenament: De ce datele perfecte nu sunt suficiente

Când modelele de limbaj sunt antrenate, ele învață din corporații uriașe de texte care conțin inevitabil erori, inexactități și informații incomplete. Un model antrenat pe Wikipedia, cărți, articole și conținut web va absorbi nu doar informații corecte, ci și greșelile, concepțiile eronate și afirmațiile false din acele surse. Dacă 20% dintre datele despre zile de naștere apar o singură dată în setul de antrenament, modelul va halucina la aproximativ 20% dintre întrebările despre zile de naștere, pentru că nu a învățat acele informații suficient de bine pentru a le recupera corect. Pare o sursă evidentă de halucinații și chiar este una dintre ele, dar nu este principala cauză.

Problema mai importantă este că, chiar și cu date de antrenament fără erori, obiectivele optimizate în timpul antrenării modelelor de limbaj ar duce tot la halucinații. Aceasta este o perspectivă esențială care schimbă modul în care gândim problema. Obiectivele de antrenament — modul în care modelele sunt „învățate” dacă produc răspunsuri bune sau rele — sunt fundamental nepotrivite cu scopul de a reduce halucinațiile. Pe parcursul antrenamentului, modelele învață să optimizeze pentru anumite metrici și semnale de recompensă, iar aceste semnale încurajează de cele mai multe ori ghicirea încrezătoare în detrimentul recunoașterii oneste a incertitudinii. Modelul învață că a oferi un răspuns specific și încrezător e recompensat mai mult decât a admite că nu știe. Astfel, apare o structură de stimulente perversă, în care halucinația devine o strategie rațională din perspectiva modelului.

Asimetria dintre generare și verificare

Unul dintre cele mai importante aspecte evidențiate de cercetarea OpenAI este că generarea de răspunsuri valide este semnificativ mai dificilă decât verificarea validității unui răspuns. Această asimetrie este esențială pentru a înțelege de ce apar halucinațiile. Când ești rugat să verifici un răspuns — să stabilești dacă o afirmație este adevărată sau falsă — ai de rezolvat o sarcină mult mai simplă. Poți verifica fapte, căuta contradicții și evalua consistența. Dar când trebuie să generezi un răspuns de la zero, trebuie nu doar să produci răspunsul corect, ci și să eviți toate răspunsurile greșite, care pot fi practic nelimitate. Pentru majoritatea întrebărilor există mult mai multe răspunsuri greșite decât corecte, ceea ce face ca generarea să fie intrinsec mai dificilă decât verificarea.

Această asimetrie explică de ce mai mulți agenți AI care lucrează împreună produc rezultate de obicei mai bune decât un singur agent care acționează izolat. Când un agent verifică ieșirea altuia, el realizează o sarcină de verificare, care este mai simplă și mai fiabilă decât generarea. De aceea, utilizatorii observă adesea că, atunci când spun unui model de limbaj „Nu e corect, corectează”, modelul răspunde adesea cu un răspuns ajustat. Modelul intră astfel în modul de verificare — evaluează dacă răspunsul anterior a fost corect și generează o alternativă — nu mai încearcă să răspundă de la zero. Această perspectivă are implicații profunde pentru modul în care proiectăm sisteme AI și pentru îmbunătățirea fiabilității acestora.

Analogia examenului grilă: De ce preferă modelele să ghicească

Lucrarea folosește o analogie convingătoare pentru a explica de ce modelele de limbaj halucinează: comportamentul lor imită modul în care elevii abordează examenele grilă atunci când nu sunt siguri. La un test grilă cu patru variante de răspuns, dacă nu știi răspunsul, ai 25% șanse să-l nimerești dacă ghicești. Dar dacă te abții — dacă lași întrebarea necompletată sau spui „Nu știu” — primești garantat zero puncte. Sub un sistem de notare binar care acordă un punct pentru răspuns corect și zero pentru abținere sau „Nu știu”, ghicirea maximizează scorul așteptat. Exact asta învață să facă modelele de limbaj în timpul antrenamentului.

Când modelele sunt nesigure, învață să „blufeze” — să ofere un răspuns specific și încrezător, nu să recunoască incertitudinea. Important, aceste blufuri tind să fie foarte precise, nu vagi. Un model va spune „30 septembrie” în loc de „cândva în toamnă” când e întrebat de o dată pe care nu o știe. Această precizie este ea însăși o formă de halucinație, pentru că transmite încredere falsă. Modelul a învățat că răspunsurile specifice și încrezătoare sunt recompensate mai mult decât cele ezitante sau incerte. Acest comportament este întărit de metricile de evaluare folosite pentru a nota performanța modelelor. Majoritatea benchmark-urilor pentru modelele de limbaj, inclusiv GPQA, MMLU Pro și Math, folosesc scheme de notare binară similare examenelor standardizate umane. Ele recompensează răspunsurile corecte și penalizează cele greșite, dar nu recompensează abținerea sau exprimarea incertitudinii. Doar benchmark-uri precum WildBench acordă credit pentru răspunsurile „Nu știu”, iar modelele au performanțe diferite pe aceste benchmark-uri.

Cum amplifică învățarea prin recompensă halucinațiile

Faza de post-antrenament, în care modelele sunt rafinate cu ajutorul învățării prin recompensă și alte tehnici, ar trebui să reducă halucinațiile. Totuși, cercetările arată că învățarea prin recompensă poate, de fapt, să împingă modelele în direcția greșită. În timpul post-antrenamentului, modelele sunt de obicei recompensate pentru a fi utile, hotărâte și încrezătoare. Aceste calități sunt dorite în multe contexte, dar pot afecta acuratețea și calibrarea. Calibrarea se referă la concordanța dintre nivelul de încredere al unui model și acuratețea reală. Un model bine calibrat care afirmă 70% încredere ar trebui să aibă dreptate în aproximativ 70% din cazuri. Un model care afirmă 80% încredere ar trebui să aibă dreptate în 80% din cazuri.

Ce se întâmplă în timpul învățării prin recompensă este că această calibrare se deteriorează. Un model de bază poate fi rezonabil de bine calibrat, cu nivelurile de încredere potrivite cu acuratețea efectivă. Dar după învățarea prin recompensă, modelul devine supraconfident. Poate afirma 80% încredere, dar să fie corect doar în 45% din cazuri. Asta pentru că învățarea prin recompensă îl împinge să fie mai util și mai decis, ceea ce se traduce printr-un nivel de încredere mai mare decât ar trebui. Modelul învață că exprimarea incertitudinii este penalizată, iar răspunsurile încrezătoare — chiar dacă uneori greșite — sunt recompensate. Aceasta este o problemă fundamentală a modului în care antrenăm azi modelele de limbaj și necesită schimbări de sistem pentru a fi rezolvată.

Rolul metricilor de evaluare în perpetuarea halucinațiilor

Problema halucinațiilor nu ține doar de antrenament, ci și de evaluare. Benchmark-urile folosite pentru a măsura performanța modelelor de limbaj întăresc adesea comportamentele care duc la halucinații. Dacă ne uităm la principalele benchmark-uri din domeniu — GPQA, MMLU Pro, Wildbench, Math și SWEBench — aproape toate folosesc notare binară. Fie acordă punctaj maxim pentru răspunsul corect, fie zero pentru cel greșit. Mai important, de obicei nu acordă niciun credit pentru abținere sau pentru răspunsul „Nu știu”. Acest lucru creează o nepotrivire între ce măsurăm și ce ne dorim de fapt de la modele.

Singurul benchmark important care nu folosește notare pur binară și creditează răspunsurile „Nu știu” este WildBench. Această diferență este semnificativă, deoarece înseamnă că modelele sunt evaluate pe o metrică ce nu penalizează incertitudinea. Când modelele sunt antrenate și evaluate pe metrici care recompensează răspunsurile încrezătoare în detrimentul incertitudinii oneste, ele învață să prioritizeze încrederea, nu acuratețea. Aceasta este o problemă de sistem care afectează întreaga industrie. Creatorii de benchmark-uri, dezvoltatorii de modele și cercetătorii contribuie la această problemă prin folosirea unor metrici care nu creditează abținerea. Soluția necesită schimbări coordonate la nivel de industrie pentru actualizarea benchmark-urilor și a practicilor de evaluare.

Abordarea FlowHunt pentru automatizare AI fiabilă

Când construiești fluxuri de lucru și sisteme de automatizare bazate pe AI, fiabilitatea este esențială. FlowHunt recunoaște că halucinațiile și incertitudinea modelelor sunt provocări critice ce trebuie abordate la nivel de sistem. În loc să se bazeze pe rezultatul unui singur model, arhitectura FlowHunt integrează mai multe straturi de verificare și praguri de încredere. Această abordare reflectă concluzia cercetării conform căreia verificarea este mai simplă și mai fiabilă decât generarea. Prin implementarea unor sisteme în care agenții AI revizuiesc și verifică rezultatele unii altora, FlowHunt reduce probabilitatea ca halucinațiile să se propage prin fluxurile automatizate.

De asemenea, platforma FlowHunt permite utilizatorilor să seteze praguri de încredere pentru diverse tipuri de sarcini. Pentru generarea de conținut, cercetare și analiză, utilizatorii pot specifica ca sistemul să continue doar cu rezultate care depășesc un anumit nivel de încredere sau, alternativ, să marcheze rezultatele incerte pentru revizuire umană. Acest lucru este în linie cu recomandarea cercetării ca modelele să se abțină de la răspuns dacă încrederea scade sub un prag prestabilit. Prin integrarea acestor principii în platformă, FlowHunt ajută organizațiile să creeze fluxuri AI mai fiabile, care nu doar maximizează output-ul, ci maximizează output-ul de încredere.

Soluția: Praguri de încredere și recompensarea abținerii

Cercetarea OpenAI propune o soluție simplă, dar puternică, la problema halucinației: implementarea unor praguri de încredere și recompensarea modelelor care se abțin când sunt nesigure. Mai degrabă decât a încerca să facem modelele să răspundă mereu, soluția este să fie acceptat — și chiar recompensat — răspunsul „Nu știu”. Aceasta necesită schimbări la mai multe niveluri: în modul de antrenare, în modul de evaluare și în proiectarea sistemelor care folosesc aceste modele.

Implementarea practică este elegantă prin simplitatea ei. În timpul post-antrenamentului, modelele pot fi instruite să ofere răspunsuri doar când încrederea depășește un anumit prag, de exemplu 75%. Sub acest prag, ar trebui să răspundă „Nu știu” sau să exprime incertitudine. Acest comportament poate fi întărit prin semnalele de recompensă folosite la învățarea prin recompensă. În locul sistemului binar actual, care recompensează răspunsurile corecte și penalizează cele greșite, un sistem mai bun ar acorda +1 pentru răspuns corect, 0 pentru „Nu știu” și -1 pentru răspuns greșit. Astfel, stimulentele devin corecte: răspunsurile corecte sunt în continuare recompensate, dar cele greșite sunt penalizate mai mult decât abținerea, care rămâne neutră.

Important, această abordare nu necesită date sau modele perfecte. Funcționează pentru că aliniază stimulentele modelului cu ceea ce ne dorim: informații de încredere când modelul este sigur și recunoaștere sinceră a incertitudinii când nu este. Modelul învață că cea mai bună strategie nu este să blufeze sau să halucineze, ci să ofere informații corecte când poate și să admită incertitudinea când este cazul. Aceasta este o abordare mai onestă și, în cele din urmă, mai utilă decât cea actuală, bazată pe ghicire încrezătoare.

Reforma benchmark-urilor: piesa lipsă

Pentru ca această soluție să funcționeze la scară largă, benchmark-urile trebuie actualizate pentru a credita abținerea. Dacă modelele sunt antrenate să se abțină când nu sunt sigure, dar apoi sunt evaluate pe benchmark-uri care penalizează abținerea, ele vor ignora antrenamentul și vor reveni la ghicirea încrezătoare. De aceea, reforma benchmark-urilor este esențială. Creatorii de benchmark-uri ar trebui să implementeze sisteme de notare care recompensează răspunsurile corecte, acordă credit neutru sau pozitiv pentru „Nu știu” și penalizează răspunsurile greșite. De exemplu: +1 pentru corect, 0 pentru „Nu știu” și -1 pentru greșit.

Vestea bună este că această schimbare a început deja să apară. Potrivit unor rapoarte, GPT-5 începe să implementeze acest comportament. Când primește întrebări la care nu este sigur, GPT-5 răspunde uneori cu „Nu știu” după ce analizează problema, în loc să furnizeze un răspuns încrezător, dar potențial greșit. Aceasta reprezintă o schimbare de paradigmă în modul în care modelele sunt antrenate și ce comportamente sunt recompensate. Pe măsură ce mai multe modele adoptă această abordare și mai multe benchmark-uri vor credita abținerea, ar trebui să observăm o scădere semnificativă a halucinațiilor în întreaga industrie.

Implicații reale și reacția industriei

Implicațiile acestei cercetări merg mult dincolo de interesul academic. În aplicații practice, halucinațiile au consecințe reale. Un model care oferă cu încredere informații medicale, juridice sau financiare incorecte poate cauza prejudicii grave. Înțelegând că halucinațiile nu sunt inevitabile, ci rezultatul unor practici specifice de antrenament și evaluare, industria poate face schimbări țintite pentru a le reduce. Această cercetare oferă o foaie de parcurs pentru aceste schimbări.

Răspunsul principalelor laboratoare AI a fost încurajator. Anthropic, în propria cercetare despre modul în care funcționează modelele de limbaj la interior, a identificat probleme similare și a propus soluții complementare. Ei au observat că modelele dezvoltă un fel de „inerție” către a oferi răspunsuri complete și încrezătoare, chiar și când nu sunt sigure. Această inerție este integrată în arhitectura și procesul de antrenament al modelului. Înțelegând acest lucru, cercetătorii pot proiecta intervenții care să contracareze această inerție și să încurajeze exprimarea sinceră a incertitudinii. Convergența cercetărilor din mai multe laboratoare pe această temă sugerează că domeniul se apropie de un consens atât asupra problemei, cât și a soluției.

Calibrarea comportamentală: măsurarea a ceea ce contează cu adevărat

Dincolo de simplele praguri de încredere, cercetarea introduce conceptul de calibrare comportamentală. Aceasta merge dincolo de verificarea distribuțiilor de probabilitate ale ieșirilor modelului. Calibrarea comportamentală presupune testarea dacă încrederea declarată de model se potrivește cu acuratețea sa. La 50% încredere, modelul răspunde corect în 50% din cazuri? La 90%, răspunde corect în 90% din cazuri? Așa poți determina dacă modelul se comportă onest și fiabil.

Testarea calibrării comportamentale necesită o abordare diferită de evaluare față de benchmark-urile tradiționale. În loc să măsori doar acuratețea generală, trebuie să măsori acuratețea la diferite niveluri de încredere. Aceasta arată dacă un model este bine calibrat sau supraconfident. Un model poate avea o acuratețe generală mare, dar să fie prost calibrat, ceea ce înseamnă că nivelul său de încredere nu se potrivește cu performanța reală. Invers, un model cu o acuratețe generală mai mică, dar bine calibrat, poate fi mai util, deoarece poți ști când să ai încredere în el și când să soliciți informații suplimentare sau revizuire umană.

Drumul înainte: schimbare sistemică necesară

Rezolvarea problemei halucinației necesită schimbări la mai multe niveluri ale ciclului de dezvoltare AI. În primul rând, dezvoltatorii de modele trebuie să implementeze praguri de încredere și să recompenseze abținerea în timpul antrenamentului și post-antrenamentului. În al doilea rând, creatorii de benchmark-uri trebuie să actualizeze metricile de evaluare pentru a credita răspunsurile „Nu știu” și să măsoare calibrarea comportamentală. În al treilea rând, organizațiile care implementează sisteme AI trebuie să își proiecteze fluxurile astfel încât să includă pași de verificare și revizuire umană pentru rezultatele incerte. În al patrulea rând, utilizatorii sistemelor AI trebuie să înțeleagă că exprimarea incertitudinii de către modele este o funcționalitate, nu un defect, și ar trebui apreciată ca atare.

Nu este o problemă care poate fi rezolvată de un singur actor din ecosistem. Este nevoie de coordonare și aliniere între dezvoltatorii de modele, cercetători, creatori de benchmark-uri și utilizatori. Vestea bună este că soluția este relativ simplă și nu necesită descoperiri fundamentale în arhitectura sau metodele de antrenare AI. Este, în principal, o chestiune de aliniere a stimulentelor și practicilor de evaluare cu ceea ce ne dorim cu adevărat: sisteme AI de încredere și oneste, care își cunosc limitele.

Pe măsură ce tot mai multă industrie adoptă aceste practici, ar trebui să vedem o îmbunătățire semnificativă a fiabilității și credibilității modelelor de limbaj.

Concluzie

Cercetarea OpenAI privind motivele pentru care modelele de limbaj halucinează arată că problema nu este inevitabilă, ci rezultatul unor practici specifice de antrenament și evaluare care încurajează ghicirea încrezătoare în detrimentul recunoașterii oneste a incertitudinii. Halucinațiile apar deoarece modelele sunt antrenate și evaluate pe metrici care recompensează răspunsurile corecte și penalizează la fel de mult răspunsurile greșite și abținerea, ceea ce creează un stimulent pentru bluff când nu sunt sigure. Soluția presupune implementarea pragurilor de încredere, recompensarea modelelor care spun „Nu știu” și actualizarea benchmark-urilor pentru a credita abținerea. Această schimbare de sistem, deja vizibilă la modele precum GPT-5, reprezintă o schimbare fundamentală în abordarea fiabilității AI. Prin alinierea stimulentelor modelelor cu ceea ce ne dorim cu adevărat — informații de încredere când există certitudine și recunoaștere sinceră a incertitudinii când nu există — putem reduce semnificativ halucinațiile și construi sisteme AI mai fiabile.