Ako zastaviť halucinácie ChatGPT pri regulovanej compliance práci

Tím pre UK Responsible Gambling (RG) prišiel za nami s problémom, ktorý spozná každý, kto automatizuje regulovanú prácu. Používajú ChatGPT na premenu automatizovaných compliance spúšťačov na formálne poznámky analytika. Keď zákazník prekročí prah — obrat vzrastie o viac ako 100 % za 30 dní, relácia prebehne za jej limit — analytik skopíruje relevantné dáta do ChatGPT a model podľa vopred nahraného promptu vypracuje poznámku do compliance spisu zákazníka.

Táto poznámka nie je koncept e-mailu. Je to právny dokument, ktorý môže preskúmať UK Gambling Commission. A po čase začal ChatGPT halucinovať čísla, vynechávať kľúčové informácie, vkladať pomlčky em-dash, ktoré porušovali firemný štýl, a potichu sa odkláňať od pravidiel poobede. V regulovanom spise je každá z týchto vecí compliance problémom.

Otázka, ktorú si položili, bola jednoduchá: dá sa vôbec od jazykového modelu dosiahnuť konzistencia, akú regulovaná práca vyžaduje? Odpoveď je áno — ale nie úpravou formulácie promptu v chatovom okne. Vyžaduje si to zmenu architektúry plus disciplinovaný prepis. Tento článok prechádza presnú metódu na príklade workflow RG, aby ste ju mohli aplikovať na akýkoľvek regulovaný proces, kde ten istý vstup musí vždy priniesť ten istý dôveryhodný výstup.

Prečo sa ChatGPT odkláňa pri regulovanej práci

Predtým, než niečo opravíme, pomôže presne pomenovať zlyhania. Pri workflow RG sme reprodukovali päť odlišných spôsobov, akými sa výstup pokazil, od kritických až po len otravné.

Dve kritické sú nebezpečnou dvojicou. Halucinované čísla vložia nesprávnu sumu vkladu alebo profitu/straty do regulovaného spisu — model dopĺňa medzeru z tréningovej pamäte namiesto toho, aby priznal, že dáta chýbajú. Obrátenie konvencie je jemnejšie: tento prevádzkovateľ používa obrátenú konvenciu profitu/straty, kde kladné číslo znamená, že zákazník prehráva. Je to protiintuitívne, takže sa model vracia k štandardnej konvencii, ktorú sa naučil počas tréningu, a napíše, že zákazník prehráva, keď v skutočnosti vyhráva.

Zlyhania s vysokou závažnosťou — pomlčky em-dash, ktoré porušujú firemný štýl, a odklon relácie, keď sa pravidlá neskôr počas dňa ignorujú — nevkladajú do spisu nesprávne číslo, ale narúšajú dôveru vo výstup a vytvárajú viacnásobnú prácu. Stredne závažný problém, neformálne názvy intervencií namiesto presných regulačných pojmov, potichu poškodzuje compliance záznam.

Hlavnou príčinou je bezstavovosť — alebo jej nedostatok

Štyri z týchto piatich zlyhaní majú spoločnú jednu hlavnú príčinu. V jednej relácii ChatGPT sa každý posudzovaný prípad pripája do kontextového okna. Pri posudzovaní prvého prípadu model vidí prompt a jeden prípad. Pri pätnástom prípade vidí prompt plus štatistický zvyšok štrnástich predchádzajúcich výmen. Pravidlá promptu tam stále sú, ale súperia s narastajúcou hromadou kontextu a pozornosť voči nim upadá.

Preto ten istý prompt vytvorí o 9:00 dokonalú poznámku a o 16:00 chybnú. Architektonickým riešením je bezstavovosť: každý prípad musí byť úplne nové, izolované volanie, ktoré vidí len uzamknutý prompt a aktuálny prípad. Nič sa neprenáša. AI agent takto nakonfigurovaný venuje promptu rovnakú pozornosť pri päťdesiatom prípade ako pri prvom.

Bezstavovosť je nevyhnutná, no nie postačujúca. Zastaví odklon, ale pri každom volaní verne zreprodukuje aj zlý prompt. Preto treba spevniť samotný prompt.

Pripravení rozšíriť svoje podnikanie?

Začnite svoju 30-dňovú skúšobnú verziu ešte dnes a vidzte výsledky behom pár dní.

Požiadať o demo Prihlásiť sa

Krok 1: Spevnite prompt pre primárnosť a recenciu

Jazykové modely neváhajú rovnako každý riadok promptu. Pozornosť má približne tvar U — najsilnejšia na začiatku a na konci, najslabšia v strede. Pôvodný prompt RG proti tomu bojoval. Jeho najdôležitejšie pravidlo, obrátená konvencia profitu/straty, sedelo v strede promptu, uvedené len raz. Zákaz pomlčiek em-dash bol úplne posledným riadkom, tiež uvedený len raz.

Prepis presunul kritické pravidlá tam, kam sa model skutočne pozerá, a prepracoval slabé časti systémového promptu . Tu je, čo sa zmenilo a prečo.

Najväčšie poučenie tu je: vágne prídavné mená nie sú inštrukcie. Povedať modelu, aby bol „prirodzený", aktívne podnecovalo pomlčky em-dash a rečnícke ozdoby, ktoré porušovali firemný štýl. Nahradenie tohto konkrétnymi, testovateľnými pravidlami je to, čo spravilo štýl konzistentným.

Krok 2: Riešte chýbajúce dáta namiesto ich vymýšľania

Halucinácia sa často rámuje ako chyba modelu. Pri štruktúrovanej práci ide zvyčajne o chybu promptu: prompt nikdy nepovedal modelu, čo má robiť, keď pole chýba, tak urobil štatisticky pravdepodobnú vec a vytvoril vierohodnú hodnotu.

Riešením je protokol pre chýbajúce dáta. Rozdeľte polia na povinné a voliteľné. Voliteľné polia sa pri absencii potichu vynechajú. Povinné polia fungujú opačne — ak jedno chýba, model musí zastaviť sa a vyžiadať si ho v presnom formáte namiesto toho, aby generoval poznámku. Toto jedno pravidlo mení tichú halucináciu na viditeľnú, audítovateľnú žiadosť o ďalšie dáta. Je to rozdiel medzi nesprávnym číslom v regulovanom spise a poznámkou, ktorá nikdy nevznikla, pretože vstup bol neúplný.

Prihláste sa na newsletter

Získajte najnovšie tipy, trendy a ponuky zadarmo.

Emailová adresa

Prihlásiť sa

Krok 3: Uzamknite konfiguráciu agenta

So spevneným promptom treba uzamknúť aj samotného agenta, aby nič nezaviedlo späť variabilitu. Celý flow je zámerne minimálny — tri uzly a nič iné.

Konfiguračné voľby, na ktorých záležalo:

• Systémový prompt v poli System Message, nikdy v poli Input, aby sa čítal ako inštrukcie, nie ako dáta.
• Teplota 0,2. Dostatočne nízka pre maximálnu konzistenciu, dostatočne vysoká, aby sa vyhla robotickému textu. Nula bola príliš rigidná, jeden príliš kreatívny.
• Žiadne pripojené nástroje. Nástroje na načítanie súborov a URL adries vnášajú nepredvídateľnosť a môžu obísť uvažovanie agenta. Pre túto úlohu model nepotrebuje nič okrem promptu a vloženého prípadu.
• Max tokens ponechané na predvolenej hodnote. Obmedzenie tokenov spôsobovalo, že sa poznámky skracovali uprostred vety, a skrátená poznámka v zákazníckom spise je sama osebe regulačným rizikom.
• Inštrukcia na tichý štart na začiatku promptu, aby agent nepotvrdzoval pravidlá analytikovi späť pri prvom načítaní flow.

Jediné prevádzkové pravidlo, na ktorom najviac záleží

Každú vyššie uvedenú opravu zmarí jeden zlý zvyk: opätovné použitie toho istého chatu. Najdôležitejším prevádzkovým pravidlom pre tím analytikov je začať novú konverzáciu pre každý jednotlivý prípad. Nikdy nepokračovať v posudzovaní prípadov v tom istom okne. Toto je pravidlo, ktoré eliminuje odklon relácie — hlavnú príčinu väčšiny pôvodných zlyhaní — a nič to nestojí dodržať.

Funguje to naozaj? 9 modelov, 27 behov

Metóda je dobrá len natoľko, nakoľko ju podporujú dôkazy. Otestovali sme deväť modelov voči spevnenému promptu, pričom sme použili identický reálny prípad (spúšťač Gambling Intensity s predchádzajúcou históriou dĺžky relácie) v troch behoch pre každý — 27 behov celkovo — a ohodnotili sme každý beh voči 16 compliance kritériám.

Naprieč všetkými 27 behmi žiadny model pripravený na produkciu nehalucinoval číslo, neobrátil konvenciu P/L, nepoužil pomlčku em-dash ani neskrátil výstup. Spevnený prompt eliminoval každé z pôvodných zlyhaní u modelov, ktoré sa kvalifikovali. Zostávajúce rozdiely sa týkali analytickej hĺbky a konzistencie, nie správnosti.

Diskvalifikácie sú poučné. Claude Sonnet 4.6 vytvoril krásnu prózu, ale zamenil prah spúšťača s limitom vkladu — fakticky nesprávne číslo v regulovanom spise, čo je diskvalifikujúce bez ohľadu na to, ako dobre sa to číta. Kolísanie DeepSeeku medzi behmi (6, 8,5, 9) je skutočný problém: v regulovanej práci kvalita, ktorá závisí od šťastia, nie je kvalitou vôbec.

Náklady nie sú obmedzením

Je lákavé optimalizovať na cenu, ale čísla hovoria proti tomu. Aj najdrahší produkčný model, Claude Opus 4.8, stojí zhruba šesť centov na poznámku. Pre tím posudzujúci 50 prípadov denne je to menej ako 90 dolárov mesačne. Náklady na jediné regulačné zistenie spôsobené nesprávnou poznámkou by ďaleko prevýšili ročné náklady na ktorýkoľvek model zo zoznamu. Pri regulovanej compliance vyberte najspoľahlivejší model, aký si môžete dovoliť, nie najlacnejší.

Ako vyzerá spevnená poznámka

Najlepšia jednotlivá poznámka zo všetkých 27 behov pochádzala od Claude Fable 5. Všimnite si, čo robí: uvádza pozíciu v správnej konvencii, cituje čísla doslovne, používa presný názov intervencie a — čo je kľúčové — vysvetľuje prečo by bola eskalácia neprimeraná, namiesto toho, aby jednoducho konštatovala výsledok.

The customer is currently in a winning position of £1,612.50 with an account balance of £8,962.50, which represents an improvement on the winning position of £1,275.00 recorded at the previous review… Session duration was reviewed under Session Duration Level 1 on 19/07 and again on 20/07… Given that those decisions were made within the last few days, insufficient time has elapsed to assess their effectiveness, and repeating or escalating on the same behaviour at this stage would be disproportionate… In this context, No Further Action Required is the proportionate outcome.

To je štandard, aký regulovaná práca vyžaduje: dôkazmi podložený, primeraný a rovnako kvalitný pri prvom prípade dňa aj pri päťdesiatom.

Aplikácia na váš vlastný regulovaný workflow

Generátor poznámok RG je konkrétny prípad, ale metóda sa dá zovšeobecniť na akýkoľvek proces, kde jazykový model musí produkovať dôveryhodný, opakovateľný výstup na regulovaných alebo vysoko rizikových dátach:

1. Presuňte sa mimo chatového okna. Spúšťajte každý prípad ako bezstavové volanie, aby sa kontext nemohol hromadiť a odkláňať.
2. Spevnite prompt pre primárnosť a recenciu. Umiestnite kritické pravidlá na začiatok a opakujte ich na konci. Pridajte sebakontroly.
3. Dajte modelu protokol pre chýbajúce dáta. Povinné polia blokujú generovanie, keď chýbajú; voliteľné polia sa potichu vynechajú. Nikdy ho nenechajte hádať.
4. Uzamknite konfiguráciu. Nízka nenulová teplota, žiadne zbytočné nástroje, neobmedzený výstup, prompt v systémovej správe.
5. Testujte pred tým, ako dôverujete. Spustite ten istý prípad viackrát naprieč kandidátskymi modelmi a hodnoťte podľa explicitných kritérií. Konzistencia naprieč behmi je metrika, na ktorej záleží.

Urobte týchto päť vecí a premeníte model, ktorý poobede halucinuje, na taký, ktorý vždy produkuje výstup pripravený na audit. Konzistencia, ktorú regulovaná práca vyžaduje, je dosiahnuteľná — je to architektonický a prompt-inžiniersky problém a oba sú riešiteľné.