Hoe je voorkomt dat ChatGPT gaat hallucineren bij gereguleerd compliancewerk

Een UK Responsible Gambling (RG)-team kwam bij ons met een probleem dat iedereen die gereguleerd werk automatiseert zal herkennen. Ze gebruiken ChatGPT om geautomatiseerde compliance-triggers om te zetten in formele analistennotities. Wanneer een klant een drempel overschrijdt — omzet meer dan 100% gestegen in 30 dagen, een sessie die langer duurt dan de limiet — kopieert een analist de relevante gegevens naar ChatGPT, en het model stelt, volgend op een vooraf geüploade prompt, een notitie op voor het compliancedossier van de klant.

Die notitie is geen conceptmail. Het is een juridisch document dat door de UK Gambling Commission kan worden beoordeeld. En na verloop van tijd begon ChatGPT cijfers te hallucineren, essentiële informatie te missen, gedachtestreepjes in te voegen die de huisstijl schonden, en geleidelijk af te wijken van de regels tegen het einde van de middag. Op een gereguleerd dossier is elk van die zaken een complianceprobleem.

De vraag die ze stelden was eenvoudig: kunnen we de consistentie die gereguleerd werk vereist überhaupt uit een taalmodel halen? Het antwoord is ja — maar niet door de bewoording van een prompt in een chatvenster aan te passen. Het vereist een verandering in architectuur plus een gedisciplineerde herschrijving. Dit artikel doorloopt de exacte methode, met de RG-workflow als uitgewerkt voorbeeld, zodat je dit kunt toepassen op elk gereguleerd proces waarbij dezelfde input elke keer weer dezelfde betrouwbare output moet opleveren.

Waarom ChatGPT afdrijft bij gereguleerd werk

Voordat je iets oplost, helpt het om de faalmodi precies te benoemen. Op de RG-workflow reproduceerden we vijf verschillende manieren waarop de output faalde, variërend van kritiek tot slechts vervelend.

De twee kritieke faalmodi vormen het gevaarlijke duo. Gehallucineerde cijfers plaatsen een verkeerd stortings- of winst-en-verliesbedrag op een gereguleerd dossier — het model vult een leemte in vanuit trainingsgeheugen in plaats van toe te geven dat de data ontbreekt. Omkering van de conventie is subtieler: deze operator gebruikt een omgekeerde winst-en-verliesconventie waarbij een positief getal betekent dat de klant verliest. Dit is contra-intuïtief, waardoor het model terugvalt op de standaardconventie die het tijdens de training heeft geleerd, en schrijft dat een klant verliest terwijl deze in werkelijkheid wint.

De ernstige problemen — gedachtestreepjes die de huisstijl schenden, en session drift waarbij regels later op de dag worden genegeerd — plaatsen geen verkeerd cijfer op het dossier, maar tasten het vertrouwen in de output aan en zorgen voor extra werk. Het gemiddelde probleem, informele interventienamen in plaats van de exacte regelgevende termen, tast stilzwijgend het compliancedossier aan.

De hoofdoorzaak is statelessness — of het gebrek daaraan

Vier van die vijf faalmodi delen één hoofdoorzaak. In één enkele ChatGPT-sessie wordt elke zaak die je beoordeelt toegevoegd aan het contextvenster. Beoordeel je zaak één, dan ziet het model de prompt en één zaak. Bij zaak vijftien ziet het de prompt plus de statistische restanten van veertien voorgaande uitwisselingen. De regels van de prompt zijn er nog steeds, maar ze concurreren met een groeiende stapel context, en de aandacht ervoor neemt af.

Dit verklaart waarom dezelfde prompt om 9 uur ’s ochtends een perfecte notitie oplevert en om 4 uur ’s middags een gebrekkige. De architecturale oplossing is statelessness: elke zaak moet een volledig nieuwe, geïsoleerde aanroep zijn die alleen de vergrendelde prompt en de huidige zaak ziet. Niets wordt overgedragen. Een AI-agent die zo is geconfigureerd, geeft de prompt dezelfde aandacht bij zaak vijftig als bij zaak één.

Statelessness is noodzakelijk maar niet voldoende. Het stopt de drift, maar het zal een slechte prompt trouw reproduceren bij elke aanroep. Dus moet de prompt zelf worden verhard.

Klaar om uw bedrijf te laten groeien?

Start vandaag uw gratis proefperiode en zie binnen enkele dagen resultaten.

Demo aanvragen Inloggen

Stap 1: Verhard de prompt voor primacy en recency

Taalmodellen wegen niet elke regel van een prompt even zwaar. De aandacht is ruwweg U-vormig — het sterkst aan het begin en het einde, het zwakst in het midden. De oorspronkelijke RG-prompt ging hier tegenin. De belangrijkste regel, de omgekeerde winst-en-verliesconventie, stond in het midden van de prompt, eenmalig vermeld. Het verbod op gedachtestreepjes was de allerlaatste regel, ook eenmalig vermeld.

De herschrijving verplaatste de kritieke regels naar de plek waar het model daadwerkelijk kijkt en herwerkte de zwakke onderdelen van de systeemprompt . Hier is wat er veranderde en waarom.

De grootste les hier: vage adjectieven zijn geen instructies. Een model vertellen om “natuurlijk” te zijn, moedigde actief de gedachtestreepjes en retorische versieringen aan die de huisstijl schonden. Dit vervangen door concrete, testbare regels is wat de stijl consistent maakte.

Stap 2: Ga om met ontbrekende data in plaats van deze te verzinnen

Hallucinatie wordt vaak afgeschilderd als een modeldefect. Bij gestructureerd werk is het meestal een promptdefect: de prompt vertelde het model nooit wat te doen wanneer een veld ontbreekt, dus deed het het statistisch waarschijnlijke en produceerde het een plausibele waarde.

De oplossing is een protocol voor ontbrekende data. Splits je velden op in verplicht en optioneel. Optionele velden worden stilzwijgend weggelaten wanneer ze ontbreken. Verplichte velden doen het tegenovergestelde — als er één ontbreekt, moet het model stoppen en het opvragen in een exact formaat in plaats van een notitie te genereren. Die ene regel zet een stille hallucinatie om in een zichtbaar, controleerbaar verzoek om meer data. Het is het verschil tussen een verkeerd cijfer op een gereguleerd dossier en een notitie die nooit is geproduceerd omdat de input onvolledig was.

Schrijf u in voor onze nieuwsbrief

Ontvang gratis de nieuwste tips, trends en aanbiedingen.

E-mailadres

Abonneren

Stap 3: Vergrendel de agentconfiguratie

Met een verharde prompt moet de agent zelf worden vergrendeld zodat niets opnieuw variabiliteit introduceert. De hele flow is bewust minimaal — drie nodes en verder niets.

De configuratiekeuzes die ertoe deden:

• Systeemprompt in het System Message-veld, nooit in het Input-veld, zodat het als instructies wordt gelezen in plaats van als data.
• Temperatuur 0,2. Laag genoeg voor maximale consistentie, hoog genoeg om robotachtige tekst te vermijden. Nul was te rigide; één was te creatief.
• Geen tools gekoppeld. Bestands- en URL-retrievers introduceren onvoorspelbaarheid en kunnen de redenering van de agent omzeilen. Voor deze taak heeft het model niets nodig behalve de prompt en de geplakte zaak.
• Max tokens op standaard gelaten. Het beperken van tokens zorgde ervoor dat notities halverwege een zin werden afgekapt, en een afgekapte notitie in een klantdossier is zelf een regelgevend risico.
• Een instructie voor stille start bovenaan de prompt, zodat de agent de regels niet aan de analist bevestigt wanneer de flow voor het eerst laadt.

De ene operationele regel die er het meest toe doet

Elke bovenstaande oplossing wordt tenietgedaan door één slechte gewoonte: dezelfde chat hergebruiken. De belangrijkste operationele regel voor het analistenteam is om voor elke afzonderlijke zaak een nieuw gesprek te starten. Ga nooit door met het beoordelen van zaken in hetzelfde venster. Dit is de regel die session drift elimineert — de hoofdoorzaak van de meeste oorspronkelijke faalmodi — en het kost niets om te volgen.

Werkt het ook echt? 9 modellen, 27 runs

Een methode is slechts zo goed als het bewijs erachter. We testten negen modellen tegen de verharde prompt, met dezelfde echte zaak (een Gambling Intensity-trigger met eerdere sessieduurgeschiedenis) over drie runs elk — 27 runs in totaal — en beoordeelden elke run tegen 16 compliancecriteria.

Over alle 27 runs hallucineerde geen enkel productieklaar model een cijfer, keerde geen enkele de W/V-conventie om, gebruikte geen enkele een gedachtestreepje, en kapte geen enkele de output af. De verharde prompt elimineerde elk van de oorspronkelijke faalmodi bij de modellen die kwalificeerden. De resterende verschillen hadden te maken met analytische diepgang en consistentie, niet met correctheid.

De diskwalificaties zijn leerzaam. Claude Sonnet 4.6 produceerde prachtige tekst maar verwarde de triggerdrempel met de stortingslimiet — een feitelijk verkeerd cijfer op een gereguleerd dossier, wat diskwalificerend is ongeacht hoe goed het leest. De schommeling van DeepSeek van run tot run (6, 8,5, 9) is het echte probleem: in gereguleerd werk is kwaliteit die van geluk afhangt helemaal geen kwaliteit.

Kosten zijn niet de beperkende factor

Het is verleidelijk om op prijs te optimaliseren, maar de cijfers pleiten daartegen. Zelfs het duurste productieklare model, Claude Opus 4.8, kost ongeveer zes cent per notitie. Voor een team dat 50 zaken per dag beoordeelt, is dat minder dan 90 dollar per maand. De kosten van één enkele regelgevende bevinding als gevolg van een onjuiste notitie zouden de jaarlijkse kosten van elk model op de lijst overschaduwen. Voor gereguleerde compliance geldt: kies het meest betrouwbare model dat je kunt vinden, niet het goedkoopste.

Hoe ziet een verharde notitie eruit?

De beste enkele notitie over alle 27 runs kwam van Claude Fable 5. Let op wat het doet: het geeft de positie weer volgens de juiste conventie, citeert cijfers letterlijk, gebruikt de exacte interventienaam, en — cruciaal — legt uit waarom escalatie disproportioneel zou zijn in plaats van simpelweg een uitkomst te vermelden.

The customer is currently in a winning position of £1,612.50 with an account balance of £8,962.50, which represents an improvement on the winning position of £1,275.00 recorded at the previous review… Session duration was reviewed under Session Duration Level 1 on 19/07 and again on 20/07… Given that those decisions were made within the last few days, insufficient time has elapsed to assess their effectiveness, and repeating or escalating on the same behaviour at this stage would be disproportionate… In this context, No Further Action Required is the proportionate outcome.

Dat is de standaard die gereguleerd werk vereist: evidence-based, proportioneel en identiek in kwaliteit bij de eerste zaak van de dag en de vijftigste.

Dit toepassen op jouw eigen gereguleerde workflow

De RG-notitiegenerator is een specifiek geval, maar de methode is generaliseerbaar naar elk proces waarbij een taalmodel betrouwbare, herhaalbare output moet produceren op gereguleerde of hoge-inzet-data:

1. Stap weg van het chatvenster. Voer elke zaak uit als een stateless aanroep zodat context zich niet kan opstapelen en afdrijven.
2. Verhard de prompt voor primacy en recency. Plaats kritieke regels eerst en herhaal ze aan het einde. Voeg zelfcontroles toe.
3. Geef het model een protocol voor ontbrekende data. Verplichte velden blokkeren generatie wanneer ze ontbreken; optionele velden worden stilzwijgend weggelaten. Laat het nooit gokken.
4. Vergrendel de configuratie. Lage, niet-nul temperatuur, geen onnodige tools, onbegrensde output, prompt in het systeembericht.
5. Test voordat je vertrouwt. Voer dezelfde zaak meerdere keren uit over kandidaat-modellen en beoordeel op expliciete criteria. Consistentie over runs is de metriek die ertoe doet.

Doe die vijf dingen en je zet een model dat tegen de middag gaat hallucineren om in een model dat elke keer audit-klare output produceert. De consistentie die gereguleerd werk vereist is haalbaar — het is een architectuur- en prompt-engineeringprobleem, en beide zijn oplosbaar.