ChatGPT ajautuu sivuraiteille, hallusinoi lukuja ja rikkoo talon tyyliohjeita säännellyissä compliance-muistioissa. Tässä on prompt-vahvistuksen ja tilattoman agentin menetelmä, joka teki brittiläisestä Responsible Gambling -työnkulusta auditointikelpoisen — mallitestauksella yhdeksän mallin ja 27 ajon kattavuudella.
Brittiläinen Responsible Gambling (RG) -tiimi tuli meille ongelman kanssa, jonka jokainen säänneltyä työtä automatisoiva tunnistaa. He käyttävät ChatGPT:tä muuttamaan automaattiset compliance-hälytykset viralliksi analyytikon muistioiksi. Kun asiakas rikkoo kynnysarvon — liikevaihto nousee yli 100 % 30 päivässä, pelisessio jatkuu yli rajan — analyytikko kopioi olennaiset tiedot ChatGPT:hen, ja malli laatii esiladatun promptin mukaisesti muistion asiakkaan compliance-tiedostoon.
Tämä muistio ei ole luonnos sähköpostiviestistä. Se on laillinen asiakirja, jonka Yhdistyneen kuningaskunnan Gambling Commission voi tarkastaa. Ja jonkin ajan kuluttua ChatGPT alkoi hallusinoida lukuja, jättää pois keskeistä tietoa, lisätä ajatusviivoja, jotka rikkoivat talon tyyliohjeita, ja hiljalleen ajautua pois säännöistä iltapäivään mennessä. Säännellyssä tiedostossa jokainen näistä on compliance-ongelma.
Kysymys, jonka he esittivät, oli yksinkertainen: voimmeko ylipäätään saada kielimallilta säännellyn työn edellyttämän johdonmukaisuuden? Vastaus on kyllä — mutta ei säätämällä promptin sanamuotoa chat-ikkunassa. Se vaatii muutoksen arkkitehtuuriin sekä kurinalaisen uudelleenkirjoituksen. Tämä artikkeli käy läpi tarkan menetelmän käyttäen RG-työnkulkua käytännön esimerkkinä, jotta voit soveltaa sitä mihin tahansa säänneltyyn prosessiin, jossa saman syötteen tulee tuottaa sama luotettava tulos joka ikinen kerta.
Ennen kuin mitään korjataan, on hyödyllistä nimetä epäonnistumistavat tarkasti. RG-työnkulussa toistimme viisi erillistä tapaa, joilla tulos meni pieleen, kriittisistä lievästi ärsyttäviin.
Kaksi kriittistä ongelmaa muodostavat vaarallisen parin. Hallusinoidut luvut asettavat väärän talletus- tai voitto/tappio-luvun säännellylle tiedostolle — malli täyttää aukon koulutusmuistista sen sijaan, että myöntäisi tiedon puuttuvan. Käytännön kääntyminen on hienovaraisempi: tämä operaattori käyttää käänteistä voitto/tappio-käytäntöä, jossa positiivinen luku tarkoittaa, että asiakas häviää. Se on epäintuitiivista, joten malli palaa koulutuksessa opittuun vakiokäytäntöön ja kirjoittaa asiakkaan häviävän, vaikka tämä todellisuudessa voittaa.
Korkean vakavuusasteen ongelmat — talon tyyliä rikkovat ajatusviivat ja istunnon ajautuminen, jossa säännöt unohtuvat myöhemmin päivän aikana — eivät aseta väärää lukua tiedostolle, mutta ne heikentävät luottamusta tulokseen ja luovat uudelleentyötä. Keskitason ongelma, epäviralliset interventioiden nimet tarkkojen sääntelytermien sijaan, korruptoi hiljaisesti compliance-tallenteen.
Neljällä näistä viidestä epäonnistumisesta on yhteinen perussyy. Yhdessä ChatGPT-istunnossa jokainen tarkasteltava tapaus lisätään kontekstiikkunaan. Kun tarkastelet ensimmäisen tapauksen, malli näkee promptin ja yhden tapauksen. Viidennentoista tapauksen kohdalla se näkee promptin sekä neljäntoista aiemman vaihdon tilastollisen jäänteen. Promptin säännöt ovat yhä siellä, mutta ne kilpailevat kasvavan kontekstikasan kanssa, ja huomio niitä kohtaan heikkenee.
Tästä syystä sama prompti tuottaa täydellisen muistion kello 9 ja virheellisen kello 16. Arkkitehtoninen korjaus on tilattomuus: jokaisen tapauksen tulee olla täysin tuore, erillinen kutsu, joka näkee vain lukitun promptin ja kulloisenkin tapauksen. Mikään ei siirry mukana. Näin konfiguroitu AI agent antaa promptille saman huomion viidennessäkymmenennessä tapauksessa kuin ensimmäisessä.
Tilattomuus on välttämätöntä, mutta ei riittävää. Se pysäyttää ajautumisen, mutta toistaa uskollisesti huonon promptin joka kutsulla. Siksi itse prompti on vahvistettava.
Aloita ilmainen kokeilujakso tänään ja näe tulokset muutamassa päivässä.
Kielimallit eivät painota jokaista promptin riviä yhtäläisesti. Huomio on suunnilleen U:n muotoinen — vahvin alussa ja lopussa, heikoin keskellä. Alkuperäinen RG-prompti taisteli tätä vastaan. Sen tärkein sääntö, käänteinen voitto/tappio-käytäntö, sijaitsi promptin keskellä, mainittuna vain kerran. Ajatusviivakielto oli aivan viimeinen rivi, myös mainittuna vain kerran.
Uudelleenkirjoitus siirsi kriittiset säännöt paikkoihin, joita malli todella katsoo, ja muokkasi system promptin heikot kohdat uusiksi. Tässä on mikä muuttui ja miksi.
| Alkuperäinen | Vahvistettu v2.0 | Miksi se on tärkeää |
|---|---|---|
| Voitto/tappio-sääntö haudattu promptin keskelle, mainittu kerran | Sääntö 1 aivan alussa itsetarkistusvaiheen kanssa, toistettu kirjoitustyyliosiossa | Primaarisuuspainotus — tärkeimmän säännön on tultava ensin |
| Ajatusviivakielto aivan lopussa, kerran | Sääntö 2 alussa, toistettuna viimeisenä sääntönä lopussa | Tavoittaa sekä primaarisuus- että tuoreuspainotuksen |
| Ei ohjetta epätäydelliselle syötteelle | Sääntö 4 — puuttuvan tiedon protokolla tarkalla vastausmuodolla | Poistaa hallusinaation ja luo auditointijäljen |
| Ei ohjetta syötteen muodolle | Sääntö 3 — hyväksy mikä tahansa muoto, kirjoita aina alusta uudelleen | Estää mallia muokkaamasta liitettyä muistiota vain kevyesti |
| 19 pakollista kenttää, kaikki samanarvoisia | 15 pakollista + 4 valinnaista kenttää, selkeästi erotettuna | Valinnaiset kentät jätetään hiljaisesti pois; pakolliset kentät estävät luonnin, jos puuttuvat |
| “Ammattimainen. Luonnollinen. Ei robottimainen.” | Konkreettiset säännöt: sidosilmaisut, vaihteleva lauserakenne, kielletyt rakenteet | Epämääräisiä adjektiiveja ei noudateta; konkreettisia sääntöjä noudatetaan |
| Esimerkkimuistio mukana | Esimerkki poistettu kokonaan | Malli käsitteli esimerkkiä syötteenä, johon piti vastata |
Suurin yksittäinen opetus tässä: epämääräiset adjektiivit eivät ole ohjeita. Mallin ohjeistaminen olemaan “luonnollinen” kannusti aktiivisesti ajatusviivoihin ja retorisiin koristeluihin, jotka rikkoivat talon tyyliä. Tämän korvaaminen konkreettisilla, testattavilla säännöillä on se, mikä teki tyylistä johdonmukaisen.
Hallusinaatiota kuvataan usein mallin vikana. Rakenteellisessa työssä se on yleensä prompti-vika: prompti ei koskaan kertonut mallille, mitä tehdä, kun kenttä puuttuu, joten malli teki tilastollisesti todennäköisen asian ja tuotti uskottavan arvon.
Korjaus on puuttuvan tiedon protokolla. Jaa kenttäsi pakollisiin ja valinnaisiin. Valinnaiset kentät jätetään hiljaisesti pois, kun ne puuttuvat. Pakolliset kentät toimivat päinvastoin — jos yksi puuttuu, mallin täytyy pysähtyä ja pyytää sitä tarkassa muodossa muistion tuottamisen sijaan. Tuo yksi sääntö muuttaa hiljaisen hallusinaation näkyväksi, auditoitavaksi pyynnöksi lisätiedosta. Se on ero väärän luvun välillä säännellyssä tiedostossa ja muistion, jota ei koskaan tuotettu, koska syöte oli puutteellinen.
Saa uusimmat vinkit, trendit ja tarjoukset ilmaiseksi.
Vahvistetun promptin lisäksi itse agentti on lukittava, jottei mikään tuo vaihtelevuutta takaisin. Koko työnkulku on tarkoituksella minimalistinen — kolme solmua eikä muuta.
Konfiguraatiovalinnat, joilla oli merkitystä:
Jokainen yllä oleva korjaus mitätöityy yhdellä huonolla tavalla: saman chatin uudelleenkäytöllä. Tärkein operatiivinen sääntö analyytikkotiimille on aloittaa uusi keskustelu jokaista yksittäistä tapausta varten. Älä koskaan jatka tapausten tarkastelua samassa ikkunassa. Tämä on sääntö, joka poistaa istunnon ajautumisen — useimpien alkuperäisten epäonnistumisten perussyyn — eikä sen noudattaminen maksa mitään.
Jos tiimisi taistelee sivuraiteille ajautuvaa promptia vastaan chat-ikkunassa, ratkaisu on vahvistettu prompti, joka toimii tilattomalla agentilla. FlowHuntin avulla voit lukita promptin, kiinnittää mallin ja lämpötilan, ja ajaa puhtaan kutsun per tapaus. Anna meidän auttaa sinua pääsemään sinne.
Menetelmä on yhtä hyvä kuin sen tueksi kerätty näyttö. Testasimme yhdeksää mallia vahvistettua promptia vastaan käyttäen identtistä todellista tapausta (Gambling Intensity -hälytys, jolla on aiempi session duration -historia) kolmella ajolla per malli — yhteensä 27 ajoa — ja pisteytimme jokaisen ajon 16 compliance-kriteeriä vastaan.
Kaikkien 27 ajon aikana yksikään tuotantokelpoinen malli ei hallusinoinut lukua, kääntänyt voitto/tappio-käytäntöä, käyttänyt ajatusviivaa tai typistänyt tulostetta. Vahvistettu prompti poisti jokaisen alkuperäisen epäonnistumistavan niiltä malleilta, jotka läpäisivät testin. Jäljelle jääneet erot koskivat analyyttistä syvyyttä ja johdonmukaisuutta, eivät oikeellisuutta.
| Malli | Toimittaja | Keskiarvo | Tuotantokelpoinen | Huomiot |
|---|---|---|---|---|
| GPT-5.6 Luna | OpenAI | 10 / 10 | Kyllä | Täydellinen kaikilla kolmella ajolla; korkein johdonmukaisuus |
| Claude Fable 5 | Anthropic | 10 / 10 | Kyllä | Parhaiten perustellut lopputuloskappaleet; paras yksittäinen muistio |
| Claude Sonnet 5 | Anthropic | 9,8 / 10 | Kyllä | Ei hallusinaatiota millään ajolla; paras kaiken kaikkiaan Claude-malli |
| Claude Opus 4.8 | Anthropic | 9,8 / 10 | Kyllä | Syvin analyysi; premium-hintainen |
| GPT-5.4 Default | OpenAI | 9,5 / 10 | Kyllä | Yksi nimeämisvirhe; paras edullinen vaihtoehto |
| Claude Sonnet 4.6 | Anthropic | 8,7 / 10 | Ei | Sekoitti hälytyskynnyksen talletusrajaan 2/3 ajossa |
| Claude Haiku 4.5 | Anthropic | 8,5 / 10 | Ei | Johdonmukainen mutta heikko lopputuloksen perustelu |
| Halvin taso | Budjetti | 8,0 / 10 | Ei | Tarkka intervention nimi vain 1/3 ajossa |
| DeepSeek V4 Pro | DeepSeek | 7,8 / 10 | Ei | Typistetty tuloste ajolla 1; epäjohdonmukainen |
Hylkäykset ovat opettavaisia. Claude Sonnet 4.6 tuotti kaunista proosaa, mutta sekoitti hälytyskynnyksen talletusrajaan — faktuaalisesti väärä luku säännellyssä tiedostossa, mikä on hylkäävä tekijä riippumatta siitä, kuinka hyvin teksti lukee. DeepSeekin ajosta toiseen vaihteleva tulos (6, 8,5, 9) on todellinen ongelma: säännellyssä työssä laatu, joka riippuu tuurista, ei ole laatua lainkaan.
On houkuttelevaa optimoida hintaa varten, mutta luvut puhuvat sitä vastaan. Jopa kallein tuotantokelpoinen malli, Claude Opus 4.8, maksaa noin kuusi senttiä muistiota kohden. Tiimille, joka tarkastelee 50 tapausta päivässä, se on alle 90 dollaria kuukaudessa. Yhden virheellisestä muistiosta johtuvan sääntelyhavainnon kustannus ylittäisi moninkertaisesti minkä tahansa listalla olevan mallin vuosikustannuksen. Säännellyssä compliance-työssä valitse luotettavin malli, jonka voit hankkia, älä halvinta.
Paras yksittäinen muistio kaikkien 27 ajon joukossa tuli Claude Fable 5:ltä. Huomaa, mitä se tekee: se ilmaisee tilanteen oikeassa käytännössä, lainaa lukuja sanatarkasti, käyttää tarkkaa intervention nimeä ja — kriittisesti — selittää miksi eskalointi olisi suhteetonta pelkän lopputuloksen toteamisen sijaan.
The customer is currently in a winning position of £1,612.50 with an account balance of £8,962.50, which represents an improvement on the winning position of £1,275.00 recorded at the previous review… Session duration was reviewed under Session Duration Level 1 on 19/07 and again on 20/07… Given that those decisions were made within the last few days, insufficient time has elapsed to assess their effectiveness, and repeating or escalating on the same behaviour at this stage would be disproportionate… In this context, No Further Action Required is the proportionate outcome.
Se on säänneltyä työtä koskeva standardi: näyttöön perustuva, oikeasuhtainen ja laadultaan identtinen päivän ensimmäisessä ja viidennessäkymmenennessä tapauksessa.
RG-muistiogeneraattori on yksittäinen tapaus, mutta menetelmä yleistyy mihin tahansa prosessiin, jossa kielimallin tulee tuottaa luotettavaa, toistettavaa tulosta säännellyllä tai korkean riskin datalla:
Tee nämä viisi asiaa, niin muutat mallin, joka hallusinoi iltapäivään mennessä, malliksi, joka tuottaa auditointikelpoista tulosta joka kerta. Säännellyn työn edellyttämä johdonmukaisuus on saavutettavissa — se on arkkitehtuuri- ja prompti-insinöörityöongelma, ja molemmat ovat ratkaistavissa.
Arshia on AI-työnkulkuinsinööri FlowHuntilla. Tietojenkäsittelytieteen taustalla ja intohimolla tekoälyyn hän erikoistuu luomaan tehokkaita työnkulkuja, jotka integroivat tekoälytyökaluja arjen tehtäviin, parantaen tuottavuutta ja luovuutta.
Muuta sivuraiteille ajautuva ChatGPT-prompti lukituksi, tilattomaksi agentiksi, joka tuottaa auditointikelpoisia muistioita joka kerta. Autamme sinua vahvistamaan promptin ja valitsemaan oikean mallin.
AI-chatbottien jailbreaking ohittaa turvallisuussuojakaiteet saadakseen mallin toimimaan sen suunniteltujen rajojen ulkopuolella. Opi yleisimmät tekniikat — DAN...
OpenAI GPT-4o:n tehostama tekoäly-chatbot, joka etsii ja hyödyntää automaattisesti yrityksen sisäisiä dokumentteja vastatakseen käyttäjän kysymyksiin. Tarjoaa k...
Reaaliaikainen chatbotti, joka käyttää Google-hakua rajattuna omaan verkkotunnukseesi, hakee olennaista verkkosisältöä ja hyödyntää OpenAI:n LLM:ää vastatakseen...
