Porozumění a prevence halucinací v AI chatbotech
Co jsou halucinace v AI, proč vznikají a jak se jim vyhnout? Naučte se, jak udržet odpovědi vašeho AI chatbota přesné pomocí praktických, na člověka zaměřených ...
4 min čtení
Theory
Intermediate
Britský tým Responsible Gambling (RG) za námi přišel s problémem, který rozpozná každý, kdo automatizuje regulovanou agendu. Používají ChatGPT k přeměně automatických compliance triggerů na formální analytické poznámky. Když zákazník poruší práh — obrat vzroste o více než 100 % za 30 dní, relace překročí svůj limit — analytik zkopíruje relevantní data do ChatGPT a model podle předem nahraného promptu vytvoří poznámku do compliance spisu zákazníka.
Tato poznámka není koncept e-mailu. Je to právní dokument, který může posuzovat UK Gambling Commission. A po čase začal ChatGPT halucinovat čísla, vynechávat klíčové informace, vkládat pomlčky, které porušovaly firemní styl, a nenápadně se odchylovat od pravidel v průběhu odpoledne. U regulovaného spisu je každá z těchto věcí compliance problémem.
Otázka, kterou nám položili, byla jednoduchá: dokážeme od jazykového modelu vůbec získat konzistenci, kterou regulovaná práce vyžaduje? Odpověď zní ano — ale ne úpravou znění promptu uvnitř chatového okna. Vyžaduje to změnu architektury plus disciplinované přepsání. Tento článek prochází přesnou metodou, přičemž jako pracovní příklad používá RG workflow, abyste ji mohli aplikovat na jakýkoli regulovaný proces, kde stejný vstup musí pokaždé vytvořit stejný důvěryhodný výstup.
Proč se ChatGPT odchyluje u regulované práce
Než začneme cokoliv opravovat, pomůže přesně pojmenovat módy selhání. U RG workflow jsme reprodukovali pět odlišných způsobů, jakými se výstup rozbíjel, od kritických po pouze otravné.
Dva kritické jsou nebezpečnou dvojicí. Halucinovaná čísla dostanou do regulovaného spisu chybný vklad nebo číslo zisku a ztráty — model doplní mezeru z trénovací paměti místo toho, aby přiznal, že data chybí. Obrácení konvence je subtilnější: tento provozovatel používá obrácenou konvenci zisku a ztráty, kde kladné číslo znamená, že zákazník prohrává. Je to kontraintuitivní, takže se model vrací ke standardní konvenci, kterou se naučil při tréninku, a napíše, že zákazník prohrává, když ve skutečnosti vyhrává.
Vysoce závažné problémy — pomlčky porušující firemní styl a odchylka relace, kdy jsou pravidla později během dne ignorována — nedostanou do spisu chybné číslo, ale narušují důvěru ve výstup a vytvářejí dodatečnou práci. Středně závažný problém, neformální názvy intervencí místo přesných regulačních termínů, nenápadně narušuje compliance záznam.
Kořenovou příčinou je bezstavovost — respektive její absence
Čtyři z těchto pěti selhání sdílejí jednu kořenovou příčinu. V jedné relaci ChatGPT se každý posuzovaný případ přidává do kontextového okna. Při posouzení prvního případu vidí model prompt a jeden případ. U patnáctého případu vidí prompt plus statistický zbytek čtrnácti předchozích výměn. Pravidla promptu jsou stále přítomna, ale soupeří s rostoucí hromadou kontextu a pozornost k nim slábne.
Proto stejný prompt v 9 hodin ráno vytvoří dokonalou poznámku a ve 4 odpoledne chybnou. Architektonickým řešením je bezstavovost: každý případ musí být zcela nové, izolované volání, které vidí pouze uzamčený prompt a aktuální případ. Nic se nepřenáší. AI agent takto nakonfigurovaný věnuje promptu stejnou pozornost u padesátého případu jako u prvního.
Bezstavovost je nutná, ale ne dostačující. Zastaví odchylku, ale věrně reprodukuje špatný prompt při každém volání. Proto musí být zpevněn i samotný prompt.
Připraveni rozšířit své podnikání?
Začněte svou bezplatnou zkušební verzi ještě dnes a viďte výsledky během několika dní.
Krok 1: Zpevněte prompt pro primárnost a aktuálnost (primacy a recency)
Jazykové modely nevěnují každému řádku promptu stejnou váhu. Pozornost má zhruba tvar písmene U — nejsilnější na začátku a na konci, nejslabší uprostřed. Původní RG prompt s tímto bojoval. Jeho nejdůležitější pravidlo, obrácená konvence zisku a ztráty, sedělo uprostřed promptu, uvedeno jen jednou. Zákaz pomlček byl úplně posledním řádkem, také uveden jen jednou.
Přepis přesunul kritická pravidla tam, kam se model skutečně dívá, a přepracoval slabá místa systémového promptu . Zde je, co se změnilo a proč.
| Původní | Zpevněná verze 2.0 | Proč na tom záleží |
|---|---|---|
| Pravidlo P/L zakopáno uprostřed promptu, uvedeno jednou | Pravidlo 1 hned na začátku se sebekontrolním krokem, opakováno v sekci o stylu psaní | Váha primárnosti — nejdůležitější pravidlo musí přijít jako první |
| Zákaz pomlček úplně na konci, jednou | Pravidlo 2 nahoře, opakováno jako poslední pravidlo dole | Zachytí jak váhu primárnosti, tak aktuálnosti |
| Žádná instrukce pro neúplný vstup | Pravidlo 4 — protokol pro chybějící data s přesným formátem odpovědi | Eliminuje halucinace a vytváří auditní stopu |
| Žádná instrukce pro formát vstupu | Pravidlo 3 — přijmout jakýkoli formát, vždy přepsat od začátku | Zastaví model před lehkým přeformátováním vloženého textu |
| 19 povinných polí, všechna se stejnou váhou | 15 povinných + 4 volitelná pole, jasně oddělené | Volitelná pole se tiše vynechají; povinná pole blokují generování, pokud chybí |
| “Profesionální. Přirozený. Ne robotický.” | Konkrétní pravidla: spojovací jazyk, různá délka vět, zakázané konstrukce | Vágní přídavná jména se nedodržují; konkrétní pravidla ano |
| Zahrnutá ukázková poznámka | Ukázka zcela odstraněna | Model zacházel s ukázkou jako se vstupem, na který má reagovat |
Jedno největší poučení z tohoto: vágní přídavná jména nejsou instrukce. Pokyn modelu, aby byl “přirozený”, aktivně podporoval pomlčky a rétorické ozdoby, které porušovaly firemní styl. Nahrazení tohoto konkrétními, testovatelnými pravidly je to, co učinilo styl konzistentním.
Krok 2: Řešte chybějící data místo jejich vymýšlení
Halucinace bývá často rámována jako defekt modelu. U strukturované práce je to obvykle defekt promptu: prompt modelu nikdy neřekl, co dělat, když pole chybí, takže udělal statisticky pravděpodobnou věc a vytvořil věrohodnou hodnotu.
Řešením je protokol pro chybějící data. Rozdělte svá pole na povinná a volitelná. Volitelná pole se v případě nepřítomnosti tiše vynechávají. Povinná pole fungují naopak — pokud jedno chybí, model musí zastavit a vyžádat si ho v přesném formátu místo toho, aby poznámku vygeneroval. Toto jediné pravidlo mění tichou halucinaci na viditelnou, auditovatelnou žádost o další data. Je to rozdíl mezi chybným číslem v regulovaném spisu a poznámkou, která nebyla vůbec vytvořena, protože vstup byl neúplný.
Přihlaste se k odběru newsletteru
Získejte nejnovější tipy, trendy a nabídky zdarma.
Krok 3: Uzamkněte konfiguraci agenta
Se zpevněným promptem musí být uzamčen i samotný agent, aby nic znovu nezavádělo proměnlivost. Celý flow je záměrně minimalistický — tři uzly a nic víc.
Konfigurační volby, na kterých záleželo:
- Systémový prompt v poli System Message, nikdy v poli Input, aby byl čten jako instrukce, nikoli jako data.
- Teplota 0,2. Dostatečně nízká pro maximální konzistenci, dostatečně vysoká, aby se předešlo robotické próze. Nula byla příliš rigidní, jedna příliš kreativní.
- Žádné připojené nástroje. Nástroje pro načítání souborů a URL adres zavádějí nepředvídatelnost a mohou obejít uvažování agenta. Pro tento úkol model nepotřebuje nic kromě promptu a vloženého případu.
- Maximální počet tokenů ponechán na výchozí hodnotě. Omezení tokenů způsobovalo, že se poznámky uřezávaly uprostřed věty, a useknutá poznámka v zákaznickém spisu je sama o sobě regulačním rizikem.
- Instrukce pro tichý start na začátku promptu, aby agent při prvním načtení flow nepotvrzoval pravidla zpět analytikovi.
Jediné provozní pravidlo, na kterém záleží nejvíc
Každá výše uvedená oprava je zmařena jedním špatným zvykem: opětovným použitím stejného chatu. Nejdůležitějším provozním pravidlem pro tým analytiků je začít novou konverzaci pro každý jednotlivý případ. Nikdy nepokračovat v posuzování případů ve stejném okně. Toto je pravidlo, které eliminuje odchylku relace — kořenovou příčinu většiny původních selhání — a jeho dodržování nic nestojí.
Konzistence je architektonický problém, ne problém formulace
Pokud váš tým bojuje s odchylujícím se promptem uvnitř chatového okna, řešením je zpevněný prompt běžící na bezstavovém agentovi. FlowHunt vám umožní uzamknout prompt, pevně nastavit model a teplotu a spouštět čisté volání pro každý případ. Pomůžeme vám se tam dostat.
Funguje to skutečně? 9 modelů, 27 běhů
Metoda je jen tak dobrá jako její důkazy. Otestovali jsme devět modelů proti zpevněnému promptu, pomocí identického reálného případu (trigger intenzity hraní s předchozí historií délky relace) napříč třemi běhy pro každý model — celkem 27 běhů — a každý běh jsme ohodnotili podle 16 compliance kritérií.
Napříč všemi 27 běhy žádný model připravený na produkci nehalucinoval číslo, neobrátil konvenci P/L, nepoužil pomlčku ani neuřízl výstup. Zpevněný prompt eliminoval každý z původních módů selhání u modelů, které vyhověly. Rozdíly, které zůstaly, se týkaly analytické hloubky a konzistence, nikoli správnosti.
| Model | Dodavatel | Průměrné skóre | Produkce | Poznámky |
|---|---|---|---|---|
| GPT-5.6 Luna | OpenAI | 10 / 10 | Ano | Dokonalý ve všech třech bězích; nejvyšší konzistence |
| Claude Fable 5 | Anthropic | 10 / 10 | Ano | Nejlépe zdůvodněné odstavce s výsledkem; nejlepší jednotlivá poznámka |
| Claude Sonnet 5 | Anthropic | 9,8 / 10 | Ano | Žádná halucinace v žádném běhu; nejlepší celkově z Claude modelů |
| Claude Opus 4.8 | Anthropic | 9,8 / 10 | Ano | Nejhlubší analýza; prémiová cena |
| GPT-5.4 Default | OpenAI | 9,5 / 10 | Ano | Jeden chybný název; nejlepší rozpočtová volba |
| Claude Sonnet 4.6 | Anthropic | 8,7 / 10 | Ne | Zaměnil práh triggeru s limitem vkladu ve 2 ze 3 běhů |
| Claude Haiku 4.5 | Anthropic | 8,5 / 10 | Ne | Konzistentní, ale slabé zdůvodnění výsledku |
| Nejlevnější tier | Rozpočtový | 8,0 / 10 | Ne | Přesný název intervence pouze v 1 z 3 běhů |
| DeepSeek V4 Pro | DeepSeek | 7,8 / 10 | Ne | Useknutý výstup v běhu 1; nekonzistentní |
Diskvalifikace jsou poučné. Claude Sonnet 4.6 produkoval nádhernou prózu, ale zaměnil práh triggeru s limitem vkladu — fakticky chybné číslo v regulovaném spisu, což diskvalifikuje bez ohledu na to, jak dobře se text čte. Skutečným problémem jsou výkyvy DeepSeek mezi jednotlivými běhy (6, 8,5, 9): v regulované práci kvalita, která závisí na štěstí, není žádnou kvalitou.
Náklady nejsou omezením
Je lákavé optimalizovat na cenu, ale čísla mluví proti tomu. I nejdražší model připravený na produkci, Claude Opus 4.8, stojí zhruba šest centů za poznámku. Pro tým posuzující 50 případů denně to znamená méně než 90 dolarů měsíčně. Náklady na jediné regulační zjištění vyplývající z nesprávné poznámky by převýšily roční náklady na kterýkoli model ze seznamu. Pro regulovanou compliance agendu volte co nejspolehlivější model, ne nejlevnější.
Jak vypadá zpevněná poznámka
Nejlepší jednotlivá poznámka napříč všemi 27 běhy pocházela od Claude Fable 5. Všimněte si, co dělá: uvádí pozici ve správné konvenci, cituje čísla doslovně, používá přesný název intervence a — což je klíčové — vysvětluje, proč by eskalace byla nepřiměřená, místo aby prostě konstatovala výsledek.
The customer is currently in a winning position of £1,612.50 with an account balance of £8,962.50, which represents an improvement on the winning position of £1,275.00 recorded at the previous review… Session duration was reviewed under Session Duration Level 1 on 19/07 and again on 20/07… Given that those decisions were made within the last few days, insufficient time has elapsed to assess their effectiveness, and repeating or escalating on the same behaviour at this stage would be disproportionate… In this context, No Further Action Required is the proportionate outcome.
To je standard, který regulovaná práce vyžaduje: podložené důkazy, přiměřenost a stejná kvalita u prvního i padesátého případu dne.
Aplikace na váš vlastní regulovaný workflow
Generátor RG poznámek je konkrétní případ, ale metoda se dá zobecnit na jakýkoli proces, kde jazykový model musí produkovat důvěryhodný, opakovatelný výstup na regulovaných nebo vysoce rizikových datech:
- Opusťte chatové okno. Spouštějte každý případ jako bezstavové volání, aby se kontext nemohl hromadit a odchylovat.
- Zpevněte prompt pro primárnost a aktuálnost. Umístěte kritická pravidla nejprve a zopakujte je naposledy. Přidejte sebekontroly.
- Dejte modelu protokol pro chybějící data. Povinná pole blokují generování, pokud chybí; volitelná pole se tiše vynechávají. Nikdy ho nenechte hádat.
- Uzamkněte konfiguraci. Nízká nenulová teplota, žádné zbytečné nástroje, neomezený výstup, prompt v systémové zprávě.
- Testujte, než začnete důvěřovat. Spusťte stejný případ vícekrát napříč kandidátními modely a hodnoťte podle explicitních kritérií. Konzistence napříč běhy je metrika, na které záleží.
Udělejte těchto pět věcí a proměníte model, který odpoledne halucinuje, v model, který pokaždé produkuje výstup připravený na audit. Konzistence, kterou regulovaná práce vyžaduje, je dosažitelná — je to problém architektury a prompt engineeringu, a oba jsou řešitelné.
