Jak model se 7 miliony parametry překonává špičkové AI modely

Úvod

Svět umělé inteligence dlouho vycházel ze základního předpokladu: větší modely jsou lepší. Větší počet parametrů, více trénovacích dat a větší výpočetní kapacity stabilně umožňovaly modelům překonávat menší konkurenty. Průlomová studie společnosti Samsung však tento zažitý pohled zásadně narušuje a může změnit způsob, jakým přemýšlíme o návrhu a efektivitě AI modelů. Malá neuronová síť se 7 miliony parametry—zlomek velikosti špičkových modelů jako GPT-4, Gemini 2.5 Pro či DeepSeek—nyní překonává tyto obry v některých z nejnáročnějších úloh uvažování v oblasti umělé inteligence. Tento mimořádný úspěch není výsledkem prostého zvětšování trénovacích dat nebo výpočetních zdrojů. Znamená totiž zásadní přehodnocení přístupu neuronových sítí k řešení složitých úloh pomocí techniky zvané rekurzivní hierarchické uvažování kombinované s hlubokým dohledem. V tomto komplexním průvodci se podíváme, jak tento malý model funguje, proč je tak účinný a jaký může mít vliv na budoucnost vývoje i nasazení AI systémů.

Limity současných velkých jazykových modelů

Než doceníme inovaci Tiny Recursive Modelu, musíme pochopit, proč velké jazykové modely s komplexními úlohami uvažování mají vůbec problém. Moderní velké jazykové modely jako GPT-4, Claude či Gemini fungují na základním principu: predikují další token v sekvenci na základě předchozích. Tento autoregresivní přístup je velmi účinný v úlohách jako překlad, sumarizace či kreativní psaní. Pokud však přijde na složité úlohy vyžadující vícestupňovou logickou dedukci, splnění omezení či abstraktní rozpoznávání vzorů, začnou se projevovat zásadní limity. Klíčový problém spočívá v tom, že jediná chybná predikce tokenu může znehodnotit celou odpověď. Představte si řešení složité rovnice: pokud se model splete hned v prvním kroku, všechny další jsou špatně. Tento efekt kaskádové chyby s rostoucí složitostí úloh prudce narůstá. Navíc velké jazykové modely ve skutečnosti „neuvažují“ jako člověk. Provádějí sofistikované párování vzorů podle trénovacích dat, nikoliv skutečnou logickou inferenci. Když narazí na zcela nové úlohy vyžadující uvažování mimo svůj trénink, často selhávají. Proto i nejpokročilejší modely mají potíže s benchmarky typu ARC AGI (Abstraction and Reasoning Corpus), které záměrně testují schopnost řešit nové abstraktní úkoly vyžadující skutečné uvažování, nikoliv pouhé rozpoznávání vzorů.

Vývoj technik uvažování v AI

Výzkumná komunita AI vyvinula řadu technik pro řešení limitů velkých jazykových modelů v oblasti uvažování, z nichž každá má své přednosti i slabiny. Nejznámější je tzv. chain-of-thought prompting, technika dnes běžná v moderních AI systémech. Chain-of-thought model nutí generovat krok za krokem postup uvažování před samotnou odpovědí. Místo okamžitého závěru model „promýšlí“ úlohu a generuje mezikroky, které vedou k odpovědi. Tento přístup je překvapivě účinný a studie ukazují, že výrazně zlepšuje výkon v úlohách uvažování. Má však i zásadní nevýhody. Zaprvé je výpočetně náročný—generování více kroků znamená zpracování většího množství tokenů, což prodlužuje čas i nároky na výpočetní výkon. Zadruhé, vyžaduje kvalitní tréninková data s uvažováním, která je obtížné a drahé vytvořit. Třetí a možná největší nevýhodou je křehkost tohoto přístupu. Vygenerované uvažování nemusí být správné, a pokud je vadné, bude i výsledná odpověď chybná. Model totiž své uvažování fakticky neověřuje—jen vytváří věrohodně znějící vysvětlení, která ale nemusejí být logicky správná. Další technikou je pass-at-K sampling, kde model generuje více kandidátních odpovědí a vybírá tu nejlepší. Pokud se model zeptáte „Kolik je 5×5?“, může vygenerovat deset různých odpovědí a zvolit nejpřesnější. To sice zvyšuje přesnost, ale je to opět výpočetně náročné a neřeší základní problém: model stále „neuvažuje“, jen generuje více predikcí a doufá, že některá bude správná. Tyto techniky představují tzv. škálování výpočetního výkonu v době inference—použití více prostředků pro vyšší kvalitu odpovědi. Přesto je tento přístup zásadně omezen tím, že samotný model stále neprovádí skutečné uvažování, jen generuje více návrhů.

Benchmark ARC AGI: Proč je důležitý

Abychom pochopili význam úspěchu Tiny Recursive Modelu, musíme se seznámit s benchmarkem, na kterém je hodnocen: ARC AGI (Abstraction and Reasoning Corpus). ARC AGI byl vytvořen, aby testoval něco, co většina AI benchmarků neřeší: skutečnou schopnost abstraktního uvažování. Na rozdíl od benchmarků zaměřených na znalosti či rozpoznávání vzorů představuje ARC AGI nové vizuální hádanky, které vyžadují odhalení abstraktního vzoru a jeho aplikaci v nových situacích. Úlohy spočívají v tom, že model dostane několik vstupů a výstupů a musí určit pravidlo či transformaci, kterou pak uplatní na nové vstupy. Tyto úlohy nelze řešit memorováním nebo párováním z tréninku; vyžadují skutečné uvažování a schopnost zobecnit abstraktní principy. Od svého vzniku v roce 2019 se ARC AGI stal zlatým standardem pro hodnocení schopností uvažování u AI systémů. I po šesti letech vývoje velkých jazykových modelů na něm nebylo dosaženo lidské přesnosti. To je silná připomínka, že navzdory působivým schopnostem moderní AI systémy stále tápou v úlohách, které lidé považují za relativně snadné. Gemini 2.5 Pro, jeden z nejpokročilejších modelů, dosahuje pouze 4,9 % na ARC AGI 2 i při využití rozsáhlých výpočetních prostředků. Novější benchmark ARC AGI 3 je ještě náročnější a špičkové modely s ním mají značné potíže. V tomto kontextu je úspěch Tiny Recursive Modelu skutečně pozoruhodný. Model se 7 miliony parametry—méně než 0,01 % parametrů Gemini 2.5 Pro—dosahuje 45 % na ARC AGI 1 a 8 % na ARC AGI 2, což výrazně překonává tyto gigantické modely.

Co je rekurzivní hierarchické uvažování?

Klíčovou inovací Tiny Recursive Modelu je technika zvaná rekurzivní hierarchické uvažování, která znamená zásadně odlišný přístup k řešení složitých úloh neuronovými sítěmi. Pomůže analogie: představte si, že řešíte těžkou sudoku úlohu. Nevyřešíte ji jedním průchodem a nerozhodnete o všem najednou. Uděláte odhad, zhodnotíte, zda dává smysl, a pokud ne, upravíte jej a zkusíte znovu. Tento cyklus opakujete, pokaždé vylepšujete řešení na základě předchozích pokusů i uvažování, proč selhaly. Tento proces opakovaného zpřesňování je podstatou rekurzivního hierarchického uvažování. Model udržuje dvě zásadní informace: aktuální nejlepší odhad a záznam uvažování, které k němu vedlo. V každém rekurzivním kroku model obě tyto informace aktualizuje—prohlédne svůj současný odhad, zamyslí se nad uvažováním, které ho k němu přivedlo, a na základě toho navrhne lepší řešení. Následně tento proces opakuje, přičemž pokaždé využívá vylepšený odhad i aktualizované uvažování jako vstup pro další iteraci. Původní model hierarchického uvažování (HRM), který byl inspirací, využíval dvě samostatné neuronové sítě na různých „rychlostech“ či úrovních. Biologická motivace byla v tom, že lidský mozek také funguje v různých časových frekvencích—některé procesy jsou rychlé a reaktivní, jiné pomalé a zaměřené na hlubší úvahy. Dvě sítě HRM měly toto chování emulovat, jedna pracovala rychle, druhá pomaleji a společně tvořily smyčku. Výzkumníci ze Samsungu však tuto biologickou motivaci zpochybnili. Paraleny mezi neuronovými sítěmi a mozkem jsou sice zajímavé, ale samy o sobě nevysvětlují, proč by určitá architektura měla být účinná. Původní HRM publikace stavěla hlavně na biologických argumentech a složitých matematických důkazech (fixed-point theorems), ale neposkytla jasné ablační studie, které by ukázaly, co skutečně vede ke zlepšení výkonu. Výzkumníci položili jednoduchou, ale zásadní otázku: proč dvě sítě? Proč ne jedna? Proč ne tři nebo čtyři? A hlavně, proč ospravedlňovat architekturu biologií místo empirických výsledků?

Tiny Recursive Model: Inovace skrze zjednodušení

Odpověď na tyto otázky vedla ke vzniku Tiny Recursive Model (TRM), který převzal jádro rekurzivního uvažování, ale odhodil složitost i biologická ospravedlnění. Místo dvou středně velkých sítí na různých úrovních používá TRM jedinou malou síť se dvěma vrstvami. Model je neuvěřitelně jednoduchý—jeho pseudokód se vejde na jednu obrazovku. Tato jednoduchost není omezením, ale výhodou. Odpoutáním se od zbytečné složitosti se výzkumníci mohli soustředit na to, co je skutečně důležité: samotný proces rekurzivního zpřesňování. Klíčové je, že model potřebuje udržovat dvě informace: aktuální odhad a záznam uvažování, které k němu vedlo. Nejde o různé úrovně či časové frekvence, ale o dva typy informací, které model sleduje. V každém kroku rekurze model vezme tyto informace, zpracuje je ve své dvouvrstvé síti a vygeneruje aktualizovanou verzi odhadu i záznamu uvažování. Tento proces se opakuje, přičemž každá iterace může řešení vylepšit. Krása tohoto přístupu je ve vytvoření tzv. „virtuální hloubky“. Přestože má síť pouze dvě vrstvy, opakovaným průchodem získává efekt větší hloubky. Jako by model simuloval mnohem hlubší síť pomocí iterace místo přidávání vrstev. To je zásadní vhled, který zpochybňuje dosavadní dogma, že hlubší sítě jsou vždy lepší. V tradičním návrhu neuronových sítí přidáváme vrstvy, abychom zvýšili kapacitu modelu. Tiny Recursive Model však ukazuje, že podobných nebo lepších výsledků lze dosáhnout udržením jednoduché architektury a zvýšením počtu rekurzivních kroků. Jde o zásadně odlišný pohled na návrh modelů.

Hluboký dohled: Učení v každém kroku

Druhou klíčovou inovací Tiny Recursive Modelu je technika zvaná hluboký dohled (deep supervision). Zatímco rekurzivní uvažování zajišťuje mechanismus postupného zpřesňování, hluboký dohled umožňuje modelu učit se účinně v každé iteraci. V tradičním učení s učitelem model dostane zpětnou vazbu pouze na konečný výstup. Pokud je finální odpověď špatně, model se dozví, že celý proces byl chybný, ale neví, v kterém mezikroku nastala chyba. Hluboký dohled to mění tím, že poskytuje signály dozoru v několika mezikrocích uvažování. Místo kontroly pouze výsledné odpovědi dostává model zpětnou vazbu v každém kroku rekurze. Model se tak učí nejen, zda je finální odpověď správně, ale i jestli každý dílčí krok v procesu uvažování směřuje správným směrem. Dopad hlubokého dohledu na výkon je dramatický. V úvodních experimentech použití deep supervision zdvojnásobilo přesnost oproti klasickému dohledu pouze na výstup—zlepšilo ji z 19 % na 39 %. To je obrovské zlepšení jedinou architektonickou změnou. Důvodem je, že model dostává mnohem bohatší učící signály. Pokud model dostane zpětnou vazbu pouze na finální odpověď, musí pomocí backpropagace zjistit, který mezikrok vedl k chybě, což je náročný problém přisuzování příčiny, zvláště v hlubokých sítích. Přímý dohled v každém kroku poskytuje jasnou zpětnou vazbu a usnadňuje učení správného chování. Navíc hluboký dohled zabraňuje modelu „zaseknout se“ v lokálních minimech. Pokud model udělá chybu už v prvním kroku, hluboký dohled ji odhalí ihned a poskytne zpětnou vazbu k nápravě, místo aby chyba propadla až na konec.

Výsledky: Čísla, která mění zažité představy

Zlepšení dosažená Tiny Recursive Modelem jsou mimořádná. V benchmarku Sudoku Extreme model zvýšil přesnost z 55 % na 87 %. V Maze Hard z 75 % na 85 %. V ARC AGI 1 dosáhl 45 % oproti 40 % předchozího přístupu. V ARC AGI 2 zlepšil výsledek z 5 % na 8 %. Přestože zlepšení v ARC AGI 2 vypadá drobně, jde o 60% relativní nárůst, což je v oblasti, kde se pokrok často měří v jednotkách procent, velmi významné. Ještě důležitější je velikost modelu. Tiny Recursive Model má pouze 7 milionů parametrů. Pro srovnání, Gemini 2.5 Pro, DeepSeek R1 i Claude 3.7 mají stovky miliard parametrů. Tiny Recursive Model dosahuje konkurenceschopných nebo lepších výsledků s méně než 0,01 % parametrů těchto špičkových modelů. Poměr výkonu k počtu parametrů je řádově vyšší. To má zásadní důsledky pro nasazení AI: menší modely jsou levnější na provoz, vyžadují méně infrastruktury a lze je nasadit do edge zařízení nebo prostředí s omezenými zdroji. Pokud model se 7 miliony parametry dosahuje srovnatelných či lepších výsledků než modely se stovkami miliard parametrů, otevírá to zcela nové možnosti pro AI aplikace. Jediný model, který Tiny Recursive Model překonal, byl Gro for Thinking, ale ten má přes bilion parametrů—více než 140 000× více než TRM. I s tímto rozdílem je efektivita Tiny Recursive Modelu ohromující.

Proč rekurzivní uvažování funguje: Mechanismus úspěchu

Abychom pochopili účinnost rekurzivního uvažování, musíme se zamyslet nad povahou složitých úloh uvažování. Mnohé z nich mají podobnou strukturu: je třeba najít řešení splňující několik omezení nebo objevit vzor vysvětlující sadu pozorování. Tyto úlohy nelze vyřešit jediným průchodem neuronovou sítí, ale vyžadují postupné zpřesňování—navrhnout kandidáta, ověřit ho, zjistit, kde selhává, a vylepšit ho. Přesně to umožňuje rekurzivní uvažování. Udržováním aktuálního odhadu i záznamu uvažování může model tento proces opakovaného zpřesňování realizovat. Záznam uvažování zde funguje jako pracovní paměť modelu, která sleduje, co už bylo vyzkoušeno, co fungovalo a co ne. To je zásadně odlišné od tradičních neuronových sítí, které pouze zpracují vstup sekvencí vrstev a vydají výstup bez možnosti vracet se k předchozím rozhodnutím nebo sledovat historii svého uvažování. Rekurzivní uvažování přináší mechanismus pro opakované zpřesňování a uchovávání záznamu uvažování, což umožňuje modelu řešit úlohy podobně jako člověk. Když lidé řeší těžkou hádanku, také postupují cyklicky—navrhují řešení, ověřují ho, hledají chyby a zpřesňují ho. Rekurzivní uvažování umožňuje neuronovým sítím dělat totéž. Dalším důležitým poznatkem je, že rekurzivní uvažování představuje formu regularizace. Model je nucen udržovat záznam uvažování a iterativně zpřesňovat odpověď, čímž se učí obecnější řešení. Model, který může vydat odpověď jedním průchodem, může memorovat konkrétní vzory z tréninku. Model, který musí iterativně zpřesňovat odpověď a uchovávat záznam uvažování, je nucen učit se obecné principy použitelné na nové úlohy. To vysvětluje, proč Tiny Recursive Model dobře zobecňuje na nové úlohy, přestože je trénován na relativně malém množství dat.

FlowHunt a automatizace složitých workflow uvažování

Přínos Tiny Recursive Modelu sahá daleko za akademický výzkum do praktických aplikací. Organizace stále více potřebují automatizovat složité úlohy uvažování—od datové analýzy a rozpoznávání vzorů po rozhodování a řešení problémů. Tyto úlohy tradičně vyžadovaly buď lidské experty, nebo velké a drahé AI modely. Tiny Recursive Model otevírá možnost efektivní automatizace těchto úloh. Platforma FlowHunt pro automatizaci AI workflow může tyto pokročilé modely využívat k vytváření efektivnějších a levnějších automatizačních řešení. Místo spoléhání na masivní modely s obrovskými nároky na výpočetní kapacitu může FlowHunt integrovat menší a efektivnější modely typu Tiny Recursive Model do automatizovaných workflow. To umožňuje organizacím budovat inteligentní systémy, které zvládnou složité úlohy uvažování bez režijních nákladů na provoz obřích modelů. Například workflow, které má analyzovat zákaznická data, hledat vzory a navrhovat doporučení, by při použití tradičního velkého jazykového modelu bylo nákladné na provoz. S malým rekurzivním modelem integrovaným ve FlowHunt lze stejnou úlohu provést za zlomek ceny. Model může iterativně zpřesňovat analýzu, uchovávat záznamy svého uvažování pro transparentnost a zpětně vysvětlit, jak ke svým závěrům dospěl. To je zásadní v oblastech, kde je důležitá vysvětlitelnost—například ve zdravotnictví, financích či právu. Záznam uvažování poskytuje přehledný záznam myšlenkového postupu modelu, což usnadňuje ověření a pochopení jeho rozhodnutí. Navíc efektivita malých rekurzivních modelů umožňuje nasadit jejich schopnosti na edge zařízeních či v prostředích s omezenými zdroji. Mobilní aplikace tak mohou získat dříve nemyslitelnou míru „inteligence“ i bez připojení ke cloudu. To otevírá zcela nové možnosti pro chytré aplikace pracující offline nebo s minimální konektivitou.

Výzva pro škálovací zákony: Posun v paradigmatu vývoje AI

Úspěch Tiny Recursive Modelu zpochybňuje jeden z nejzákladnějších předpokladů moderního vývoje AI: škálovací zákony, které oboru dominují poslední dekádu. Tyto zákony říkají, že výkon roste předvídatelně s velikostí modelu, množstvím dat i výpočetními prostředky. Větší modely jsou lepší. Více dat je lepší. Více výpočetního výkonu je lepší. Tento předpoklad vedl k závodu ve zvyšování velikosti modelů, investicím v řádu miliard dolarů a trénování modelů se stovkami miliard až bilionem parametrů. Tiny Recursive Model naznačuje, že tento předpoklad může být v určitých kontextech neúplný či dokonce zavádějící. Díky jiné architektuře—rekurzivnímu uvažování s hlubokým dohledem—může malý model dosahovat srovnatelného nebo lepšího výkonu než masivní modely na vybraných úlohách. To neznamená, že škálovací zákony jsou špatné; spíš to ukazuje, že k vysokému výkonu vede více cest a škálování velikosti modelu je jen jednou z nich. Má to zásadní dopady na budoucnost AI. Pokud lze dosáhnout výkonu velkých modelů pomocí chytrých architektonických inovací v malých modelech, může se vývoj AI přesunout od honby za velikostí k vývoji efektivních architektur s menším počtem parametrů. To by bylo přínosné pro životní prostředí, efektivitu i dostupnost. Trénink a provoz masivních modelů spotřebuje obrovské množství elektřiny a výpočetních zdrojů. Pokud lze dosáhnout podobného výkonu s modely o několik řádů menšími, sníží se ekologická stopa AI a zvýší dostupnost i pro organizace s omezenými prostředky. Tiny Recursive Model také ukazuje, že vztah mezi velikostí modelu a zobecněním může být složitější, než jsme si mysleli. Tradiční dogma říká, že větší modely lépe zobecňují, protože mají větší kapacitu pro učení složitých vzorů. Tiny Recursive Model však dokazuje, že menší modely mohou zobecňovat lépe, pokud mají správně navržené induktivní předpoklady. Díky mechanismům iterativního zpřesňování a udržování záznamu uvažování je model nucen učit se obecnější řešení. To je důkaz, že architektonické inovace mohou být někdy důležitější než samotná velikost modelu.

Princip jednoduchosti: Méně znamená více

Jedním z nejpozoruhodnějších rysů Tiny Recursive Modelu je jeho jednoduchost. Model používá pouze dvě vrstvy a svůj výkon získává díky rekurzivnímu zpřesňování, nikoliv architektonické složitosti. Tato jednoduchost je záměrná a vychází z empirických zjištění. Výzkumníci zjistili, že přidávání vrstev ve skutečnosti snižovalo schopnost modelu zobecňovat kvůli přeučení. To je v rozporu s tradičním přesvědčením, že hlubší sítě jsou obecnější a lepší. V oblasti úloh uvažování je však hloubka dosažená rekurzí účinnější než hloubka dosažená přidáváním vrstev. Proč tomu tak je? Jedním vysvětlením je, že více vrstev zvyšuje kapacitu modelu k memorování konkrétních vzorů z tréninku, což vede k přeučení. Pokud je síť mělká a místo toho se zvyšuje počet rekurzivních kroků, je model nucen učit se obecnější řešení. Každý krok rekurze využívá stejnou dvouvrstvou síť, která se tak musí naučit užitečné výpočty aplikovatelné opakovaně. Toto omezení nutí model osvojit si základní principy, ne jen zapamatovat konkrétní příklady. Další vysvětlení souvisí s povahou úloh uvažování. Ty často vyžadují právě iterativní zpřesňování a splnění omezení. Mělká síť aplikovaná rekurzivně se na takové úlohy hodí, protože se zaměřuje na postupné vylepšování řešení. Hluboká síť by se naopak pokoušela vše vyřešit najednou, což je méně účinné. Jednoduchost Tiny Recursive Modelu má i praktické výhody. Jednodušší modely se lépe analyzují, ladí i upravují. Pokud chcete zjistit, proč model vydal konkrétní rozhodnutí, můžete projít jeho uvažování krok za krokem. Pokud potřebujete model přizpůsobit na nový typ úlohy, můžete cíleně upravit architekturu nebo trénink. To je rozdíl oproti obřím modelům s miliardami parametrů, které jsou fakticky „černými skříňkami“. Princip „méně je více“ platí i mimo architekturu modelu. Výzkumníci zjistili, že model nepotřebuje složité matematické důkazy nebo biologická ospravedlnění. Původní HRM stál na fixed-point theorems a biologických argumentech. Tiny Recursive Model funguje bez těchto teorií. Stačí, že uchovává dvě informace a iterativně je zpřesňuje. To naznačuje, že někdy je nejjednodušší vysvětlení to nejlepší a není třeba modely zbytečně komplikovat teoretickými konstrukcemi.

Praktické důsledky a budoucí směry

Úspěch Tiny Recursive Modelu má zásadní dopady na budoucí vývoj i nasazení AI systémů. Za prvé ukazuje, že efektivita by měla být primárním cílem návrhu, ne až dodatečnou optimalizací. Místo budování obřích modelů a jejich následné komprese či optimalizace pro nasazení bychom měli modely od začátku navrhovat efektivně. Tiny Recursive Model ukazuje, že s pečlivě navrženou architekturou lze dosáhnout vysokého výkonu i s malým a úsporným modelem. Za druhé naznačuje, že architektonické inovace mohou být důležitější než samotné škálování. Dosud se obor zaměřoval hlavně na zvětšování modelů, ale Tiny Recursive Model ukazuje, že chytré architektonické změny mohou být účinnější než pouhé přidávání parametrů. To může vést k většímu důrazu na návrh architektury a opuštění mentality „čím větší, tím lepší“. Za třetí ukazuje, že schopnosti uvažování lze do modelů implementovat architektonicky, nikoliv jen škálováním. Tiny Recursive Model dosahuje výkonu v úlohách uvažování ne proto, že je obrovský, ale protože je navržen tak, aby umožňoval iterativní zpřesňování a uchovávání záznamu uvažování. To může vést k novým přístupům ke stavbě AI systémů schopných uvažovat. Za čtvrté má dopad na způsob, jakým hodnotíme a testujeme AI systémy. ARC AGI se ukázal jako cenný benchmark pro hodnocení schopností uvažování a úspěch Tiny Recursive Modelu na něm naznačuje, že bychom měli pokračovat ve vývoji testů zaměřených na skutečné uvažování, nikoliv jen na rozpoznávání vzorů či vyhledávání znalostí