Dekáda AI agentů: Karpathy o časové ose AGI

Úvod

Andrej Karpathy, jeden z nejvlivnějších osobností v oblasti umělé inteligence a bývalý ředitel AI v Tesle, nedávno vzbudil pozornost svým tvrzením, že umělá obecná inteligence (AGI) je stále přibližně 10 až 15 let vzdálená. Tento pohled ostře kontrastuje s převládajícím optimismem v Silicon Valley a mezi AI nadšenci, kteří často prohlašují, že zásadní schopnosti AI jsou téměř za rohem. Karpathy však nepopírá pozoruhodný pokrok, kterého jsme svědky u velkých jazykových modelů od konce roku 2022, ale nabízí mnohem nuancovanější a realističtější pohled na to, kde se skutečně na cestě vývoje AI nacházíme. Jeho analýza odhaluje zásadní propast mezi působivými schopnostmi současných AI systémů a množstvím práce nezbytné k dosažení skutečné umělé obecné inteligence. V tomto rozsáhlém rozboru prozkoumáme Karpathyho detailní uvažování o časových osách AGI, rozdíl mezi „rokem agentů“ a „dekádou agentů“, zásadní rozdíly v učení LLM a biologických systémů a proč zůstává skeptický k některým populárním přístupům, jako je reinforcement learning, coby hlavní cesta vpřed. Pochopení těchto postřehů je klíčové pro každého, kdo chce realisticky uchopit vývojovou trajektorii AI a výzvy, které nás čekají.

Pochopení umělé obecné inteligence: Za hranicemi současných schopností

Umělá obecná inteligence představuje teoretický stav, kdy AI systém dokáže chápat, učit se a aplikovat znalosti napříč jakoukoli intelektuální oblastí se stejnou flexibilitou a přizpůsobivostí jako člověk. Na rozdíl od úzce zaměřených AI systémů, které excelují v konkrétních úlohách—jako je hraní šachu, rozpoznávání obrazů nebo generování textu—by AGI disponovala schopností přenášet učení mezi různými doménami, řešit nové problémy bez explicitního tréninku a prokazovat skutečné schopnosti uvažování. Rozdíl mezi současnými velkými jazykovými modely a pravou AGI není jen otázkou velikosti nebo výkonových metrik; jedná se o zásadní rozdíl v tom, jak tyto systémy fungují a čeho jsou schopny dosáhnout. Současné LLM, navzdory svým pozoruhodným schopnostem generovat souvislý text, odpovídat na složité otázky či psát kód, jsou v jádru systémy na rozpoznávání vzorů trénované na ohromném množství internetových dat. Excelují v interpolaci v rámci tréninkových dat, ale mají problémy s opravdovou extrapolací a řešením nových problémů způsoby, které by pro člověka s obecnou inteligencí byly triviální. Cesta k AGI vyžaduje nejen lepší modely, ale zcela nové přístupy k učení, uvažování a interakci se světem. Právě proto je Karpathyho odhad 10+ let tak důležitý—uznává jak skutečný pokrok, tak zásadní výzvy, které nelze překonat jen inkrementálním vylepšováním.

Proč AI průmysl podceňuje časové nároky vývoje

Technologický průmysl má dlouhou historii nadhodnocování krátkodobého pokroku a podceňování dlouhodobých změn. V kontextu AI se tento sklon projevuje jako nesoulad mezi působivými schopnostmi špičkových modelů a skutečným nasazením těchto schopností v ekonomicky hodnotných systémech. Když OpenAI, Google a další laboratoře oznamují nové modely s ohromujícími schopnostmi, média a investiční komunita často tyto schopnosti extrapolují do okamžitého dopadu v reálném světě. Cesta od schopného modelu k nasazenému, spolehlivému a ekonomicky přínosnému systému však zahrnuje řadu výzev, které bývají v nadšení z technických průlomů přehlíženy. Tyto výzvy zahrnují budování robustní infrastruktury, integraci AI systémů do stávajících podnikových procesů, řešení otázek bezpečnosti a spolehlivosti, vývoj vhodných uživatelských rozhraní a především řešení „scaffolding problému“—propasti mezi surovými schopnostmi modelů a praktickými aplikacemi. Karpathyho pohled odráží zkušenost s budováním AI systémů ve velkém měřítku. Uvědomuje si, že ti, kdo jsou nejvíce ponořeni do vývoje AI—v laboratořích, firmách i komunitách—jsou často nejoptimističtější ohledně krátkodobých časových horizontů, často až pět- až desetinásobně. Tento optimismus pramení z blízkosti ke špičkovým schopnostem a tendence podceňovat integrační překážky. Skeptici a odpůrci AI naopak často zcela ignorují skutečný pokrok, kterého bylo dosaženo. Karpathy se záměrně staví do středu, uznává skutečné průlomy i množství práce, která ještě zbývá.

Rozdíl mezi rokem agentů a dekádou agentů

Jedno z Karpathyho nejdůležitějších upřesnění se týká terminologie kolem AI agentů. Když lídři průmyslu tvrdí, že „rok 2025 je rokem agentů“, myslí tím zpravidla období, kdy AI agenti budou hlavním předmětem zájmu, investic a počátečních implementací. To se téměř jistě stane skutečností—již nyní vidíme výrazný zájem o agentní systémy, například s nástroji jako Operator od OpenAI, které dokážou ovládat webový prohlížeč a vykonávat úkoly za uživatele. Karpathy však tvrdí, že zatímco rok 2025 skutečně může být rokem, kdy agenti získají pozornost, skutečný rozvoj a rozšíření opravdu užitečných, spolehlivých a ekonomicky hodnotných agentů zabere celou dekádu. Tento rozdíl je zásadní, protože odděluje cykly nadšení od skutečného technologického zrání. „Dekáda agentů“ představuje období, během nějž se vyvine a zlepší infrastruktura, osvědčené postupy, bezpečnostní mechanismy a integrační vzory agentních systémů. Během této dekády se agenti posunou od působivých ukázek ke spolehlivým nástrojům, na které se firmy i jednotlivci budou spoléhat při klíčových úkolech. Tato časová osa odpovídá historickým vzorcům adopce technologií—internet se stal středem zájmu v 90. letech, ale skutečně proměnil ekonomiku až ve 2000s a 2010s. Podobně AI agenti mohou získat pozornost v roce 2025, ale jejich skutečný ekonomický dopad se projeví až v následující dekádě.

Jak si AI agenti stojí vůči humanoidním robotům: Digitální vs. fyzická automatizace

Karpathy vytváří zajímavou paralelu mezi AI agenty v digitálním světě a humanoidními roboty ve světě fyzickém. Oba představují snahu vyvinout univerzální systémy schopné plnit libovolné úkoly skrze rozhraní navržené člověkem—v případě agentů je to webový prohlížeč a klávesnice/myš, v případě robotů lidské tělo se senzory a aktuátory. Toto srovnání ukazuje, proč digitální agenti pravděpodobně dosáhnou praktického využití rychleji než fyzičtí roboti, navzdory tomu, že fyzický svět může nabídnout větší tržní příležitosti. Klíčovým poznatkem je, že manipulace s digitálními informacemi je přibližně tisíckrát levnější než manipulace s fyzickou hmotou. AI agent může provést miliony úkolů na internetu s minimálními výpočetními náklady, zatímco humanoidní robot se musí fyzicky pohybovat, manipulovat s předměty a překonávat fyzikální omezení. Tento rozdíl v nákladech znamená, že digitální agenti pravděpodobně dosáhnou ekonomické životaschopnosti a masového nasazení dříve než humanoidní roboti. Karpathy však upozorňuje na zajímavý protiklad: tržní příležitost ve fyzickém světě může být nakonec větší než v digitálním světě. Znalostní práce—oblast působnosti digitálních agentů—je jistě rozsáhlý trh, ale fyzická automatizace může v budoucnu proměnit výrobu, stavebnictví, logistiku a řadu dalších oborů. Současné zaměření na digitální agenty odráží nejen technickou proveditelnost, ale také okamžitou ekonomickou příležitost v automatizaci znalostní práce. Jak budou digitální agenti dozrávat a nabývat hodnoty, získané zdroje a poznatky urychlí i pokrok ve fyzické robotice, což povede ke smíšenému autonomnímu světu, kde budou lidé stále více působit jako vysoce úrovňoví dozorci nad automatizací v digitální i fyzické sféře.

FlowHunt a budoucnost orchestrací AI agentů

Jak organizace začínají implementovat AI agenty, stává se stále důležitější výzvou orchestrace více agentů, řízení jejich interakcí a zajištění spolehlivého fungování. Právě zde hrají platformy jako FlowHunt zásadní roli v nové infrastruktuře AI. FlowHunt umožňuje týmům vytvářet, testovat a nasazovat složité AI workflow, které využívají více agentů a modelů společně. Místo izolovaného využívání jednotlivých AI schopností umožňuje FlowHunt vytvářet sofistikované automatizační pipeline, jež propojují výzkum, generování obsahu, analýzu a rozhodování do ucelených systémů. Platforma řeší mnoho scaffolding výzev, které Karpathy označuje jako klíčové pro dekádu agentů. Díky nástrojům pro návrh workflow, monitoring a optimalizaci pomáhá FlowHunt překonávat propast mezi působivými schopnostmi AI a praktickými, ekonomicky hodnotnými aplikacemi. S rozvojem dekády agentů budou platformy, které dokážou efektivně orchestrálně řídit agentní systémy, stále cennější a umožní organizacím získat z AI maximum při zachování kontroly, transparentnosti a spolehlivosti.

Rámec zvířata vs. duchové: Jak se učí LLM

Jedním z nejpodnětnějších Karpathyho příspěvků do AI diskuse je rozlišení mezi tím, jak se učí zvířata a jak se učí velké jazykové modely. Tento rámec poskytuje klíčový vhled do schopností i omezení současných AI systémů. Zvířata, včetně lidí, se rodí s obrovským množstvím vrozené inteligence zakódované v DNA během milionů let evoluce. Novorozené mládě zebry například dokáže během několika hodin po narození vstát a chodit—což vyžaduje sofistikované pochopení rovnováhy, ovládání pohybu i prostorového vnímání. Tyto znalosti nejsou naučené; jsou zděděné evolučními procesy. Učení, kterým zvířata skutečně procházejí, je ve srovnání s vrozenými znalostmi relativně malé. Učí se zdokonalovat instinkty, přizpůsobovat konkrétnímu prostředí a rozvíjet dovednosti v rámci evolučního základu. Oproti tomu velké jazykové modely se učí zásadně odlišně. Namísto zděděných evolučních znalostí jsou LLM trénovány na obrovském množství internetových textů pomocí predikce dalšího slova—v podstatě se učí předpovídat další slovo v sekvenci. Tento přístup je mimořádně efektivní v zachycování vzorců v lidských znalostech a jazyce, ale funguje mechanismem, který Karpathy popisuje spíše jako „duchové či spiritové“ než biologické učení. LLM nemají ztělesněnou, evoluční znalost jako zvířata; místo toho absorbovaly vzorce z lidsky generovaných textů. Tento rozdíl má zásadní důsledky pro pochopení silných i slabých stránek současných AI systémů.

Problém memorování: Proč LLM zatím negeneralizují

Zásadní omezení současných LLM podle Karpathyho spočívá v jejich tendenci memorovat místo generalizace. Tyto modely sice vykazují působivé výkony v benchmarcích i praktických aplikacích, ale většina jejich úspěchů pramení z toho, že během tréninku viděly podobné vzory, nikoli ze skutečného porozumění a generalizace. Skutečná generalizace by znamenala schopnost aplikovat naučené principy na nové situace, které se podstatně liší od tréninkových dat. Právě zde jsou důležité benchmarky jako ARC Prize (Abstraction and Reasoning Corpus)—testují přímo generalizaci, nikoli jen memorování. Rozdíl mezi memorováním a generalizací není jen teoretická otázka; je zásadní pro dosažení AGI. Systém, který memoruje, může být úspěšný v úlohách podobných tréninkovým datům, ale u skutečně nových problémů selže. Dosažení skutečné generalizace vyžaduje zásadně odlišné mechanismy učení, než jaké jsou nyní využívány při tréninku LLM. Karpathyho skepse ohledně současné cesty k AGI částečně pramení z poznání, že jsme vytvořili působivé stroje na memorování, ale ještě jsme neodhalili principy skutečné generalizace. Modely jsou „duchové“ v tom, že absorbovaly vzorce z lidských znalostí, ale chybí jim hluboké porozumění a flexibilní uvažování, jaké má biologická inteligence. Přechod od memorování ke generalizaci bude vyžadovat nejen lepší tréninková data nebo větší modely, ale nové přístupy k učení, které budou více odpovídat tomu, jak biologické systémy chápou svět prostřednictvím interakce.

Reinforcement learning: Příslib a omezení

Reinforcement learning (RL) je v centru pozornosti mnoha AI laboratoří, které usilují o AGI—společnosti jako OpenAI, DeepMind a další do RL masivně investují. Karpathy však k RL jako hlavní cestě k AGI přistupuje se značnou skepsí, přestože uznává jeho potenciál. Jeho kritika se zaměřuje na několik zásadních omezení současných RL přístupů. Za prvé identifikuje problém, který nazývá „sání supervize brčkem“—tedy velmi špatný poměr signálu k šumu v RL. Jinými slovy, množství skutečného učení získaného na jednotku výpočtu je velmi malé. Tato neefektivita je čím dál problematičtější, jakmile RL škálujeme do složitějších domén. Za druhé Karpathy upozorňuje na problém odměn založených na výsledku v RL systémech. Když model dostává zpětnou vazbu pouze za to, zda je jeho finální odpověď správná, těžko se učí z mezikroků, které k odpovědi vedly. Představme si jednoduchý příklad: pokud model řeší matematický problém s několika chybnými mezikroky, ale dorazí ke správné konečné odpovědi, odměněn je celý myšlenkový postup, včetně chybných kroků. To vytváří šum v učícím signálu a může posilovat špatné vzorce uvažování. Odměny za proces se snaží tento problém řešit tím, že poskytují zpětnou vazbu i za mezikroky, ale přinášejí další potíže. Pokud model udělá pět správných mezikroků, ale závěrečný výsledek je špatný, signál z procesní odměny je rozporuplný—mezikroky byly správné, ale celkový výsledek je špatný. Tato nejednoznačnost ztěžuje efektivní učení. Karpathyho skepse vůči RL neznamená, že jej považuje za bezcenný; spíše věří, že to není hlavní páka pro dosažení AGI. Sám říká, že je „dlouhý na agentní interakci, krátký na reinforcement learning“, což znamená, že za slibnější považuje jiné učící paradigmata. Tento postoj je do určité míry v rozporu s nadšením průmyslu pro RL, ale odráží hluboké pochopení technických výzev při škálování RL k dosažení skutečné obecné inteligence.

Agentní interakce a světové modely: Alternativní cesta

Pokud je Karpathy skeptický k reinforcement learningu jako hlavní cestě k AGI, co tedy považuje za slibnější? Jeho odpověď směřuje k agentní interakci a světovým modelům. Namísto učení ze statických datasetů či odměn za výsledek by se agenti mohli učit interakcí se simulovanými nebo reálnými prostředími a rozvíjet čím dál sofistikovanější modely toho, jak svět funguje. Tento přístup má v AI výzkumu historický precedens. Úspěch DeepMind při vývoji AI systémů, které zvládají složité hry jako Go, byl založen na tom, že agenti hráli proti sobě v simulovaném prostředí a postupně se zlepšovali díky interakci, nikoli pouze díky učení na lidských příkladech. Světové modely představují mimořádně slibný směr. Světový model je v podstatě naučená reprezentace toho, jak svět funguje—fyzika, kauzalita, dynamika, které určují výsledky. Agent vybavený světovým modelem dokáže uvažovat o důsledcích svých akcí před tím, než je provede, plánovat několik kroků dopředu a lépe přenášet znalosti mezi různými oblastmi než systémy bez světových modelů. Nedávná práce firem jako DeepMind (Genie), NVIDIA (Cosmos), Meta (V-JEPA) a Wayve (GAIA-2) ukazuje rostoucí investice do výzkumu světových modelů. Tyto systémy se učí předpovídat, jak se vizuální scény budou vyvíjet na základě akcí agenta, čímž vytvářejí jakési hřiště, na kterém agenti mohou experimentovat a učit se. Výhodou tohoto přístupu je, že více odpovídá tomu, jak se učí biologické systémy—interakcí s prostředím a rozvojem kauzálního porozumění. Místo memorování vzorců z textu se agenti učí aktivním experimentováním a pozorováním důsledků. Tento přístup také přímoji řeší problém generalizace, protože pochopení kauzálních vztahů a dynamiky světa se lépe přenáší na nové situace než zapamatované vzory.

System prompt learning: Nová hranice ve vývoji AI

Karpathy odkazuje na svou dřívější práci na „system prompt learningu“, což je důležitý posun v přemýšlení o trénování a adaptaci AI. System prompt learning označuje myšlenku, že mnoho chování a schopností AI systému lze formovat pečlivým návrhem systémového promptu—instrukcí a kontextu, které model dostane na začátku interakce. Místo nákladného přeškolování nebo fine-tuningu lze AI přizpůsobovat a zlepšovat optimalizací promptů, které řídí její chování. Tato koncepce má zásadní význam pro dekádu agentů. Jak budou organizace nasazovat agenty pro různé úkoly, budou potřebovat mechanismy, jak je přizpůsobovat konkrétním doménám, oborům a použitím bez nutnosti kompletního přeškolení. System prompt learning nabízí škálovatelný způsob této adaptace. Pečlivým sestavováním promptů, které zahrnují doménové znalosti, specifikaci úkolu a pokyny pro chování, lze ze všeobecných modelů vytvářet specializované agenty. Tento přístup také zapadá do scaffolding konceptu—infrastruktury a nástrojů, které propojují surové schopnosti modelu s praktickými aplikacemi. System prompt learning je součástí této vrstvy, která umožňuje organizacím získat z AI modelů maximum bez nutnosti hluboké odbornosti v oblasti tréninku modelů. Karpathy poznamenává, že několik nedávných studií jde správným směrem při zkoumání system prompt learningu a příbuzných konceptů, což naznačuje, že tento směr získává v komunitě na významu.

Scaffolding problém: Proč je infrastruktura důležitější než schopnosti modelu

Možná nejdůležitějším postřehem Karpathyho analýzy je důraz na „scaffolding problém“—propast mezi surovými schopnostmi modelů a praktickými, ekonomicky hodnotnými aplikacemi. Tento koncept, někdy označovaný jako „model overhang“, vychází z poznání, že současné špičkové modely mají schopnosti, které daleko přesahují to, co jsme zatím nasadili a monetizovali. Inteligence je v modelech přítomna, ale nástroje, infrastruktura, paměťové systémy a integrační vzory potřebné k jejímu skutečnému využití se teprve budují. Scaffolding zahrnuje množství komponent: robustní API a rozhraní pro přístup k modelům, paměťové systémy umožňující agentům udržovat kontext a učit se ze zkušenosti, monitoring a pozorovatelnost pro pochopení chování agentů, bezpečnostní mechanismy zabraňující zneužití, integrační vzory pro propojení agentů do existujících podnikových systémů a uživatelská rozhraní zpřístupňující schopnosti agentů i netechnickým uživatelům. Dekáda agentů bude z velké části věnována budování tohoto scaffoldingu. Firmy a výzkumníci budou vyvíjet osvědčené postupy pro nasazení agentů, vytvářet nástroje a platformy, které vývoj agentů zpřístupní, stanovovat bezpečnostní a spolehlivostní standardy a integrovat agentní systémy do širšího technologického ekosystému. Tato práce je méně atraktivní než vývoj nových modelových architektur nebo dosažení průlomových schopností, ale je naprosto zásadní pro převod schopností AI do ekonomické hodnoty. Karpathyho důraz na scaffolding odráží vyspělý pohled na vývoj technologií—průlomové schopnosti jsou nutné, ale samy o sobě nestačí k reálnému dopadu. Firmy a platformy, které úspěšně vybudují scaffoldingovou vrstvu, pravděpodobně získají v dekádě agentů významnou hodnotu, i když nevytvoří ty nejpokročilejší modely.

Zbývající práce: Bezpečnost, zabezpečení a společenská integrace

Kromě technických výzev scaffoldingu a generalizace Karpathy identifikuje několik dalších oblastí, které musí být dokončeny, než dosáhneme AGI. Bezpečnost a zabezpečení jsou klíčové. Jak budou AI agenti schopnější a autonomnější, bude stále důležitější zajistit jejich bezpečný a spolehlivý provoz. To zahrnuje prevenci jailbreaků (snaha přimět agenty, aby ignorovali své pokyny), obranu proti poisoning útokům (snaha narušit tréninková data nebo chování agenta) a vývoj robustních mechanismů zarovnání, které zajistí, že agenti sledují žádoucí cíle. Společenská práce představuje další zásadní rozměr. Nasazení stále schopnějších AI agentů bude mít hluboké dopady na zaměstnanost, vzdělávání, ekonomickou nerovnost i společenské struktury. Vývoj vhodných politik, regulací a společenských rámců pro integraci AI vyžaduje zapojení politiků, etických odborníků, sociálních vědců i široké veřejnosti. Tuto práci nelze uspěchat a pravděpodobně přesáhne i samotnou dekádu agentů. Integrace s fyzickým světem přináší další výzvy. Zatímco digitální agenti mohou fungovat čistě v digitální sféře, mnoho cenných aplikací vyžaduje, aby agenti interagovali s fyzickými systémy—ovládali roboty, řídili výrobní procesy, koordinovali logistiku. To vyžaduje nejen schopnou AI, ale také vhodné senzory, aktuátory a fyzickou infrastrukturu. Také samotný výzkum má před sebou mnoho práce. Současné modely sice předvádějí působivé schopnosti, ale stále zůstávají zásadní otázky—jak dosáhnout skutečné generalizace, jak vybudovat systémy, které umí pracovat s kauzalitou a kontrafaktuály, jak vytvořit agenty schopné kontinuálního učení během provozu, nikoli jen během tréninku, a jak tyto přístupy škálovat do komplexních reálných domén. Karpathyho časový odhad 10+ let odráží rozsah této zbývající práce ve všech těchto oblastech.

Vymezení mezi extrémy: Vyvážený pohled na pokrok AI

Karpathyho analýza je výjimečná svým záměrným vymezením mezi dvěma extrémy: bezmezným optimismem AI nadšenců, kteří očekávají příchod AGI v řádu let, a skepsí odpůrců AI, kteří zlehčují skutečný pokrok. Sám popisuje svůj časový odhad jako „pět až desetkrát pesimističtější“, než byste slyšeli na běžných AI konferencích, ale zároveň „extrémně optimistický“ ve srovnání s širší skepsí ohledně potenciálu AI. Tento vyvážený pohled je založen na několika pozorováních. Zaprvé, pokrok ve velkých jazykových modelech za poslední dva roky je skutečně pozoruhodný. Schopnosti modelů jako GPT-4, Claude a dalších znamenají opravdový skok kupředu. Schopnost vést složité logické diskuze, psát kód, analyzovat dokumenty nebo pomáhat s kreativními úkoly by ještě nedávno zněla jako sci-fi. Tento pokrok je reálný a neměl by být bagatelizován. Zadruhé, mezi současnými schopnostmi a skutečnou AGI je stále ohromná propast. Rozdíl mezi působivými ukázkami a spolehlivými, ekonomicky hodnotnými systémy je značný. Výzvy generalizace, bezpečnosti, integrace a nasazení nejsou triviální a nelze je překonat jen inkrementálním zlepšováním. Zatřetí, průmysl má tendenci k cyklům humbuku, což znamená, že očekávání často neodpovídají realitě. Když nový model nabídne působivé schopnosti, média a investiční komunita často tyto schopnosti extrapolují do okamžitého dopadu v reálném světě. Tento vzorec se opakoval už mnohokrát v historii AI, což vedlo k cyklům nadšení a následného zklamání. Karpathyho vyvážený pohled se snaží vyhnout jak pasti přehnaného optimismu, tak chybě podcenění skutečného pokroku. Jeho časový odhad 10+ let pro AGI by měl být chápán nikoli jako definitivní predikce, ale jako realistické zhodnocení rozsahu zbývající práce, podložené hlubokými zkušenostmi z vývoje AI.

Ekonomická příležitost v dekádě agentů

Přestože Karpathy zdůrazňuje technické výzvy, je také důležité vnímat obrovskou ekonomickou příležitost, kterou dekáda agentů nabízí. I pokud zůstane skutečná AGI ještě 10+ let