Budovanie rozšíriteľných AI agentov: Hĺbkový pohľad na middleware architektúru

Úvod

FlowHunt používa na backend-e knižnicu LangChain a v tomto blogu preskúmam middleware architektúru LangChain a to, ako nám umožňuje budovať sofistikovanejších AI agentov. Vývoj AI agentov dosiahol dôležitý bod zlomu. S rastúcou schopnosťou jazykových modelov rastie aj dopyt po sofistikovaných architektúrach agentov, ktoré zvládnu komplexné, viacstupňové pracovné postupy. LangChain 1.0 prináša paradigmatickú zmenu v tvorbe agentov prostredníctvom inovatívnej middleware architektúry, ktorá zásadne mení prístup k rozšíriteľnosti a skladaniu agentov. Tento komplexný sprievodca predstavuje úplné prepísanie deep agentov na základe LangChain 1.0 a skúma, ako middleware premieňa vývoj agentov z pevného, monolitického prístupu na flexibilný, skladateľný systém, ktorý vývojárom umožňuje vytvárať výkonných agentov na mieru svojim konkrétnym potrebám.

Pochopenie deep agentov: Viac než len jednoduché volanie nástrojov

Predtým, než sa ponoríme do technickej architektúry, je dôležité pochopiť, čím sa deep agenti odlišujú od bežných systémov na volanie nástrojov. Deep agenti sú v jadre sofistikované slučky na volanie nástrojov rozšírené o špecifické vstavané schopnosti, vďaka ktorým zvládnu komplexné, viacstupňové pracovné postupy s minimálnym zásahom človeka. Zatiaľ čo jednoduchí agenti vykonávajú úlohy sekvenčne vyvolaním nástrojov a spracovaním výsledkov, deep agenti pridávajú vrstvu inteligencie a štruktúry, ktorá zásadne mení spôsob riešenia problémov.

Základ deep agentov stojí na štyroch pilieroch. Po prvé, plánovacie schopnosti umožňujú agentom vytvárať a sledovať štruktúrované to-do zoznamy, rozkladať zložité úlohy na zvládnuteľné kroky pred samotným vykonaním. Táto fáza plánovania je kľúčová, pretože agentovi umožňuje premyslieť si celý pracovný postup, identifikovať závislosti a optimalizovať poradie operácií. Po druhé, prístup k súborovému systému poskytuje agentom trvalé úložisko na odkladanie kontextu – informácie môžu zapisovať do súborov na neskoršie použitie namiesto toho, aby udržiavali všetko v histórii konverzácie. To je mimoriadne užitočné pri správe veľkého množstva dát alebo udržiavaní stavu naprieč viacerými operáciami. Po tretie, spúšťanie sub-agentov umožňuje hlavnému agentovi delegovať prácu špecializovaným sub-agentom na izolované úlohy, čím vzniká hierarchická štruktúra zvyšujúca efektivitu a umožňujúca doménovú expertízu. Nakoniec, detailné systémové pokyny poskytujú komplexné inštrukcie, ako tieto nástroje efektívne používať, aby agent rozumel nielen tomu, aké nástroje má k dispozícii, ale aj kedy a ako ich najlepšie využiť.

Tieto schopnosti sa ukázali ako nenahraditeľné v produkčných systémoch ako Manus a Cloud Code, kde agenti musia zvládnuť komplexné pracovné postupy, spravovať veľké množstvo kontextu a robiť inteligentné rozhodnutia o delegovaní úloh. Cieľom balíka deep agentov je demokratizovať prístup k tejto pokročilej architektúre a uľahčiť vývojárom tvorbu výkonných agentov bez potreby vymýšľať všetko odznova alebo rozumieť každej implementačnej drobnosti.

Vývoj architektúry agentov: Od monolitického k modulárnemu prístupu

Tradičný prístup k tvorbe agentov spočíval vo vytváraní monolitických štruktúr, kde všetka funkcionalita – plánovanie, správa nástrojov, správa stavu a prompt engineering – bola úzko prepojená v jednom kóde. Tento prístup prinášal viacero problémov: rozšírenie agenta vyžadovalo úpravu jadra, opätovné využitie komponentov naprieč rôznymi agentmi bolo ťažké a testovanie jednotlivých funkcií v izolácii prakticky nemožné. Vývojári sa často museli zmieriť s obmedzeniami alebo podstúpiť masívne refaktoringy pri pridávaní nových schopností.

LangChain 1.0 tieto výzvy rieši revolučným konceptom: middleware. Middleware predstavuje paradigmatickú zmenu v architektúre agentov, zavádza vrstvitelnú abstrakciu, ktorá umožňuje skladanie schopností agenta ako stavebných blokov. Namiesto úprav jadrovej slučky agenta middleware zachytáva a rozširuje špecifické body v rámci vykonávania agenta, čím umožňuje čisté oddelenie zodpovedností a maximálnu znovupoužiteľnosť. Táto architektonická inovácia premieňa vývoj agentov z monolitického, všetko-alebo-ničoho prístupu na modulárny, skladateľný systém, kde každá funkcionalita môže byť vyvíjaná, testovaná a nasadzovaná nezávisle.

Krása middleware spočíva v jeho vrstvení. Vývojári môžu definovať viacero middleware komponentov a aplikovať ich postupne, pričom každá vrstva middleware pridáva vlastné rozšírenia stavu, nástroje a úpravy systémových pokynov. Znamená to, že jeden agent môže využívať plánovanie, prístup k súborovému systému, spúšťanie sub-agentov a vlastné rozšírenia – všetko zložené spolu bez problémov. Poradie aplikácie middleware je dôležité, pretože každá vrstva stavia na predchádzajúcej, čím vzniká kumulatívny efekt vedúci k vysoko schopnému agentovi.

Ako middleware mení schopnosti agenta

Pochopenie middleware vyžaduje pohľad na to, ako modifikuje základnú ReAct (Reasoning + Acting) slučku agenta. Vzor ReAct, ktorý sa stal štandardom pre agentov na volanie nástrojov, spočíva v tom, že model premýšľa, aký krok vykonať, vykoná akciu prostredníctvom nástroja, pozoruje výsledok a tento cyklus opakuje, kým nie je úloha splnená. Middleware túto slučku nenahrádza; namiesto toho ju rozširuje v strategických bodoch.

Middleware funguje cez tri hlavné mechanizmy. Po prvé, rozširuje schému stavu pridaním nových kľúčov a dátových štruktúr, ku ktorým môže agent pristupovať a modifikovať ich. To umožňuje jednotlivým middleware komponentom udržiavať vlastný stav bez vzájomného zasahovania. Po druhé, pridáva nové nástroje do sady agenta, čím modelu poskytuje ďalšie možnosti na splnenie cieľov. Po tretie, modifikuje požiadavku modelu, zvyčajne pridaním vlastných inštrukcií do systémového promptu, ktoré vysvetľujú, ako a kedy používať nové nástroje.

Tento trojcestný prístup zabezpečuje, že rozšírenia middleware sú komplexné a dobre integrované. Jednoduché pridanie nástroja bez rozšírenia schémy stavu alebo poskytnutia pokynov by bolo neúčinné – model by nemusel pochopiť, ako nástroj použiť alebo kedy ho vyvolať. Kombinovaním všetkých troch mechanizmov middleware vytvára súdržné rozšírenie, ktoré model dokáže efektívne využiť.

Plánovací middleware: Štruktúrovaná dekompozícia úloh

Plánovací middleware je príkladom toho, ako middleware architektúra umožňuje pokročilé schopnosti agenta. Tento middleware rozširuje schému stavu agenta o to-do zoznam, jednoduchú, no výkonnú dátovú štruktúru, ktorá agentovi umožňuje udržiavať štruktúrovaný akčný plán. Implementácia je elegantná vo svojej jednoduchosti: middleware pridá jeden kľúč do schémy stavu, no tento kľúč odomyká významné možnosti.

Aby bol plánovací nástroj efektívny, middleware poskytuje nástroj na zápis to-do úloh, ktorý umožňuje modelu vytvárať, aktualizovať a spravovať to-do zoznam. Keď agent narazí na komplexnú úlohu, môže tento nástroj použiť na rozdelenie úlohy na menšie, zvládnuteľné kroky. Namiesto snahy vyriešiť všetko naraz agent vytvorí plán, vykoná jednotlivé kroky a plán priebežne aktualizuje. Tento štruktúrovaný prístup má viacero výhod: zviditeľňuje a auditovateľnosť uvažovania agenta, umožňuje lepšiu obnovu po chybe (ak jeden krok zlyhá, agent môže upraviť zvyšné kroky) a často vedie k efektívnejšiemu vykonaniu, pretože agent si workflow premyslel dopredu.

Kriticky, plánovací middleware nepridáva len nástroj – modifikuje aj systémový prompt detailnými inštrukciami na efektívne používanie nástroja na zápis to-do úloh. Tieto pokyny vysvetľujú, kedy je plánovanie vhodné, ako zostaviť dobrý plán a ako plán aktualizovať podľa postupu agenta. Tento prompt je zásadný, pretože usmerňuje správanie modelu a zaručuje, že plánovací nástroj bude používaný strategicky, nie nahodilo.

Middleware súborového systému: Odkladanie kontextu a perzistencia

Kým plánovací middleware sa sústreďuje na dekompozíciu úloh, middleware súborového systému rieši inú, rovnako dôležitú výzvu: správu kontextu a udržiavanie stavu naprieč operáciami. Middleware súborového systému rozširuje stav agenta o slovník súborov, čím vytvára virtuálny súborový systém, z ktorého môže agent čítať a do ktorého môže zapisovať.

Na rozdiel od plánovacieho middleware, ktorý poskytuje jeden nástroj, middleware súborového systému ponúka viacero nástrojov pre rôzne operácie so súbormi. Agent môže zobraziť zoznam súborov, čítať súbory na načítanie informácií do kontextu, písať nové súbory na uloženie údajov a upravovať existujúce súbory na aktualizáciu informácií. Tento prístup zodpovedá realite, že interakcie so súborovým systémom sú rozmanité a podľa scenára vyžadujú rôzne operácie.

Middleware súborového systému je obzvlášť cenný pri správe veľkého množstva dát alebo pri potrebe udržať stav naprieč viacerými operáciami. Namiesto toho, aby agent držal všetko v histórii konverzácie (čo by spotrebovalo tokeny a mohlo by prekročiť limity kontextu), môže informácie zapisovať do súborov a podľa potreby ich vyhľadávať. Napríklad agent pracujúci na výskumnom projekte môže zapisovať zistenia do súborov, organizovať ich podľa tém a potom pri syntéze záverov vyhľadávať relevantné súbory. Tento prístup výrazne zvyšuje efektivitu a umožňuje agentom pracovať s omnoho väčšími datasetmi, než by bolo možné v rámci jedného kontextového okna.

Rovnako ako plánovací middleware, aj middleware súborového systému obsahuje vlastné systémové pokyny, ktoré vysvetľujú, ako efektívne používať nástroje pre súborový systém. Tieto pokyny poskytujú rady, kedy zapisovať informácie do súborov, ako organizovať súbory pre jednoduché vyhľadávanie a najlepšie postupy pre správu virtuálneho súborového systému.

Middleware sub-agentov: Delegovanie a špecializácia

Middleware sub-agentov je najsofistikovanejšou súčasťou deep agents architektúry. Tento middleware umožňuje hlavnému agentovi spúšťať špecializovaných sub-agentov na izolované úlohy, čím vytvára hierarchickú štruktúru zvyšujúcu efektivitu a umožňujúcu doménovú špecializáciu. Implementácia je zložitejšia ako pri plánovacom či súborovom middleware, pretože musí pokryť viacero scenárov a konfigurácií.

Základom middleware sub-agentov je nástroj na zadanie úlohy, ktorý umožňuje hlavnému agentovi delegovať prácu sub-agentovi. Keď hlavný agent rozhodne, že úlohu má riešiť sub-agent, vyvolá tento nástroj, určí, ktorý sub-agent má úlohu riešiť a odovzdá potrebné informácie. Sub-agent následne vykoná úlohu a vráti hlavnému agentovi komplexnú odpoveď. Tento model delegovania má viacero výhod: izoluje kontext (sub-agent vidí len informácie relevantné pre svoju úlohu), umožňuje špecializáciu (rôzni sub-agenti môžu mať rôzne nástroje a prompty) a často vedie k čistejšiemu, efektívnejšiemu priebehu.

Middleware sub-agentov podporuje dva hlavné prípady použitia pri vytváraní sub-agentov. Prvým je izolácia kontextu, kde všeobecný sub-agent dostane rovnaké nástroje ako hlavný agent, ale jeho úloha je úzka a zameraná. Sub-agent úlohu splní a vráti čistú, súhrnnú odpoveď bez všetkých medzikrokov, ktoré by zahltili históriu hlavného agenta. Tento prístup šetrí tokeny a čas tým, že sa vyhne zbytočnému hromadeniu kontextu. Druhým prípadom je doménová špecializácia, kde sa sub-agent vytvorí s vlastným promptom a špecifickou sadou nástrojov pre daný typ úlohy. Napríklad výskumný agent môže mať sub-agenta špecializovaného na rešerš s prístupom do akademických databáz a iný sub-agent sa špecializuje na analýzu dát so štatistickými nástrojmi.

Middleware umožňuje definovať sub-agentov dvoma spôsobmi. Sub-agenti na volanie nástrojov sa vytvárajú od nuly s vlastným promptom a zoznamom nástrojov. Títo sub-agenti môžu mať úplne iné nástroje ako hlavný agent, čo umožňuje skutočnú špecializáciu. Vývojári môžu pre každý sub-agent špecifikovať aj vlastný model, čo umožňuje použitie rôznych modelov pre rôzne úlohy. Vlastní sub-agenti poskytujú ešte väčšiu flexibilitu, keďže vývojári môžu priamo odovzdať existujúce LangGraph grafy ako sub-agentov. To je cenné najmä pre tých, ktorí už vybudovali komplexné workflow-y a chcú ich sprístupniť hlavnému agentovi ako sub-agenti.

Dôležité je, že sub-agenti tiež získavajú middleware, takže môžu využívať plánovanie, prístup k súborovému systému a ďalšie rozšírenia. Sub-agenti teda nie sú obmedzení len na jednoduché volanie nástrojov – môžu byť rovnako sofistikovaní ako hlavný agent, s vlastným plánovaním, súborovým systémom a dokonca aj vlastnými sub-agentmi.

Správa kontextu a sumarizačný middleware

Ako agenti vedú dlhšie konverzácie a riešia zložitejšie úlohy, kontextové okno sa stáva kritickým obmedzením. Sumarizačný middleware rieši túto výzvu automatickou správou kontextu pri jeho narastaní. Tento middleware sleduje históriu konverzácie a keď počet tokenov prekročí limit kontextového okna, automaticky históriu zhutní sumarizáciou starších správ a zachovaním najnovších.

Sumarizačný middleware je nevyhnutný pre produkčných agentov, ktorí musia udržať kontext počas dlhých konverzácií. Bez neho by agenti časom narazili na limity kontextu a stratili by prístup k dôležitým historickým informáciám. Vďaka sumarizácii môžu agenti udržiavať prehľad o minulých interakciách a zároveň sa zmestiť do limitu tokenov. Middleware inteligentne vyvažuje potrebu zachovať nedávny kontext (ktorý je často najrelevantnejší) s potrebou sumarizovať starší kontext (ktorý je možné komprimovať bez straty dôležitých informácií).

Tento prístup k správe kontextu odráža širší princíp v návrhu agentov: kontext je vzácny zdroj, ktorý treba spravovať opatrne. Každý token použitý na kontext je token, ktorý nemôže byť použitý na uvažovanie alebo výstup nástrojov. Automatickou sumarizáciou kontextu podľa potreby middleware zabezpečuje, že agenti môžu efektívne fungovať aj v dlhodobých scenároch.

Human-in-the-Loop: Middleware pre kritické aplikácie

Pre kľúčové aplikácie, kde agenti musia spúšťať citlivé nástroje (ako odosielanie e-mailov, eskalácia incidentov či vykonávanie finančných transakcií), human-in-the-loop middleware poskytuje dôležité bezpečnostné opatrenia. Tento middleware umožňuje vývojárom určiť, pri ktorých nástrojoch má byť vykonanie prerušené pred samotným spustením, aby človek mohol skontrolovať a schváliť (alebo upraviť) volania nástrojov pred ich vykonaním.

Middleware human-in-the-loop akceptuje konfiguráciu nástrojov, ktorá určuje, ktoré nástroje majú byť prerušené a aké akcie môže človek pri týchto volaniach vykonať. Napríklad pred spustením citlivého nástroja na odosielanie e-mailu môže middleware umožniť človeku schváliť akciu, upraviť parametre alebo poskytnúť agentovi spätnú väzbu, čo by mal urobiť inak. Tak vzniká kolaboratívny workflow, kde agent zvláda uvažovanie a plánovanie, ale človek si zachováva kontrolu nad kritickými akciami.

Tento middleware je príkladom toho, ako middleware architektúra umožňuje pridávať sofistikované prvky riadenia a bezpečnosti bez úprav jadra agenta. Rôzne aplikácie majú rôzne požiadavky na ľudský dohľad a middleware umožňuje každému systému nastaviť úroveň ľudskej participácie podľa potreby.

Tvorba rozšíriteľných agentov s vlastným middleware

Aj keď LangChain 1.0 poskytuje viacero predpripravených middleware komponentov, skutočná sila architektúry spočíva v jej rozšíriteľnosti. Vývojári môžu vytvárať vlastný middleware rozšírením základnej triedy agent middleware, čím pridajú nové kľúče stavu, nástroje a úpravy systémových pokynov šité na mieru konkrétnemu použitiu.

Vývoj vlastného middleware sleduje rovnaký vzor ako vstavaný middleware: rozšíriť schému stavu o nové kľúče, pridať nástroje pracujúce s týmto stavom a upraviť systémový prompt s inštrukciami na použitie nových nástrojov. Tento konzistentný vzor zjednodušuje vývoj nových middleware komponentov, ktoré sa bez problémov integrujú s existujúcimi.

Napríklad vývojár, ktorý buduje agenta pre zákaznícky servis, môže vytvoriť vlastný middleware, ktorý pridá nástroj na vyhľadávanie v zákazníckej databáze, nástroj na správu tiketov a nástroj na prístup k znalostnej báze. Tento vlastný middleware rozšíri možnosti agenta špecificky pre zákaznícky servis, pričom stále využíva plánovanie, súborový systém a sub-agentov poskytované vstavaným middleware.

Možnosť vytvárať vlastný middleware znamená, že vývojári nie sú obmedzení len vstavanými možnosťami. Ak agent potrebuje konkrétny nástroj alebo správu stavu, vývojár ho môže implementovať ako middleware a bez problémov zaradiť do zvyšku architektúry agenta.

FlowHunt a zjednodušený vývoj agentov

Aj keď LangChain 1.0 poskytuje architektonický základ pre tvorbu sofistikovaných agentov, platformy ako FlowHunt posúvajú vývoj agentov na novú úroveň tým, že ponúkajú no-code rozhranie na tvorbu, nasadenie a správu AI agentov. Komponent AI agent FlowHunt-u využíva princípy middleware architektúry, aby vývojárom umožnil vytvárať výkonných agentov bez písania kódu.

Prístup FlowHunt-u k vývoju agentov dokonale ladí s filozofiou middleware: skladateľnosť, rozšíriteľnosť a jednoduchosť používania. Namiesto potreby porozumieť detailom implementácie middleware FlowHunt poskytuje vizuálne rozhranie, kde vývojári skladajú schopnosti agenta prepájaním komponentov. Platforma sa postará o orchestráciu middleware na pozadí, takže vývojári sa sústredia len na to, čo má agent robiť, nie ako to implementovať.

Agenti vo FlowHunt-e sa dajú nakonfigurovať s plánovacím modulom, prístupom k súborovému systému, spúšťaním sub-agentov aj vlastnými nástrojmi – všetko cez intuitívne vizuálne rozhranie. To demokratizuje vývoj agentov a robí ho dostupným aj pre tých, čo nemajú hlboké znalosti LangChain alebo architektúry agentov. Navyše FlowHunt ponúka funkcie ako detailné logy agentov, sledovanie histórie agenta a sledovanie nákladov, ktoré pomáhajú vývojárom lepšie pochopiť správanie agentov a optimalizovať ich výkon.

Praktická implementácia: Vytvorenie deep agenta

Pochopenie teórie middleware architektúry je užitočné, no skutočná sila sa prejaví v praxi. Vytvorenie deep agenta v LangChain 1.0 zahŕňa použitie funkcie create_deep_agent, ktorá poskytuje predpripravené rozhranie na zostavenie agentov so všetkými vyššie popísanými schopnosťami.

Funkcia create_deep_agent akceptuje niekoľko kľúčových parametrov. Vývojári odovzdajú nástroje, ku ktorým má mať agent prístup, vlastné inštrukcie, ktoré definujú správanie a ciele agenta, a sub-agentov, ktorým môže hlavný agent delegovať prácu. Funkcia následne použije agent builder na zostavenie agenta aplikovaním príslušného middleware v zadanom poradí.

Agent builder je miestom, kde sa deje skutočné kúzlo. Začína výberom modelu (predvolene Claude Sonnet 3.5, ale možno použiť akýkoľvek podporovaný model), potom aplikuje middleware v konkrétnom poradí. Najprv sa aplikuje plánovací middleware, ktorý rozšíri stav o to-do zoznam a pridá nástroj na zápis úloh. Následne middleware súborového systému pridá nástroje na správu súborov a stav. Nasleduje middleware sub-agentov na umožnenie delegovania úloh. Nakoniec sa aplikuje sumarizačný middleware na správu kontextu.

Toto sekvenčné aplikovanie middleware je kľúčové: každá vrstva stavia na predchádzajúcej, čím vzniká kumulatívny efekt. Systémový prompt sa rozširuje o inštrukcie z každého middleware v poradí, takže model dostane komplexné pokyny na používanie všetkých dostupných možností. Schéma stavu rastie s každým middleware, čím agent udržiava viacero typov stavu. Sada nástrojov sa rozširuje každým middleware, takže model má viac možností na splnenie cieľov.

Vývojári môžu tento proces prispôsobiť výberom middleware, ktorý chcú použiť. Ak agent nepotrebuje prístup k súborovému systému, middleware sa môže vynechať. Ak agent nepotrebuje sub-agentov, middleware sub-agentov sa môže vynechať. Táto flexibilita zabezpečuje, že agenti budú konfigurovaní presne so schopnosťami, ktoré potrebujú, bez zbytočnej záťaže.

Pokročilé vzory: Orchestrácia viacerých agentov

S rastúcou sofistikovanosťou agentových aplikácií často vzniká potreba orchestrácie viacerých agentov pracujúcich spoločne na dosiahnutie komplexných cieľov. Middleware architektúra umožňuje elegantné riešenia multi-agent orchestrácie cez systém sub-agentov.

Jedným z výkonných vzorov je hierarchická delegácia, kde hlavný agent rozdelí komplexnú úlohu na podúlohy a každú deleguje špecializovanému sub-agentovi. Napríklad výskumný agent môže delegovať rešerš literatúry jednému sub-agentovi, analýzu dát druhému a syntézu tretiemu. Každý sub-agent je optimalizovaný na svoju špecifickú úlohu s vlastným promptom a nástrojmi pre danú doménu. Hlavný agent koordinuje celý workflow, zabezpečuje správne vykonanie sub-agentov a integráciu ich výstupov.

Ďalším vzorom je paralelné vykonávanie, kde viacerí sub-agenti pracujú súčasne na rôznych aspektoch problému. Aktuálna implementácia síce spracováva sub-agentov sekvenčne, no architektúra podporuje aj paralelné vzory, kde sa spustí viac sub-agentov naraz a ich výsledky sa následne agregujú. To je cenné najmä pri úlohách, ktoré je možné rozdeliť na nezávislé podúlohy.

Tretím vzorom je iteratívne vylepšovanie, kde hlavný agent spustí sub-agentov na generovanie počiatočných riešení, potom ich výstupy použije na zdokonalenie prístupu a spúšťa ďalších sub-agentov na hlbšiu analýzu. Tento vzor je užitočný pri riešení komplexných problémov, kde opakované kolá analýzy a v