AI agenti: Pochopenie myslenia Llama 3.2 3B

Úvod

AI agenti sa stávajú nenahraditeľnými nástrojmi pri riešení zložitých problémov a zefektívňovaní pracovných postupov, pričom každá nová verzia prináša viac výkonu a sofistikovanosti. Medzi týmito pokrokmi vystupuje Llama 3.2 3B ako väčší a schopnejší model navrhnutý na hlbšie uvažovanie a nuansovanejšie odpovede. Ako však „premýšľa“ a čo ju ako AI agenta odlišuje?

V tomto blogu preskúmame proces uvažovania Llama 3.2 3B prostredníctvom reálnych scenárov. Od spracovania veľkých dátových súborov až po generovanie zaujímavých riešení budeme hodnotiť, ako tento AI agent čelí výzvam a prijíma rozhodnutia. Analýzou jej výkonu sa snažíme pochopiť mechanizmy jej myslenia a porovnať ju s inými modelmi. Ak vás zaujímajú AI agenti a veda o ich uvažovaní, pridajte sa k nám pri bližšom pohľade na myslenie Llama 3.2 3B.

Úloha 1: Generovanie obsahu

Zadanie:
Keď používateľ povie „Štart“, mali by ste:

• Generovanie obsahu: Napíšte komplexný, informatívny článok o základoch projektového riadenia, so zameraním na definovanie cieľov, rozsahu a delegovanie.

Počiatočné pochopenie úlohy a zhromažďovanie informácií

• (0:05) Myšlienka: Môžete poskytnúť podrobnosti o aktuálnej úlohe alebo projekte, na ktorom pracujeme, vrátane cieľov, termínov a konkrétnych požiadaviek?
• (0:08) Myšlienka: Zhromaždiť informácie o základoch projektového riadenia, so zameraním na definovanie cieľov, rozsahu a delegovanie.
• (0:16) Myšlienka: Na napísanie komplexného článku o základoch projektového riadenia potrebujem podrobné informácie o definovaní cieľov, rozsahu a delegovaní v projekte. Začnem použitím nástroja Wikipedia na získanie všeobecného prehľadu o projektovom riadení, ktorý by mohol zahŕňať tieto komponenty.
  Používam nástroj: wikipedia
• (0:18) Myšlienka: Záznam na Wikipédii poskytuje dobrý prehľad o projektovom riadení, ale chýbajú mu konkrétne detaily o definovaní cieľov, rozsahu a delegovaní. Použijem google_serper na nájdenie cielenejších informácií o týchto aspektoch.
  Používam nástroj: google_serper
• (0:22) Myšlienka: Získal som niekoľko poznatkov o definovaní cieľov projektu. Teraz sa musím zamerať na špecifiká rozsahu a delegovania. Opäť použijem google_serper na nájdenie podrobných informácií k týmto témam.
  Používam nástroj: google_serper
• (0:25) Myšlienka: Získal som niekoľko poznatkov o definovaní cieľov a rozsahu projektu. Teraz sa musím zamerať na špecifiká delegovania v projektovom riadení. Opäť použijem google_serper na nájdenie podrobných informácií k tejto téme.
  Používam nástroj: google_serper

Analýza procesu myslenia agenta

• Pochopenie úlohy: Agent správne interpretuje zadanie a identifikuje potrebu poskytnúť informácie o základoch projektového riadenia, konkrétne o definovaní cieľov, rozsahu a delegovaní.
• Zhromažďovanie informácií: Agent sa rozhodne začať od Wikipédie kvôli všeobecnému prehľadu a následne využíva Google Search (google_serper) na získanie špecifickejších informácií. Agent výslovne uvádza, že sa sústredí na všetky tri kľúčové aspekty (ciele, rozsah a delegovanie) samostatne, čo naznačuje štruktúrovaný prístup k získavaniu informácií.
• Iteratívny prístup: Agent demonštruje iteratívny prístup k získavaniu informácií. Začína širokým vyhľadávaním na Wikipédii a potom svoje hľadanie spresňuje cez Google Search, aby sa zameral na každú kľúčovú oblasť.
• Prispôsobivosť: Keď počiatočné vyhľadávanie na Wikipédii neposkytne dostatok konkrétnych detailov, agent sa prispôsobuje prepnutím na Google Search, čím preukazuje flexibilitu v stratégii vyhľadávania.
• Opakovanie: Aj keď myšlienky agenta naznačujú štruktúrovaný prístup k zhromažďovaniu informácií o každej téme, v zobrazených myšlienkach je určitá opakujúca sa činnosť, čo naznačuje potenciálnu slučku alebo neefektívnosť v procese.

Ukážka výstupu bota

Základy projektového riadenia: Definovanie cieľov, rozsahu a delegovanie

Projektové riadenie je kľúčová disciplína zahŕňajúca plánovanie, realizáciu a dohľad nad projektmi s cieľom dosiahnuť konkrétne ciele v stanovenom časovom rámci a rozpočte. V jadre projektové riadenie usiluje o efektívne využívanie zdrojov a vedie projekt od začiatku až po jeho dokončenie. Tri základné aspekty projektového riadenia sú definovanie cieľov, určovanie rozsahu a delegovanie úloh. Ovládnutie týchto prvkov je nevyhnutné pre úspešnú realizáciu projektu.

Definovanie cieľov

Jasné a dosiahnuteľné ciele sú základom každého úspešného projektu. Ciele poskytujú projektovú cestu a usmerňujú tím k požadovaným výsledkom. Mali by byť konkrétne, merateľné, dosiahnuteľné, relevantné a časovo ohraničené (SMART). Dobre definovaný cieľ pomáha zosúladiť úsilie a zdroje tímu, minimalizuje nedorozumenia a nastavuje jasné očakávania pre všetky zúčastnené strany.

• Čas potrebný: 18 sekúnd (od prijatia zadania o 0:05 do začiatku výstupu o 0:23)
• Čitateľnosť: Flesch-Kincaid Grade Level: 17, Flesch-Kincaid Score: 16.61
• Dĺžka zhrnutia: 464 slov

Analýza výstupu

• Dobre štruktúrovaný: Agent vytvára dobre štruktúrovaný článok s jasnými nadpismi pre každú časť (Definovanie cieľov, Určenie rozsahu, Delegovanie).
• Komplexný: Článok pokrýva kľúčové aspekty základov projektového riadenia podľa zadania.
• Podrobné vysvetlenia: Každá časť ponúka podrobné vysvetlenia a praktické rady, vďaka čomu je obsah informatívny a užitočný.
• Jasný a výstižný: Jazyk použitý v článku je jasný a stručný, čo robí tému projektového riadenia prístupnejšou.
• Dodržiavanie pokynov: Agent dodržuje pokyny tým, že sa zameriava na špecifikované témy a poskytuje komplexný prehľad.

Záver

Agent preukazuje silnú schopnosť generovať kvalitný obsah o základoch projektového riadenia. Proces myslenia, hoci je vo videu obmedzený, naznačuje systematický prístup k výskumu a tvorbe obsahu. Agent efektívne využíva dostupné nástroje a prispôsobuje svoju stratégiu na získanie potrebných informácií. Konečný výstup je dobre štruktúrovaný, informatívny a spĺňa požiadavky zadania. Agent naďalej podáva výnimočný výkon, čím potvrdzuje svoju zručnosť v generovaní obsahu a schopnosť zvládať komplexné témy.

Úloha 2: Výpočet

Zadanie:
Odpovedzte na problém:
Spoločnosť predáva dva produkty: Produkt A a Produkt B. Výroba produktu A stojí 30 $ za kus a predáva sa za 50 $ za kus. Produkt B stojí na výrobu 40 $ za kus a predáva sa za 70 $ za kus.
Spoločnosť minulý mesiac predala 120 kusov produktu A a 80 kusov produktu B. Vypočítajte celkový príjem z predaja oboch produktov.
Vypočítajte celkový zisk z predaja oboch produktov (príjem – celkové výrobné náklady).
Spoločnosť chce zvýšiť celkový príjem o 10 %. Koľko dodatočných kusov každého produktu musí predať, aby tento cieľ dosiahla, pričom výrobná cena za kus a predajná cena za kus zostávajú rovnaké?

Počiatočné pochopenie úlohy

• (0:06) Myšlienka: Vypočítaj celkový príjem a celkový zisk z predaja produktu A a produktu B a urči, koľko dodatočných kusov každého produktu je potrebné predať na zvýšenie celkového príjmu o 10 %.
• Podotázky na rozloženie úlohy
• (0:18) Myšlienka: Aký je celkový príjem z predaja produktu A a produktu B?

Analýza procesu myslenia agenta

• Pochopenie zadania: Agent správne interpretuje úlohu, identifikuje potrebu vypočítať celkový príjem, celkový zisk a dodatočné kusy potrebné na dosiahnutie 10 % zvýšenia príjmu.
• Rozkladanie úlohy: Agent potom sám sebe kladie otázku, čo je potrebné vypočítať ako prvé, a rozkladá hlavné zadanie na menšie otázky, aby si stanovil jednotlivé kroky potrebné na dosiahnutie cieľa.

Ukážka výstupu bota

• Celkový príjem je 11 600 $.

• Celkový zisk je 4 800 $.

• Na zvýšenie celkového príjmu o 10 % musí spoločnosť predať o 29 kusov produktu A a 12 kusov produktu B viac.

• Čas potrebný: 24 sekúnd (od prijatia zadania o 0:06 po konečnú odpoveď o 0:30)

• Čitateľnosť: Nie je relevantné, keďže výstup tvoria prevažne číselné výpočty.

• Dĺžka zhrnutia: 45 slov

Analýza výstupu

• Správne výpočty: Agent správne vypočíta celkový príjem a celkový zisk, ktoré zodpovedajú predchádzajúcim výsledkom.
• Nesprávny výpočet: Agent nesprávne uvádza, že na dosiahnutie 10 % zvýšenia príjmu musí spoločnosť predať o 29 kusov produktu A a 12 kusov produktu B viac.

Správny výpočet by mal byť nasledovný:

• 10 % zvýšenie súčasného príjmu 11 600 $ = 1 160 $

• Ak by sme cieľ dosiahli iba jedným produktom naraz:

  • Produkt A: 50 $ za kus, 1 160 $ / 50 = 23,2, zaokrúhlené na 24 kusov.
  • Produkt B: 70 $ za kus, 1 160 $ / 70 = 16,57, zaokrúhlené na 17 kusov.

• Agent mohol tiež napríklad rozdeliť zvýšenie rovnomerne medzi produkty, teda nárast 580 $ pre každý produkt, čiže:

  • Produkt A: 580 $ / 50 $ = 11,6, zaokrúhlené na 12 kusov.
  • Produkt B: 580 $ / 70 $ = 8,29, zaokrúhlené na 9 kusov.

• Použiť možno akúkoľvek kombináciu zvýšenia predaja produktov A a B, pokiaľ zvýšenie príjmu dosiahne hodnotu 1 160 $.

• Stručná prezentácia: Agent stručne prezentuje konečnú odpoveď, sumarizuje kľúčové výsledky.

Záver

Hoci agent správne vypočíta celkový príjem a zisk, pri určovaní počtu dodatočných kusov potrebných na dosiahnutie 10 % zvýšenia príjmu urobí chybu. Uvedená kombinácia 29 dodatočných kusov produktu A a 12 kusov produktu B nezodpovedá predtým stanoveným výpočtom alebo cieľu. To naznačuje možnú chybu v logike alebo výpočtoch agenta. Napriek tejto chybe agent prejavuje porozumenie úlohe a prezentuje informácie jasne a prehľadne. Avšak presnosť konečnej odpovede je narušená nesprávnym výpočtom potrebných dodatočných kusov.

Úloha 3: Sumarizácia

Zadanie:
Zhrňte kľúčové zistenia z predchádzajúceho článku v 100 slovách so zameraním na najvýznamnejšie časti.

Počiatočné pochopenie úlohy

• (0:06) Myšlienka: Zhrňte kľúčové zistenia z predchádzajúceho článku v 100 slovách so zameraním na najvýznamnejšie časti.

Analýza procesu myslenia agenta

• Pochopenie zadania: Agent správne interpretuje úlohu, chápe, že má zhrnúť kľúčové zistenia z predchádzajúceho článku v rámci 100-slovného limitu a sústrediť sa na najdôležitejšie časti.

Analýza výstupu

• Stručnosť: Agent úspešne sumarizuje článok v rámci 100-slovného limitu, pričom vytvára zhrnutie o 89 slovách.
• Obsah: Zhrnutie presne vystihuje hlavné body článku, vrátane významu AI uvažovania, jeho typov, historického vývoja, využitia v zdravotníctve, nedávnych pokrokov vďaka modelu o1 od OpenAI a etických aspektov.
• Jasnosť: Zhrnutie je jasné, stručné a dobre štruktúrované, vďaka čomu je hlavná myšlienka článku ľahko pochopiteľná.
• Relevancia: Zhrnutie sa zameriava na najvýznamnejšie aspekty článku podľa požiadavky v zadaní.

Ukážka výstupu bota

Článok pojednáva o význame AI uvažovania v rôznych oblastiach, najmä v zdravotníctve, kde zlepšilo efektívnosť a presnosť. AI uvažovanie zahŕňa rôzne typy vrátane symbolickej a konekcionistickej AI a má bohatý historický vývoj. Jeho využitie v zdravotníctve bolo výrazné, pričom AI uvažovanie zlepšilo diagnostiku, liečbu a starostlivosť o pacientov. Nedávne pokroky, ako je model o1 od OpenAI, ďalej zlepšili výkon a bezpečnostné opatrenia. Článok sa tiež zaoberá etickými otázkami, výzvami ako ochrana údajov a dôsledkami AI v oblastiach nad rámec zdravotníctva, pričom zdôrazňuje transformačný potenciál AI uvažovania a potrebu opatrného riadenia jeho etických a praktických výziev.

• Čas potrebný: 8 sekúnd (od prijatia zadania o 0:06 po výstup o 0:14)
• Čitateľnosť: Flesch-Kincaid Grade Level: 19, Flesch-Kincaid Score: 19.09
• Dĺžka zhrnutia: 89 slov

Záver

Agent preukazuje silnú schopnosť presne a stručne sumarizovať komplexné informácie. Napriek obmedzenej viditeľnosti do vnútorného procesu myslenia je kvalita výstupu vysoká a rešpektuje pokyny týkajúce sa rozsahu aj zamerania. Výkon agenta v tejto úlohe ďalej potvrdzuje jeho zručnosť v generovaní obsahu a sumarizácii. Naďalej dodržiava stanovené pravidlá pre analýzu a konzistentne prináša kvalitné výsledky.

Úloha 4: Porovnávacia úloha

Zadanie:
Keď používateľ povie „Štart“, mali by ste:
Porovnajte environmentálny dopad elektrických vozidiel s vozidlami na vodíkový pohon. Zahŕňajte faktory ako výroba energie, životný cyklus vozidla a emisie.

Počiatočné pochopenie úlohy a zhromažďovanie informácií

• (0:06) Myšlienka: Na porovnanie environmentálneho dopadu elektrických vozidiel (EV) s vozidlami na vodíkový pohon potrebujem získať podrobné informácie o výrobe energie, životnom cykle a emisiách oboch typov vozidiel. Začnem vyhľadávaním komplexných štúdií alebo správ, ktoré tieto aspekty analyzujú.
  Používam nástroj: google_serper
• (0:15) Myšlienka: Výsledky vyhľadávania poskytujú niekoľko odkazov na články porovnávajúce elektrické a vodíkové vozidlá. Teraz získam obsah týchto URL, aby som získal podrobné údaje o výrobe energie, životnom cykle a emisiách.
  Používam nástroj: url_crawl_tool
• Riešenie chýb nástroja
  (0:25) Myšlienka: Chyba pri získavaní URL naznačuje, že formát vstupu bol nesprávny. Musím zabezpečiť, aby boli URL poskytnuté ako JSON pole reťazcov. Skúsme to znova so správnym formátom.
  Používam nástroj: url_crawl_tool

Analýza procesu myslenia agenta

• Pochopenie úlohy: Agent správne identifikuje úlohu ako porovnanie environmentálnych dopadov EV a vodíkových vozidiel so zameraním na výrobu energie, životný cyklus a emisie.
• Strategické plánovanie: Agent sa rozhodne zhromaždiť informácie vyhľadaním komplexných štúdií alebo správ, čo naznačuje strategický prístup k výskumu.
• Výber nástrojov: Agent najprv využíva google_serper na vyhľadávanie a potom sa rozhodne použiť url_crawl_tool na získanie obsahu z relevantných URL.
• Riešenie chýb: Agent narazí na chybu s url_crawl_tool a správne identifikuje možný problém ako nesprávny vstupný formát (nie JSON pole reťazcov).
• Prispôsobivosť: Napriek chybe má agent v úmysle skúsiť to znova so správnym formátom, čo dokazuje jeho prispôsobivosť.

Vo videu však už nie sú ďalšie myšlienky, takže nevidíme, ako agent postupuje po viacerých chybách.

Ukážka výstupu bota

Environmentálny dopad elektrických vozidiel (EV) v porovnaní s vozidlami na vodíkový pohon možno hodnotiť v niekoľkých kľúčových oblastiach: výroba energie, životný cyklus vozidla a emisie.

Výroba energie:

• Elektrické vozidlá: Environmentálny dopad EV do veľkej miery závisí od zdroja elektriny použitej na nabíjanie. Obnoviteľné zdroje energie ako vietor, slnko a vodná energia výrazne znižujú uhlíkovú stopu EV. Ak však elektrina pochádza z fosílnych palív, emisie môžu byť značné.
• Vozidlá na vodíkový pohon: Vodík sa dá vyrábať rôznymi spôsobmi, vrátane reformingu zemného plynu a elektrolýzy. Kým elektrolýza s využitím obnoviteľných zdrojov je čistejšia, najčastejšou metódou je reforming zemného plynu, ktorý produkuje skleníkové plyny.

Životný cyklus vozidla:

• Elektrické vozidlá: EV majú väčší environmentálny dopad vo fáze výroby, najmä kvôli ťažbe a spracovaniu lítia, kobaltu a ďalších materiálov na batérie. Počas prevádzky však majú nižšie emisie, najmä ak sú poháňané obnoviteľnou energiou.
• Vozidlá na vodíkový pohon: Výroba palivových článkov zahŕňa energeticky náročné procesy a použitie vzácnych materiálov ako platina. Emisie počas životného cyklu môžu byť vyššie alebo nižšie ako pri EV v závislosti od spôsobu výroby vodíka.

Emisie:

• Elektrické vozidlá: EV neprodukujú žiadne emisie z výfuku. Celkové emisie závisia od zdroja elektriny. Pri nabíjaní čistou energiou sú ich celkové emisie výrazne nižšie v porovnaní s vozidlami so spaľovacím motorom.
• Vozidlá na vodíkový pohon: Tieto vozidlá takisto nemajú žiadne emisie z výfuku, iba vypúšťajú vodnú paru. Avšak emisie vznikajúce pri výrobe vodíka môžu byť značné, najmä ak sa vodík nevyrába udržateľne.

Celkovo elektrické vozidlá aj vozidlá na vodíkový pohon ponúkajú cesty na zníženie emisií z dopravy, ich environmentálne dopady sa však líšia v závislosti od použitých zdrojov energie a technológií počas celého životného cyklu. Pre maximalizovanie environmentálnych výhod oboch technológií je kľúčový prechod na čistejšie metódy výroby energie.

• Čas potrebný: Agent prijíma zadanie o 0:06 a výstup sa začína zobrazovať o 0:32. Keďže však proces myslenia agenta je prerušený uprostred vety a pokračuje v pokusoch o použitie url_crawl_tool, zdá sa, že niečo nefungovalo správne a agent nikdy poriadne nedokončí odpoveď.
• Čitateľnosť: Flesch-Kincaid Grade Level: 16, Flesch-Kincaid Score: 16.01
• Dĺžka zhrnutia: 302 slov

Analýza výstupu

• Neúplná odpoveď: Posledná myšlienka agenta o 0:25 naznačuje, že bol prerušený počas procesu. Výstup, hoci začína sľubne, je neúplný. Agent končí uprostred vety pri diskutovaní o emisiách z vodíkových vozidiel, čo naznačuje možnú chybu alebo prerušenie počas generovania obsahu