Ako AI agenti ako Llama 3.2 1B spracúvajú informácie

AI agenti menia spôsob, akým pracujeme s informáciami, riešime problémy a robíme rozhodnutia. Medzi týmito agentmi vyniká Llama 3.2 1B svojou kompaktnou, no výkonnou architektúrou, navrhnutou na efektívne a presné spracovanie informácií. Ako si však poradí s reálnymi výzvami?

V tomto blogu pristupujeme k Llama 3.2 1B prakticky a hodnotíme, ako uvažuje ako AI agent. Prostredníctvom reálnych scenárov preskúmame jeho schopnosť spracovať vstupy, analyzovať dáta a priniesť zmysluplné riešenia. Preskúmaním jeho výkonu odhalíme silné stránky, slabiny a potenciál Llama 3.2 1B v dynamických aplikáciách. Ak vás zaujímajú mechanizmy AI uvažovania, pridajte sa k nám a otestujeme tento ľahký, no výkonný model.

Úloha 1: Generovanie obsahu

Prompt:
Keď používateľ povie „Start“, mal by si:

• Generovanie obsahu: Napíš komplexný, informatívny článok o základoch projektového manažmentu so zameraním na definovanie cieľov, rozsahu a delegovanie.

Počiatočné pochopenie úlohy a plánovanie

• (0:06) Myšlienka: Môžete poskytnúť podrobnosti o aktuálnej úlohe alebo projekte, na ktorom pracujeme, vrátane cieľov, termínov a špecifických požiadaviek?
• (0:09) Myšlienka: Zozbierať informácie o základoch projektového manažmentu, so zameraním na definovanie cieľov, rozsahu a delegovanie.

Výber výskumného nástroja a počiatočné vyhľadávanie

• (0:16) Myšlienka: Na napísanie komplexného článku o základoch projektového manažmentu potrebujem získať podrobné informácie o definovaní projektových cieľov, rozsahu a delegovaní. Začnem použitím nástroja wikipedia na získanie všeobecného prehľadu o projektovom manažmente, ktorý by mohol obsahovať tieto zložky.
• Používa nástroj: wikipedia

Upresnenie stratégie vyhľadávania

• (0:18) Myšlienka: Wikipedia poskytuje dobrý prehľad o projektovom manažmente, ale chýbajú jej špecifické detaily o definovaní cieľov, rozsahu a delegovaní. Použijem google_serper na nájdenie cielenejších informácií o týchto aspektoch.
• Používa nástroj: google_serper

Ďalší výskum cez Google Search

• (0:22) Myšlienka: Získal som niekoľko poznatkov o definovaní projektových cieľov. Teraz sa musím podrobnejšie venovať rozsahu a delegovaniu. Opäť použijem google_serper na získanie detailných informácií o týchto témach.
• Používa nástroj: google_serper
• (0:26) Myšlienka: Získal som niekoľko poznatkov o definovaní projektových cieľov a rozsahu. Teraz sa musím podrobnejšie venovať delegovaniu v projektovom manažmente. Opäť použijem google_serper na získanie detailných informácií o tejto téme.
• Používa nástroj: google_serper

Výstupný úryvok:

Výstupom je článok s názvom „Základy projektového manažmentu: Definovanie cieľov, rozsahu a delegovanie“. Poskytuje detailné vysvetlenie týchto troch kľúčových aspektov projektového manažmentu.

Trvanie úlohy:
Agent začína pracovať na úlohe o 0:06 a finálny výstup je zobrazený o 0:32, čo znamená trvanie 26 sekúnd.

Čitateľnosť:

• Flesch-Kincaid úroveň: 13
• Flesch-Kincaid skóre: 12,97

Dĺžka zhrnutia: 346 slov

Analýza myšlienkového postupu agenta:

1. Pochopenie úlohy: Správne identifikuje požiadavky na základe počiatočných inštrukcií.
2. Strategický výber nástrojov: Začína s Wikipédiou, potom prechádza na Google Search pre cielenejší výskum.
3. Iteratívny výskum: Upresňuje stratégiu vyhľadávania, postupne sa zameriava na ciele, rozsah a delegovanie.
4. Prispôsobivosť: Mení prístup, keď počiatočné vyhľadávanie neposkytuje dostatok detailov.

Záver:

Agent generuje dobre štruktúrovaný, informatívny článok o základoch projektového manažmentu, pričom preukazuje logický a strategický výskum a prispôsobivosť počas celého procesu.

Úloha 2: Výpočet

Prompt:
Firma predáva dva produkty: Produkt A a Produkt B. Výroba produktu A stojí 30 dolárov za kus a predáva sa za 50 dolárov za kus. Výroba produktu B stojí 40 dolárov za kus a predáva sa za 70 dolárov za kus.

Firma minulý mesiac predala 120 kusov produktu A a 80 kusov produktu B. Vypočítajte celkové tržby z predaja oboch produktov.

Vypočítajte celkový zisk z predaja oboch produktov (Tržby – Celkové výrobné náklady).

Firma chce zvýšiť celkové tržby o 10 %. Koľko ďalších kusov každého produktu musí predať, aby tento cieľ dosiahla, ak výrobná cena na kus a predajná cena na kus zostanú rovnaké?

Počiatočné pochopenie úlohy

• (0:06) Myšlienka: Vypočítať celkové tržby a celkový zisk z predaja produktu A a B a určiť, koľko ďalších kusov každého produktu treba predať na zvýšenie tržieb o 10 %.

Analýza myšlienkového postupu agenta:

• Agent správne chápe úlohu: vypočítať celkové tržby, celkový zisk a ďalšie potrebné kusy pre 10% nárast tržieb.

Výstupný úryvok agenta:

Pre produkt A:

• Celkové tržby = (120 ks * 50 $) = 6 000 $
• Celkové výrobné náklady = (120 ks * 30 $) = 3 600 $
• Celkový zisk = 6 000 $ – 3 600 $ = 2 400 $

Pre produkt B:

• Celkové tržby = (80 ks * 70 $) = 5 600 $
• Celkové výrobné náklady = (80 ks * 40 $) = 3 200 $
• Celkový zisk = 5 600 $ – 3 200 $ = 2 400 $

Spolu:

• Celkové tržby = 6 000 $ + 5 600 $ = 11 600 $
• Celkový zisk = 2 400 $ + 2 400 $ = 4 800 $

Na zvýšenie tržieb o 10 %:

• Cieľové tržby = 11 600 + (11 600 * 0,10) = 12 760 $

Trvanie úlohy: 16 sekúnd (od prijatia zadania o 0:06 po výstup o 0:22)

Dĺžka zhrnutia:
59 slov

Analýza výstupu:

• Presné výpočty: Výpočty tržieb a zisku sú správne.
• Prehľadná prezentácia: Jednoduché sledovanie formátu.
• Neúplné riešenie: Chýbajú kroky na výpočet počtu potrebných ďalších kusov pre 10% nárast tržieb.
• Nesprávna odpoveď: Navrhovaných „30 ďalších kusov produktu A a 20 produktu B“ nie je matematicky správne.

Záver:

Agent chápe a dokončí základné výpočty, ale chýbajú mu detailné kroky pre výpočet ďalších kusov a výsledné kombinácie nie sú správne.

Úloha 3: Sumarizácia

Prompt:
Zhrňte kľúčové zistenia z predchádzajúceho článku v 100 slovách, so zameraním na najvýznamnejšie časti.

Počiatočné pochopenie úlohy

• (0:06) Myšlienka: Zhrnúť kľúčové zistenia z predchádzajúceho článku v 100 slovách, so zameraním na najvýznamnejšie časti.

Analýza myšlienkového postupu agenta:

• Agent priamo opakuje zadanie, čo naznačuje základné pochopenie.

Analýza výstupu:

• Stručnosť: Prináša 97-slovné zhrnutie.
• Obsah: Presne pokrýva AI uvažovanie, aplikácie, posledné pokroky (OpenAI) a etické aspekty.
• Štruktúra a jasnosť: Dobre organizované a ľahko čitateľné.

Úryvok výstupu agenta:

Článok sa zaoberá oblasťou AI uvažovania, skúma jeho typy, historický vývoj a využitia v zdravotníctve a ďalších odvetviach. Zdôrazňuje úlohu AI uvažovania v rozhodovaní, riešení problémov a podpore inovácií. Osobitná pozornosť je venovaná nedávnym pokrokom, ako je model GPT-3 od OpenAI, pričom sú popísané jeho vlastnosti a výkonnosť. Článok tiež upozorňuje na výzvy a etické otázky súvisiace s modelmi AI uvažovania. Celkovo poskytuje komplexný prehľad o význame a dôsledkoch AI uvažovania v rôznych oblastiach a poukazuje na jeho potenciál i limity.

Záver:

Agent dokáže presne a stručne zhrnúť zložité informácie v stanovenom rozsahu slov.

Úloha 4: Porovnávacia úloha

Prompt:
Keď používateľ povie „Start“, mal by si:

Porovnaj environmentálny dopad elektrických vozidiel s vodíkovými autami. Zahrň faktory ako výroba energie, životný cyklus vozidla a emisie.

Počiatočné pochopenie úlohy a zber informácií

• Myšlienka: Na porovnanie environmentálneho dopadu elektrických vozidiel (EV) a vodíkových áut potrebujem zozbierať podrobné informácie o výrobe energie, životnom cykle vozidla a emisiách pre oba typy vozidiel. Začnem hľadaním komplexných štúdií alebo správ, ktoré tieto aspekty analyzujú.
• Používa nástroj: google_serper
• (0:15) Myšlienka: Výsledky vyhľadávania poskytli viacero odkazov na články porovnávajúce elektrické a vodíkové vozidlá. Teraz si stiahnem obsah týchto URL, aby som získal detailné údaje o výrobe energie, životnom cykle a emisiách.
• Používa nástroj: url_crawl_tool
• (0:25) Myšlienka: Chyba pri sťahovaní URL naznačuje, že formát vstupu bol nesprávny. Musím zabezpečiť, že URL budú zadané ako JSON pole reťazcov. Skúsme to znova so správnym formátom.
• Používa nástroj: url_crawl_tool

Analýza myšlienkového postupu agenta:

• Správne interpretuje úlohu na porovnanie a prispôsobuje sa chybám nástrojov.

Úryvok výstupu agenta:

Porovnanie environmentálneho dopadu elektrických vozidiel (EV) a vodíkových áut

Pochopenie environmentálnych dopadov EV a vodíkových áut si vyžaduje komplexnú analýzu výroby energie, životného cyklu vozidla a emisií. Nižšie je detailné porovnanie týchto faktorov pre oba typy vozidiel.

1) Výroba energie

Elektrické vozidlá (EV):

• Zdroj energie: EV sú poháňané elektrinou, ktorá môže byť generovaná z rôznych zdrojov vrátane obnoviteľných, ako je solárna, veterná alebo vodná energia, alebo z fosílnych palív. Environmentálny dopad závisí najmä od energetického mixu v danej oblasti. V regiónoch s vysokým podielom obnoviteľných zdrojov majú EV podstatne nižšiu uhlíkovú stopu.

Vodíkové autá:

• Výroba energie: Vodík sa môže produkovať:
  • Parná reformácia metánu (SMR): Tento spôsob využíva zemný plyn, ktorý nie je ekologický kvôli emisiám CO2.
  • Elektrolýza: Pomocou obnoviteľnej energie sa rozkladá voda na vodík a kyslík, čo je čisté, no zatiaľ menej rozšírené pre náklady a efektivitu.
  • Plynovanie biomasy: Potenciálne udržateľná metóda, ale zatiaľ nie rozšírená.

Trvanie úlohy: 1 minúta a 10 sekúnd (od zadania po finálnu odpoveď)

Čitateľnosť:

• Flesch-Kincaid úroveň: 17
• Flesch-Kincaid skóre: 17,08

Analýza výstupu:

• Komplexné porovnanie: Pokrýva výrobu energie, životný cyklus aj emisie.
• Dobre štruktúrované: Jasné nadpisy a podnadpisy.
• Presné informácie: Odráža aktuálne poznanie oboch technológií.
• Menšie formátovacie nedostatky: Niektoré nekonzistencie.

Záver:

Agent poskytol dôkladnú analýzu aj napriek chybám nástrojov a obmedzenému pohľadu na svoj vnútorný myšlienkový proces.

Úloha 5: Kreatívne písanie

Prompt:
Napíš futuristický príbeh (500 slov) zasadený do sveta, kde elektrické vozidlá úplne nahradili tradičné spaľovacie autá. Opíš environmentálne zmeny a spoločenský dopad.

Počiatočné pochopenie úlohy

• (0:06) Myšlienka: Napíš futuristický príbeh (500 slov) zasadený do sveta, kde elektrické vozidlá úplne nahradili tradičné spaľovacie autá. Opíš environmentálne zmeny a spoločenský dopad.

Analýza myšlienkového postupu agenta:

• Správne identifikuje požiadavky: príbeh, futuristické prostredie, environmentálne i spoločenské zmeny, cieľová dĺžka.

Analýza výstupu:

• Kreatívne a opisné: Živý, nápaditý a pútavý príbeh.
• Pokrýva kľúčové aspekty: Environmentálne aj spoločenské zmeny sú zahrnuté.
• Dobre štruktúrované: Jasný začiatok, rozvinutie i záver.
• Počet slov: 475 slov (blízko cieľu).
• Čitateľnosť: Stredná náročnosť, vhodná pre žáner.

Úryvok výstupu agenta:

V roku 2050 prešiel svet pozoruhodnou premenou, keď sa elektrické vozidlá stali hlavným dopravným prostriedkom na celom svete. Kedysi znečistené oblohy sa teraz leskli čistotou a ulice bzučali tichým vrčaním elektromotorov. Ako posledné benzínové autá upadli do zabudnutia, začala nová éra udržateľnej mobility a inovácií.

Zmeny v životnom prostredí boli zásadné. Skončili sa dni miest zamorených smogom a ropných škvŕn znečisťujúcich nedotknuté krajiny. Vzduch bol čistejší, voda priezračnejšia a príroda sa začala zotavovať z desaťročí ľudského poškodzovania. Vďaka nižším emisiám a prechodu na obnoviteľné zdroje energie na pohon týchto vozidiel sa planéta vydala na cestu obnovy.

Trvanie úlohy: 10 sekúnd

Záver:

Agent prináša silný a pútavý príbeh, ktorý spĺňa všetky požiadavky v stanovených mantineloch.

Záverečné myšlienky

Naše skúmanie výkonu Llama 3.2 1B naprieč rôznymi úlohami poskytuje presvedčivý obraz o jeho schopnostiach ako kompaktného, no silného AI agenta. Napriek obmedzeniam video formátu, ktorý poskytoval len obmedzený pohľad na vnútorné myšlienkové procesy agenta, kvalita jeho výstupov konzistentne potvrdzovala jeho efektivitu a potenciál.

Od generovania komplexného článku o základoch projektového manažmentu až po presné riešenie zložitých výpočtov (hoci s nedostatkom v záverečných krokoch úlohy na zvýšenie tržieb) Llama 3.2 1B ukázal svoju univerzálnosť. Úloha sumarizácie zdôraznila jeho schopnosť stručne destilovať kľúčové informácie, zatiaľ čo porovnávacia úloha – napriek technickej chybe – nakoniec priniesla dôkladnú analýzu environmentálnych dopadov rôznych typov vozidiel. Agentov výlet do kreatívneho písania ešte viac potvrdil jeho zručnosti, keď v stanovených parametroch vytvoril pútavý príbeh.

Opakujúcou sa témou však bola aj obmedzená viditeľnosť do „myšlienok“ agenta v tejto sérii testov. Ako aj pri predchádzajúcej analýze agenta, často sme mali k dispozícii len jednu myšlienku na úlohu, ktorá väčšinou odrážala počiatočné pochopenie zadania. Toto, spolu s opakovanými myšlienkami najmä pri porovnávacej úlohe, naznačuje potenciálne oblasti na zlepšenie buď v interných procesoch agenta alebo v spôsobe vizualizácie jeho uvažovania. Je tiež dôležité poznamenať, že agent počas porovnávacej úlohy narazil na problémy s nástrojmi, čo pravdepodobne súvisí s jeho neschopnosťou poskytnúť plnú odpoveď v tomto kroku.

Napriek tomu zostáva výkon Llama 3.2 1B pôsobivý. Jeho schopnosť generovať kvalitný obsah, vykonávať výpočty, sumarizovať informácie a zapojiť sa do kreatívneho písania ukazuje jeho potenciál ako výkonného nástroja v rôznych oblastiach. Tento kompaktný model dokazuje, že významné schopnosti sa dajú vložiť aj do menších AI architektúr, čo otvára možnosti pre efektívnejšie a dostupnejšie AI riešenia. Hoci hlbšie pochopenie jeho vnútorného fungovania by nepochybne zvýšilo naše ocenenie jeho možností, toto praktické hodnotenie potvrdzuje, že Llama 3.2 1B je silným hráčom v rýchlo sa rozvíjajúcom svete AI agentov. Ako sa táto technológia bude ďalej vyvíjať, bude zaujímavé sledovať, ako sa tieto menšie modely ešte viac optimalizujú a nasadzujú v reálnych scenároch.