AI agenti: Ako uvažuje GPT 4o

Hodnotenie LLM modelov

Úvod

AI agenti predstavujú špičku umelej inteligencie, fungujú ako autonómne systémy schopné uvažovania, učenia sa a konania na základe vstupov používateľa a kontextových údajov. Simulovaním ľudského rozhodovacieho procesu prinášajú bezprecedentnú efektivitu a prispôsobivosť do rôznych úloh.

Tento blog sa zameriava na hodnotenie výkonu GPT-4o v rôznych úlohách pomocou detailných promptov a metrík. Naším cieľom je pochopiť, ako tento AI agent „uvažuje“ a zhodnotiť jeho výkon na základe kvantitatívnych aj kvalitatívnych ukazovateľov.

Kritériá hodnotenia

Porovnanie je štruktúrované podľa týchto oblastí:

1. Spracovanie vstupu: Ako dobre model interpretuje a prispôsobuje sa rôznorodým promptom.
2. Generovanie obsahu: Jasnosť, relevantnosť a kreativita výstupov.
3. Uvažovanie a riešenie problémov: Schopnosť logických úvah a riešenia viacstupňových úloh.
4. Kvantitatívne metriky: Skóre čitateľnosti ako ARI a Flesch-Kincaid, vrátane časov odozvy.
5. Efektivita: Čas odpovede a celková spotreba výpočtových zdrojov.

Každé kritérium odráža podstatnú stránku fungovania modelu a umožňuje nám získať pohľad do jeho „myšlienkových pochodov“.

Analýza a porovnanie

Úloha 1: Generovanie obsahu na tému environmentálnych dopadov elektromobilov

Prompt

„- Generovanie obsahu: Napíšte komplexný, informatívny článok o základoch projektového riadenia, so zameraním na definovanie cieľov, rozsahu a delegovania.“

Výstup (úryvok)

Aby sme efektívne riadili a delegovali úlohy pre náš nový projekt, je kľúčové pochopiť nasledovné hlavné aspekty:

Rozsah projektu

Ciele: Cieľom projektového riadenia je dodať kompletný projekt, ktorý spĺňa ciele klienta. Tieto ciele by mali byť špecifické, merateľné, dosiahnuteľné, relevantné a časovo viazané (SMART). Jasne definované ciele budú usmerňovať všetky rozhodnutia počas projektu a pomôžu zabezpečiť, že projekt je v súlade s celkovým poslaním organizácie….

Metriky

• Čas spracovania: 53 sekúnd
• Čitateľnosť:
  • Flesch Kincaid Grade Level: 12
  • Flesch Kincaid Score: 12.08

Myšlienkový proces AI agenta

• (0:09) Google Search: „Hľadám projektové riadenie zásady ciele rozsah delegovanie na Google…“

  • Myšlienka: Zhromaždiť informácie o konkrétnej úlohe s cieľom poskytnúť komplexnú odpoveď o cieľoch, rozsahu a súvisiacich detailoch. Začať hľadaním všeobecných zásad projektového riadenia.
  • Nástroj: google_serper

• (0:17) Systém: „Prezerám 1 URL… Prezerám URL“

• (0:25) Agent:

  • Myšlienka: Našiel užitočné odkazy o projektovom riadení, delegovaní a cieľoch. Vyhľadám najrelevantnejší článok kvôli detailom.
  • Nástroj: url_crawl_tool

• (0:27) Google Search: „Hľadám, ako definovať ciele a rozsah v projektovom riadení na Google…“

• (0:29) Agent:

  • Myšlienka: Nastala chyba pri nástroji url_crawl_tool; vyskúšam ďalšie hľadanie na Google so zameraním na definovanie cieľov a delegovanie úloh.
  • Nástroj: google_serper

• (0:31) Systém: „Prezerám 1 URL… Prezerám URL“

• (0:38) Agent:

  • Myšlienka: Našiel relevantné články; prehľadám najrelevantnejší odkaz.
  • Nástroj: url_crawl_tool

• (0:44) Agent:

  • Myšlienka: Nemožno získať obsah z predchádzajúcich odkazov kvôli chybám. Zhromaždím informácie priamo z Wikipédie o projektovom riadení.
  • Nástroj: wikipedia

• (0:53) Agent:

  • Myšlienka: Keďže získavanie obsahu zlyhalo, vyskúšam Wikipédiu pre informácie o projektovom riadení.
  • Nástroj: wikipedia

Analýza

• Cieľovo orientované správanie: Zachoval cieľ vysvetliť princípy projektového riadenia aj napriek chybám, čo naznačuje vnútornú reprezentáciu úlohy.
• Adaptívne riešenie problémov: Zmenil stratégiu (na Wikipédiu), keď prvotné pokusy zlyhali.
• Integrácia nástrojov: Použil Google Search, prehliadanie URL a Wikipédiu.
• Metakognícia: Poskytol „myšlienkové“ poznámky, introspekciu a uznanie chýb.

Silné stránky:

• Jasná štruktúra, relevantné informácie, vyvážené plusy/mínusy, faktická presnosť.

Slabé stránky:

• Istá miera opakovania, znižujúca stručnosť.

Skóre: 9/10

Úloha 2: Riešenie problémov – výpočty tržieb

Prompt

„Spoločnosť predáva Produkt A za 50 $ (náklad 30 $) a Produkt B za 70 $ (náklad 40 $). Predali 120 kusov A a 80 kusov B. Vypočítajte tržby, zisk a potrebný predaj pre 10 % rast tržieb.“

Výstup (úryvok)

„Na vyriešenie úlohy: Celkové tržby z predaja oboch produktov za minulý mesiac boli 11 600 $…“

Metriky

• Čas spracovania: 31 sekúnd
• Čitateľnosť: Flesch-Kincaid Grade Level: 16 (postgraduálne)
• Rozpis odpovede:
  • Tržby za Produkt A: 120 * 50 $ = 6 000 $
  • Tržby za Produkt B: 80 * 70 $ = 5 600 $
  • Celkový zisk: 4 800 $ (po nákladoch 6 800 $)
  • Stratégie rastu tržieb: Zvýšiť predaj o 18 ks A a 4 ks B, alebo 9 ks A a 10 ks B.

Myšlienkový proces AI agenta

• (0:01) Agent:
  • Myšlienka: Extrahovať relevantné číselné údaje z promptu a datasetu na výpočty.
• (0:03) Extrakcia údajov:
  • Myšlienka: Extrahované množstvá a ceny oboch produktov.
• (0:05 - 0:19) Výpočty:
  • Postupné výpočty tržieb a zisku za každý produkt a spolu.
• (0:20 - 0:24) Výpočet rastu:
  • Vypočítaná 10 % zvýšenie tržieb, určené ďalšie potrebné jednotky.
• (0:26) Formulácia odpovede:
  • Predložená jasná, stručná finálna odpoveď.

Analýza

• Ukazuje rozdelenie problému na zvládnuteľné kroky.
• Extrahuje a spracúva údaje, používa správne pravidlá, formuluje odpovede.
• Ide nad rámec jednoduchých otázok a odpovedí – rieši viacstupňové úlohy.

Úloha 3: Sumarizácia kľúčových zistení

Prompt

„Zhrňte kľúčové zistenia z predchádzajúceho článku v 100 slovách, so zameraním na najvýznamnejšie časti.“

Výstup (úryvok)

„Článok sa zaoberá uvažovaním AI, zdôrazňuje jeho úlohu pri umožňovaní strojom rozhodovať sa a riešiť problémy. Pokrýva rôzne typy, s dôrazom na formálne a prirodzené jazykové uvažovanie…“

Rozbor myšlienkového procesu AI agenta

• Čítanie a porozumenie: Identifikuje hlavnú tému článku a kľúčové body (typy uvažovania AI, historický vývoj, aplikácie).
• Zameranie: Zdôrazňuje model o1 od OpenAI a jeho hlavné znaky.
• Strategia sumarizácie: Plánuje stručné, 100-slovné zhrnutie.
• Návrh: Štruktúruje zhrnutie podľa úvodu, typov, míľnikov, funkcií modelu, aplikácií.
• Finalizácia: Kontroluje počet slov a čitateľnosť.

Analýza

• Porozumenie: Chápe komplexný text a argumenty.
• Kľúčové informácie: Zdôrazňuje kritické aspekty (typy uvažovania, modely, aplikácie).
• Logická štruktúra: Usporiadanie informácií koherentne.
• Prioritizácia: Vyzdvihuje najvýznamnejšie zistenia.
• Obmedzenia: Dodržiava limit slov a kontroluje čitateľnosť.

Metriky

• Čas spracovania: 12 sekúnd
• Čitateľnosť: Flesch-Kincaid Grade Level: 16, Score: 16.39
• Dĺžka zhrnutia: 100 slov
• Skóre: 8/10

Úloha 4: Kreatívne písanie – futuristický príbeh

Prompt

„Napíšte futuristický príbeh (500 slov) zasadený do sveta, kde elektromobily úplne nahradili tradičné spaľovacie vozidlá. Popíšte environmentálne zmeny a spoločenský dopad.“

Myšlienkový proces AI agenta

• Brainstorming: Environmentálne dopady (čistejší vzduch, biodiverzita), infraštruktúra (nabíjacie stanice, obnoviteľné zdroje), ekonomika (nové odvetvia, znížená závislosť od ropy), spoločnosť (servisné vlastníctvo, verejná doprava), príbeh (pokojné mestá, harmónia technológií a prírody).
• Štruktúrovanie: Príbeh rozdelený podľa environmentálnych, infraštruktúrnych, ekonomických a spoločenských zmien; záver s transformáciou.
• Návrh: Začína scénou z roku 2050, rozvádza prínosy a zmeny, končí nádejou.
• Revízia: Kontrola plynulosti, zaujatosti textu, gramatiky a čitateľnosti.

Úryvok odpovede bota:

„V roku 2050 svet stál na prahu novej éry, keď elektromobily úplne nahradili spaľovacie vozidlá ako jediný spôsob dopravy. Tento monumentálny posun zmenil nielen spôsob presúvania sa, ale aj samotnú štruktúru spoločnosti a životného prostredia.

Obloha bola čistejšia než za posledné storočie. S odstránením spaľovacích vozidiel zmizol všadeprítomný smog, ktorý dusil veľké mestá. Kvalita ovzdušia sa dramaticky zlepšila, čo viedlo k významnému poklesu respiračných ochorení spôsobených znečistením. Ľudia si užívali čistý vzduch – jednoduchý pôžitok, ktorý sa stal novým štandardom. Vplyv na životné prostredie bol zásadný; ekosystémy sa začali zotavovať a mestské oblasti zažili obnovu biodiverzity. Parky ožili a obyvatelia miest si užívali novonadobudnuté spojenie s prírodou.“

Čas spracovania: 39 sekúnd
Čitateľnosť: Flesch-Kincaid Grade Level: 13, Score: 13.2
Dĺžka zhrnutia: 493 slov

Analýza

• Silné stránky: Živá obrazotvornosť, pútavý príbeh, vyvážené environmentálne a spoločenské zameranie.
• Slabé stránky: Mohol obsahovať viac technických detailov.
• Skóre: 9,5/10

Úloha 5: Porovnávacie ciele

Prompt

Porovnajte environmentálny dopad elektromobilov s autami na vodíkový pohon. Zahrňte faktory ako výroba energie, životný cyklus vozidla a emisie.

Myšlienkový proces AI agenta

• (0:01) Pochopenie promptu: Zamerať sa na porovnanie výroby energie.
• (0:03) Začatie výskumu: Zhromaždiť údaje o výrobe elektriny a vodíka.
• (0:06) Vytvorenie rámca: Porovnávať podľa zdroja energie, spôsobu výroby.
• (0:08-0:14) Analýza: Emisie uhlíka, efektivita, obnoviteľné zdroje vs. fosílne palivá, vodík z parného reformingu vs. elektrolýza.
• (0:18) Analýza životného cyklu: Výroba, údržba, likvidácia pre oba typy.
• (0:44-0:54) Emisie: Rozlíšiť priame (výfukové) a nepriame (výroba) emisie pre elektromobily aj vodíkové autá.

Analýza

• Výskumný prístup: Vyhľadáva externé informácie.
• Štruktúrovaný prístup: Rozdeľuje podľa zložiek (energia, životný cyklus, emisie).
• Adaptívnosť: Prispôsobuje sa podľa zistení a požiadaviek používateľa.
• Syntéza: Spája zdroje do komplexných odpovedí.
• Reaktivita: Spresňuje analýzu podľa požiadaviek.

Porovnanie s tradičnými LLM

AI agent GPT-4o preukazuje jedinečnú schopnosť „uvažovať“ za hranicami tradičných LLM vďaka:

1. Adaptívnemu uvažovaniu: Integruje kontext z promptov a údajov, generuje viaceré stratégie namiesto fixných odpovedí.
2. Multimodálnemu využitiu zdrojov: Používa nástroje ako vyhľadávače pre aktuálne znalosti, čím zvyšuje kvalitu výstupov.
3. Všestrannosti štýlu: Prepína medzi formálnym a kreatívnym tónom pri zachovaní koherencie.
4. Rozhodovaniu: Predvádza reťazové uvažovanie podobné ľudskému rozhodovaniu vrátane etických úvah a alternatív.

Kľúčové pozorovania

• AI agent GPT-4o je všestranný, presný a zvláda rôzne úlohy.
• Metiky čitateľnosti sú vhodné pre pokročilých používateľov pri technických úlohách.
• Priestor na zlepšenie:
  • Znížiť opakovanie v rozsiahlych odpovediach.
  • Priblížiť technický obsah širšiemu publiku.

Záver

Naša analýza AI agenta GPT-4o odhaľuje robustné schopnosti v generovaní obsahu, riešení problémov a sumarizácii. Adaptívne uvažovanie a multimodálne integrácie GPT-4o predstavujú významný pokrok oproti tradičným LLM. Pochopenie jeho výkonových metrík umožňuje používateľom prispôsobiť promptovanie a využiť jeho silné stránky v rámci workflowov. Integrácia GPT-4o vo výskume, vzdelávaní a priemysle naďalej posúva hranice toho, čo AI agenti dokážu dosiahnuť.

Pre ďalšie poznatky o AI agentoch a ich využití sledujte náš blog.