AI agenti: Jak přemýšlí GPT 4o

Vyhodnocení LLM modelů

Úvod

AI agenti představují špičku v oblasti umělé inteligence a fungují jako autonomní systémy schopné uvažování, učení a jednání na základě vstupů uživatele i kontextových dat. Simulací lidského rozhodovacího procesu přinášejí bezprecedentní efektivitu a adaptabilitu pro různé úkoly.

Tento blog se zaměřuje na hodnocení výkonu GPT-4o v různých úlohách pomocí detailních promptů a metrik. Naším cílem je pochopit, jak tento AI agent „přemýšlí“ a posoudit jeho výkon na základě kvantitativních i kvalitativních ukazatelů.

Kritéria hodnocení

Porovnání je strukturováno podle následujících dimenzí:

1. Zpracování vstupů: Jak dobře model interpretuje a přizpůsobuje se různorodým promptům.
2. Generování obsahu: Srozumitelnost, relevance a kreativita výstupů.
3. Uvažování a řešení problémů: Schopnost modelu provádět logické dedukce a řešit vícestupňové úlohy.
4. Kvantitativní metriky: Čitelnost (např. ARI, Flesch-Kincaid), doba odezvy.
5. Efektivita: Rychlost odpovědi a celková náročnost na výpočetní zdroje.

Každé kritérium reflektuje zásadní aspekt fungování modelu a umožňuje nahlédnout do jeho „myšlenkových pochodů“.

Analýza a srovnání

Úkol 1: Generování obsahu o environmentálních dopadech elektromobilů

Prompt

„-Generování obsahu: Napište komplexní, informativní článek o základech projektového managementu se zvláštním zaměřením na definování cílů, rozsahu a delegování.“

Výstup (ukázka)

Pro efektivní řízení a delegování úkolů v našem novém projektu je klíčové porozumět následujícím aspektům:

Rozsah projektu

Cíle: Cílem projektového managementu je dodat kompletní projekt, který splňuje cíle klienta. Tyto cíle by měly být specifické, měřitelné, dosažitelné, relevantní a časově ohraničené (SMART). Jasně definované cíle budou řídit všechna rozhodnutí po dobu realizace projektu a pomohou zajistit, že projekt odpovídá celkové misi organizace…

Metriky

• Doba trvání: 53 sekund
• Čitelnost:
  • Flesch Kincaid Grade Level: 12
  • Flesch Kincaid Score: 12.08

Myšlenkový postup AI agenta

• (0:09) Google Search: „Hledám project management guidelines objectives scope delegation na Google…“

  • Myšlenka: Získat informace k danému úkolu, abych mohl podat komplexní odpověď ohledně cílů, rozsahu a relevantních detailů. Začínám hledáním obecných pokynů projektového managementu.
  • Nástroj: google_serper

• (0:17) Systém: „Prohlížím 1 url… Prohlížím URL“

• (0:25) Agent:

  • Myšlenka: Získal jsem užitečné odkazy o projektovém řízení, delegování a cílech. Pro podrobnosti projdu nejrelevantnější článek.
  • Nástroj: url_crawl_tool

• (0:27) Google Search: „Hledám how to define project objectives and scope in project management na Google…“

• (0:29) Agent:

  • Myšlenka: Došlo k chybě při použití url_crawl_tool; zkusím další vyhledávání na Google zaměřené na definování cílů a delegování úkolů.
  • Nástroj: google_serper

• (0:31) Systém: „Prohlížím 1 url… Prohlížím URL“

• (0:38) Agent:

  • Myšlenka: Našel jsem relevantní články, projdu nejdůležitější odkaz.
  • Nástroj: url_crawl_tool

• (0:44) Agent:

  • Myšlenka: Nepodařilo se získat obsah ze zadaných odkazů kvůli chybám. Zkusím získat informace přímo z Wikipedie o projektovém managementu.
  • Nástroj: wikipedia

• (0:53) Agent:

  • Myšlenka: Protože se nepodařilo získat obsah, zkusím Wikipedii pro informace o projektovém managementu.
  • Nástroj: wikipedia

Analýza

• Cílené chování: Udržel cíl vysvětlit principy projektového řízení navzdory chybám, což ukazuje na vnitřní reprezentaci úkolu.
• Adaptivní řešení problémů: Při selhání původní strategie přešel na Wikipedii.
• Integrace nástrojů: Využil Google, procházení URL i Wikipedii.
• Metakognice: Uvádí „myšlenky“, reflektuje a přiznává chyby.

Silné stránky:

• Jasná struktura, relevantní informace, vyvážené klady/zápory, věcná přesnost.

Slabé stránky:

• Některé opakování, nižší stručnost.

Hodnocení: 9/10

Úkol 2: Řešení problému – výpočet tržeb

Prompt

„Firma prodává Produkt A za 50 USD (náklady 30 USD) a Produkt B za 70 USD (náklady 40 USD). Prodali 120 ks A a 80 ks B. Spočtěte tržby, zisk a potřebný prodej pro 10% růst tržeb.“

Výstup (ukázka)

„Řešení: Celkové tržby z prodeje obou produktů za minulý měsíc činily 11 600 USD…“

Metriky

• Doba trvání: 31 sekund
• Čitelnost: Flesch-Kincaid Grade Level: 16 (postgraduální)
• Rozpis odpovědi:
  • Tržby za Produkt A: 120 * 50 USD = 6 000 USD
  • Tržby za Produkt B: 80 * 70 USD = 5 600 USD
  • Celkový zisk: 4 800 USD (po odečtení nákladů 6 800 USD)
  • Strategie růstu: Navýšit o 18 ks A a 4 ks B, nebo 9 ks A a 10 ks B.

Myšlenkový postup AI agenta

• (0:01) Agent:
  • Myšlenka: Extrahovat relevantní číselná data z promptu a datasetu pro výpočty.
• (0:03) Extrakce dat:
  • Myšlenka: Získána množství a ceny obou produktů.
• (0:05 - 0:19) Výpočty:
  • Postupný výpočet tržeb a zisku pro oba produkty i celkem.
• (0:20 - 0:24) Výpočet růstu:
  • Spočítán 10% nárůst tržeb, určeno, kolik kusů je potřeba prodat navíc.
• (0:26) Formulace odpovědi:
  • Prezentace jasné, stručné odpovědi.

Analýza

• Ukazuje rozklad problému na zvládnutelné kroky.
• Extrahuje a zpracovává data, aplikuje pravidla, formuluje odpověď.
• Přesahuje prostou Q&A, zvládá vícestupňové řešení problémů.

Úkol 3: Sumarizace klíčových zjištění

Prompt

„Shrňte klíčová zjištění z předchozího článku do 100 slov, zaměřte se na nejvýznamnější části.“

Výstup (ukázka)

„Článek se zabývá uvažováním AI, zdůrazňuje jeho roli v rozhodování a řešení problémů. Pokrývá různé typy, s důrazem na formální a přirozené jazykové uvažování…“

Postup AI agenta

• Čtení & porozumění: Identifikuje hlavní téma článku a klíčové body (typy uvažování, historický vývoj, využití).
• Zaměření: Vyzdvihuje model o1 od OpenAI a jeho významné rysy.
• Strategie sumarizace: Plánuje stručné shrnutí do 100 slov.
• Návrh: Strukturuje shrnutí úvodem, typy, milníky, vlastnostmi modelu, aplikacemi.
• Finalizace: Kontroluje rozsah slov a čitelnost.

Analýza

• Porozumění: Chápe komplexní text i argumenty.
• Klíčové informace: Vyzdvihuje zásadní aspekty (typy uvažování, modely, využití).
• Logická struktura: Uspořádává informace smysluplně.
• Prioritizace: Zdůrazňuje nejvýznamnější zjištění.
• Omezení: Dodržuje limit slov, kontroluje čitelnost.

Metriky

• Doba trvání: 12 sekund
• Čitelnost: Flesch-Kincaid Grade Level: 16, Score: 16.39
• Délka shrnutí: 100 slov
• Hodnocení: 8/10

Úkol 4: Kreativní psaní – futuristický příběh

Prompt

„Napište futuristický příběh (500 slov) zasazený do světa, kde elektromobily zcela nahradily tradiční spalovací auta. Popište environmentální změny a dopad na společnost.“

Myšlenkový postup AI agenta

• Brainstorming: Dopad na životní prostředí (čistší ovzduší, biodiverzita), infrastruktura (nabíjecí stanice, obnovitelné zdroje), ekonomika (nová odvětví, menší závislost na ropě), společnost (sdílené vlastnictví, veřejná doprava), příběh (klidná města, harmonie technologie a přírody).
• Strukturování: Řadí příběh podle environmentálních, infrastrukturních, ekonomických a společenských změn; zakončuje transformací.
• Návrh: Začíná scénou v roce 2050, popisuje výhody a změny, končí nadějí.
• Revize: Kontroluje plynulost, poutavost, gramatiku a čitelnost.

Ukázka výstupu:

„V roce 2050 stál svět na prahu nové éry, kdy elektromobily zcela nahradily tradiční spalovací vozy. Tento zásadní obrat změnil nejen způsob, jakým se lidé pohybovali, ale i samotnou podstatu společnosti a životního prostředí.

Nebe bylo čistší než za celé století. Díky odstranění spalovacích motorů se někdejší smog, který dusil velká města, rozptýlil. Kvalita ovzduší se natolik zlepšila, že onemocnění dýchacích cest spojená se znečištěním výrazně poklesla. Lidé se nadechovali čistého vzduchu, což se stalo běžnou radostí. Dopad na životní prostředí byl zásadní; ekosystémy se začaly zotavovat a města zaznamenala návrat biodiverzity. Parky ožily a obyvatelé měst si užívali nově nabyté spojení s přírodou.“

Doba trvání: 39 sekund
Čitelnost: Flesch-Kincaid Grade Level: 13, Score: 13.2
Délka shrnutí: 493 slov

Analýza

• Silné stránky: Živé obrazy, poutavý příběh, vyvážené zaměření na prostředí i společnost.
• Slabé stránky: Mohl by obsahovat více technických detailů.
• Hodnocení: 9,5/10

Úkol 5: Srovnání environmentálních dopadů

Prompt

Porovnejte environmentální dopady elektromobilů a vodíkových aut. Zahrňte faktory jako výroba energie, životní cyklus vozidla a emise.

Myšlenkový postup AI agenta

• (0:01) Pochopení promptu: Zaměření na srovnání výroby energie.
• (0:03) Zahájení výzkumu: Získat data o výrobě elektřiny a vodíku.
• (0:06) Tvorba rámce: Porovnání podle zdroje energie, způsobu výroby.
• (0:08-0:14) Analýza: Emise uhlíku, efektivita, obnovitelné vs. fosilní zdroje, vodík z parního reformingu vs. elektrolýzy.
• (0:18) Analýza životního cyklu: Výroba, údržba, likvidace obou typů.
• (0:44-0:54) Emise: Rozlišení přímých (z výfuku) a nepřímých (výroba) emisí u EV i vodíkových aut.

Analýza

• Zaměření na výzkum: Vyhledává externí informace.
• Strukturovaný přístup: Rozkládá podle komponent (energie, životní cyklus, emise).
• Adaptabilita: Přizpůsobuje se podle zjištění a uživatelských promptů.
• Syntéza: Kombinuje zdroje do komplexní odpovědi.
• Reaktivita: Zpřesňuje analýzu dle požadavků.

Srovnání s tradičními LLM

AI agent GPT-4o ukazuje jedinečnou schopnost „myslet“ mimo rámec tradičních LLM díky:

1. Adaptivnímu uvažování: Integruje kontext z promptů a dat, vytváří více strategií místo jediné odpovědi.
2. Multimodálnímu využití zdrojů: Používá nástroje jako vyhledávače pro aktuální znalosti, což obohacuje výstup.
3. Všestrannosti stylu: Přechází mezi formálním a kreativním tónem při zachování soudržnosti.
4. Rozhodování: Prokazuje řetězec myšlenek obdobný lidskému rozhodování, včetně etických úvah a alternativ.

Klíčová pozorování

• AI agent GPT-4o je všestranný, přesný a zvládá široké spektrum úloh.
• Metriky čitelnosti odpovídají pokročilým uživatelům u technických úloh.
• Prostor pro zlepšení:
  • Omezit redundanci u dlouhých výstupů.
  • Zpřístupnit technický obsah širšímu publiku.

Závěr

Naše analýza AI agenta GPT-4o odhaluje robustní schopnosti v generování obsahu, řešení problémů a sumarizaci. Adaptivní uvažování a multimodální integrace GPT-4o představují zásadní posun oproti tradičním LLM. Porozumění jeho výkonovým metrikám umožňuje uživatelům lépe přizpůsobit prompty a využít jeho silné stránky v různých pracovních postupech. Integrace GPT-4o ve výzkumu, vzdělávání i průmyslu dále posouvá hranice toho, čeho mohou AI agenti dosáhnout.

Pro další poznatky o AI agentech a jejich využití sledujte náš blog.