Dekódovanie modelov AI agentov: Najkomplexnejšia porovnávacia analýza

Metodológia

Otestovali sme 20 rôznych modelov AI agentov v piatich hlavných úlohách, pričom každá bola navrhnutá tak, aby preverila rôzne schopnosti:

• Generovanie obsahu: Vytvorenie podrobného článku o základoch projektového manažmentu.
• Riešenie problémov: Výpočty týkajúce sa tržieb a zisku.
• Sumarizácia: Zhustenie kľúčových zistení z komplexného článku.
• Porovnávanie: Analýza environmentálneho vplyvu elektrických a vodíkových vozidiel.
• Kreatívne písanie: Vytvorenie futuristického príbehu so zameraním na elektromobily.

Naša analýza sa zameriavala na kvalitu výstupu aj na spôsob myslenia agenta – hodnotili sme jeho schopnosť plánovať, uvažovať, prispôsobovať sa a efektívne využívať dostupné nástroje. Modely sme zoradili podľa ich výkonu ako AI agent, pričom väčšiu váhu sme prikladali ich spôsobu uvažovania a stratégiám.

Výkon modelov AI agentov – analýza po jednotlivých úlohách

Úloha 1: Generovanie obsahu

Všetkých dvadsať modelov preukázalo silnú schopnosť generovať kvalitné, informatívne články. Nasledujúce poradie však zohľadňuje aj vnútorné procesy uvažovania každého agenta a spôsob, akým dospeli k výsledku:

1. Gemini 1.5 Pro: Silné pochopenie zadania, strategický prístup k výskumu a dobre organizovaný výstup.
2. Claude 3.5 Sonnet: Silný prístup k plánovaniu s jasným, stručným a prístupným výstupom.
3. Mistral 8x7B: Dobrá voľba nástrojov a jasný, dobre štruktúrovaný výstup.
4. Mistral 7B: Strategický výskum a dobre naformátovaný finálny výstup.
5. GPT-4o AI Agent (Originál): Silný vo výbere nástrojov a preukázal prispôsobivý prístup k výskumu.
6. Gemini 1.5 Flash 8B: Výstup vysokej kvality, ale chýba transparentnosť vnútorných procesov.
7. Claude 3 Haiku: Silný výkon a dobré pochopenie zadania.
8. GPT-4 Vision Preview AI Agent: Dobré výsledky s vysokokvalitným výstupom.
9. GPT-o1 Mini AI Agent: Prispôsobivý a iteratívny, s dobrým využitím nástrojov.
10. Llama 3.2 3B: Dobré kreatívne písanie a podrobný výstup, no vnútorný proces nebol ukázaný.
11. Claude 3: Prejavuje iteratívny prístup pri adaptácii na inštrukcie, ale vnútorné myšlienky neboli zobrazené.
12. Claude 2: Preukázal dobré písomné zručnosti a pochopenie zadania.
13. GPT-3.5 Turbo AI Agent: Dodržal pokyny a formátovanie, ale chýba vnútorný proces.
14. Gemini 2.0 Flash Experimental: Model vytvoril dobre napísaný výstup, ale prejavoval opakujúci sa proces.
15. Grok Beta AI Agent: Strategické využitie nástrojov, ale problémy s opakujúcimi sa slučkami.
16. Gemini 1.5 Flash AI Agent: Agent použil logický prístup, ale mal opakujúci sa myšlienkový proces.
17. Mistral Large AI Agent: Výstup bol dobre štruktúrovaný, ale vnútorné myšlienky neboli transparentné.
18. o1 Preview AI Agent: Model podal dobrý výkon, ale chýbala akákoľvek transparentnosť v jeho myšlienkových procesoch.
19. GPT 4o mini AI Agent: Model mal dobrý výstup, ale vnútorné procesy neboli ukázané.
20. Llama 3.2 1B: Model podal dobrý výkon, ale chýbal pohľad do jeho vnútorných procesov a neprejavil jedinečný prístup.

Úloha 2: Riešenie problémov a výpočty

Hodnotili sme matematické schopnosti modelov a ich stratégie riešenia problémov:

1. Claude 3.5 Sonnet: Vysoká presnosť, strategické myslenie a dobre vysvetlené riešenie.
2. Mistral 7B: Jasné, presné riešenia a preukázané strategické myslenie.
3. GPT-4 Vision Preview AI Agent: Správne pochopenie a presné výpočty.
4. Claude 3 Haiku: Efektívne výpočty a jasné vysvetlenia.
5. o1 Preview AI Agent: Preukázal schopnosť rozložiť výpočty na viac krokov.
6. Mistral Large AI Agent: Presné výpočty s dobre prezentovanou finálnou odpoveďou.
7. o1 mini: Strategické myslenie a dobré pochopenie potrebnej matematiky.
8. Gemini 1.5 Pro: Detailné a presné výpočty a tiež dobré formátovanie.
9. Llama 3.2 1B: Výpočty rozložil dobre, ale mal určité chyby vo formátovaní.
10. GPT-4o AI Agent (Originál): Väčšinu výpočtov riešil dobre a mal jasné a logické rozdelenie úlohy.
11. GPT-4o Mini AI Agent: Výpočty vykonal, ale mal chyby vo finálnych odpovediach a problémy s efektívnym formátovaním výstupu.
12. Claude 3: Jasný prístup k výpočtom, ale nič viac nad rámec toho.
13. Gemini 2.0 Flash Experimental: Presné základné výpočty, ale niektoré chyby vo finálnom výstupe.
14. GPT-3.5 Turbo AI Agent: Základné výpočty boli správne, ale mal problémy so stratégiou a presnosťou konečných odpovedí.
15. Gemini 1.5 Flash AI Agent: Mal určité chyby vo výpočtoch týkajúcich sa dodatočných jednotiek.
16. Mistral 8x7B: Väčšinou presné výpočty, ale úplne nepreskúmal všetky možné riešenia.
17. Claude 2: Presný v počiatočných výpočtoch, ale mal strategické problémy aj chyby vo finálnom riešení.
18. Gemini 1.5 Flash 8B: Niektoré chyby vo finálnom riešení.
19. Grok Beta AI Agent: Úlohu nedokončil a neposkytol kompletný výstup.
20. Llama 3.2 3B: Chyby vo výpočtoch a prezentácia bola neúplná.

Úloha 3: Sumarizácia

Hodnotili sme schopnosti modelov extrahovať kľúčové informácie a vytvoriť stručné zhrnutia:

1. GPT-4o Mini AI Agent: Veľmi dobré zhrnutie kľúčových bodov a zároveň dodržanie limitu slov.
2. Gemini 1.5 Pro: Dobré zhrnutie poskytnutého textu s dodržaním požadovaného limitu slov.
3. o1 Preview AI Agent: Stručná a dobre štruktúrovaná sumarizácia.
4. Claude 3 Haiku: Efektívne zhrnul text a dodržal stanovené parametre.
5. Mistral 7B: Presne zhrnul text a zároveň dodržal limit slov.
6. Mistral 8x7B: Efektívne zhustil informácie a dodržal stanovené parametre.
7. GPT-4 Vision Preview AI Agent: Veľmi presné zhrnutie poskytnutého textu.
8. GPT-3.5 Turbo AI Agent: Dobrá schopnosť sumarizovať text a vyzdvihnúť všetky dôležité aspekty.
9. Llama 3.2 1B: Stručné a dobre štruktúrované zhrnutie.
10. Claude 3.5 Sonnet: Stručné zhrnutie pri zachovaní požiadaviek na formátovanie.
11. Claude 2: Stručné zhrnutie a zároveň efektívne pochopenie poskytnutého textu.
12. Claude 3: Zhustil informácie do stručného výstupu.
13. Mistral Large AI Agent: Text dobre zhrnul, ale nedodržal úplne limit slov.