Afkode AI-agentmodeller: Den ultimative sammenlignende analyse

Metodologi

Vi testede 20 forskellige AI-agentmodeller på fem kerneopgaver, hver designet til at udfordre forskellige evner:

• Indholdsgenerering: Udarbejdelse af en detaljeret artikel om projektledelsens grundprincipper.
• Problemløsning: Udførelse af beregninger relateret til omsætning og overskud.
• Sammenfatning: Kondensering af hovedresultater fra en kompleks artikel.
• Sammenligning: Analyse af miljøpåvirkningen fra el- og brintdrevne køretøjer.
• Kreativ skrivning: Skabelse af en futuristisk fortælling med fokus på elbiler.

Vores analyse fokuserede både på kvaliteten af outputtet og agentens tænkningsproces, hvor vi vurderede dens evne til at planlægge, ræsonnere, tilpasse sig og effektivt udnytte tilgængelige værktøjer. Vi har rangeret modellerne ud fra deres præstation som AI-agent, hvor deres tænkningsprocesser og strategier har haft størst betydning.

AI-agentmodellers præstationer – Opgave for opgave-analyse

Opgave 1: Indholdsgenerering

Alle tyve modeller viste en stærk evne til at generere artikler af høj kvalitet og informativt indhold. Den følgende rangerede liste tager dog hensyn til hver agents interne tænkningsproces og hvordan de nåede frem til deres endelige output:

1. Gemini 1.5 Pro: Stor forståelse af prompten, strategisk tilgang til research og velorganiseret output.
2. Claude 3.5 Sonnet: God planlægningstilgang med klart, præcist og let tilgængeligt output.
3. Mistral 8x7B: Godt valg af værktøjer og et klart og velstruktureret output.
4. Mistral 7B: Strategisk research og et velopstillet slutresultat.
5. GPT-4o AI Agent (Original): Stærk i valg af værktøjer og viste en tilpasningsdygtig researchtilgang.
6. Gemini 1.5 Flash 8B: Output af høj kvalitet, men manglende gennemsigtighed i de interne processer.
7. Claude 3 Haiku: Stærk præstation med god forståelse af prompten.
8. GPT-4 Vision Preview AI Agent: Klarede sig godt med output af høj kvalitet.
9. GPT-o1 Mini AI Agent: Tilpasningsdygtig og iterativ, med godt brug af værktøjer.
10. Llama 3.2 3B: God kreativ skrivning og detaljeret output, men den indre proces blev ikke vist.
11. Claude 3: Viser en iterativ tilgang og tilpasning til instruktionerne, men de interne tanker blev ikke vist.
12. Claude 2: Viste gode skriveevner og forståelse af prompten.
13. GPT-3.5 Turbo AI Agent: Fulgt instruktionerne og overholdt formateringskravene, men manglede intern proces.
14. Gemini 2.0 Flash Experimental: Modellen genererede et velskrevet output, men viste en gentagende proces.
15. Grok Beta AI Agent: Strategisk brug af værktøjer, men havde problemer med gentagne loops.
16. Gemini 1.5 Flash AI Agent: Agenten anvendte en logisk tilgang, men med en gentagende tænkningsproces.
17. Mistral Large AI Agent: Outputtet var velstruktureret, men de interne tanker var ikke gennemsigtige.
18. o1 Preview AI Agent: Modellen klarede sig godt, men manglede gennemsigtighed i tankeprocesserne.
19. GPT 4o mini AI Agent: Selvom modellen havde et godt output, blev de interne processer ikke vist.
20. Llama 3.2 1B: Modellen klarede sig fint, men manglede indsigt i interne processer og viste ikke en unik tilgang.

Opgave 2: Problemløsning og beregning

Vi vurderede modellernes matematiske evner og problemløsningsstrategier:

1. Claude 3.5 Sonnet: Høj nøjagtighed, strategisk tænkning og en velbegrundet løsning.
2. Mistral 7B: Klare, nøjagtige løsninger og viste strategisk tænkning.
3. GPT-4 Vision Preview AI Agent: Korrekt forståelse og nøjagtige beregninger.
4. Claude 3 Haiku: Effektiv beregning og klare forklaringer.
5. o1 Preview AI Agent: Viste evne til at opdele beregninger i flere trin.
6. Mistral Large AI Agent: Nøjagtige beregninger med et velpræsenteret slutresultat.
7. o1 mini: Strategisk tænkning og solid forståelse for den nødvendige matematik.
8. Gemini 1.5 Pro: Detaljerede og nøjagtige beregninger og også velstruktureret.
9. Llama 3.2 1B: Opdelte beregningerne godt, men havde nogle formateringsfejl.
10. GPT-4o AI Agent (Original): Udførte de fleste beregninger godt og havde en klar og logisk opdeling af opgaven.
11. GPT-4o Mini AI Agent: Udførte beregninger, men havde fejl i de endelige svar og havde også svært ved at formatere outputtet effektivt.
12. Claude 3: Klar tilgang til beregning, men ikke meget udover det.
13. Gemini 2.0 Flash Experimental: Nøjagtige grundlæggende beregninger, men nogle fejl i det endelige output.
14. GPT-3.5 Turbo AI Agent: Grundlæggende beregninger var nøjagtige, men der var udfordringer med strategi og nøjagtighed i de endelige svar.
15. Gemini 1.5 Flash AI Agent: Havde nogle beregningsfejl vedrørende de ekstra nødvendige enheder.
16. Mistral 8x7B: For det meste nøjagtige beregninger, men undersøgte ikke fuldt ud de forskellige mulige løsninger.
17. Claude 2: Nøjagtig med de indledende beregninger, men havde strategiske problemer og fejl i den endelige løsning.
18. Gemini 1.5 Flash 8B: Nogle fejl i den endelige løsning.
19. Grok Beta AI Agent: Kunne ikke fuldføre opgaven og leverede ikke et fuldt output.
20. Llama 3.2 3B: Beregningsfejl og præsentationen var også ufuldstændig.

Opgave 3: Sammenfatning

Vi vurderede modellernes evne til at udtrække hovedinformation og producere præcise sammenfatninger:

1. GPT-4o Mini AI Agent: Meget god til at sammenfatte hovedpunkterne og samtidig holde sig til ordgrænsen.
2. Gemini 1.5 Pro: God til at sammenfatte den leverede tekst og samtidig holde sig til det krævede antal ord.
3. o1 Preview AI Agent: Præcis og velstruktureret sammenfatning.
4. Claude 3 Haiku: Sammenfattede effektivt teksten og overholdt de fastsatte parametre.
5. Mistral 7B: Præcis sammenfatning og overholdelse af ordgrænsen.
6. Mistral 8x7B: Kondenserede effektivt informationen og overholdt de fastsatte parametre.
7. GPT-4 Vision Preview AI Agent: Meget præcis sammenfatning af den leverede tekst.
8. GPT-3.5 Turbo AI Agent: God evne til at sammenfatte tekst og fremhæve alle vigtige aspekter.
9. Llama 3.2 1B: Præcis og velstruktureret sammenfatning.
10. Claude 3.5 Sonnet: En præcis sammenfatning og samtidig overholdelse af formateringskravene.
11. Claude 2: En præcis sammenfatning og samtidig god forståelse for den leverede tekst.
12. Claude 3: Kondenserede informationen til et præcist output.
13. Mistral Large AI Agent: Sammenfattede teksten godt, men overholdt ikke fuldt ud ordgrænsen.