KI-Agentenmodelle entschlüsselt: Der ultimative Vergleich

Methodik

Wir haben 20 verschiedene KI-Agentenmodelle in fünf Kernaufgaben getestet, die jeweils unterschiedliche Fähigkeiten abfragen sollten:

• Inhaltserstellung: Verfassen eines ausführlichen Artikels zu den Grundlagen des Projektmanagements.
• Problemlösung: Durchführung von Berechnungen zu Umsatz und Gewinn.
• Zusammenfassung: Verknappung zentraler Erkenntnisse aus einem komplexen Artikel.
• Vergleich: Analyse der Umweltauswirkungen von elektrisch und wasserstoffbetriebenen Fahrzeugen.
• Kreatives Schreiben: Verfassen einer futuristischen Geschichte mit Fokus auf Elektrofahrzeuge.

Unsere Analyse konzentrierte sich sowohl auf die Qualität des Ergebnisses als auch auf den Denkprozess des Agenten. Bewertet wurde die Fähigkeit zur Planung, Argumentation, Anpassung und effektiven Nutzung verfügbarer Werkzeuge. Wir haben die Modelle auf Grundlage ihrer Leistung als KI-Agent eingestuft, wobei der Denkprozess und die Strategie stärker gewichtet wurden.

Leistung der KI-Agentenmodelle – Eine Aufgabenanalyse

Aufgabe 1: Inhaltserstellung

Alle zwanzig Modelle zeigten eine starke Fähigkeit, hochwertige und informative Artikel zu verfassen. Die folgende Rangliste berücksichtigt jedoch die internen Denkprozesse jedes Agenten und deren Weg zum Endergebnis:

1. Gemini 1.5 Pro: Gutes Verständnis der Vorgabe, strategischer Rechercheansatz und gut strukturierter Output.
2. Claude 3.5 Sonnet: Gute Planung mit einem klaren, prägnanten und zugänglichen Ergebnis.
3. Mistral 8x7B: Gute Werkzeugauswahl mit klarem und gut strukturiertem Output.
4. Mistral 7B: Strategische Recherche und ein gut formatiertes Endergebnis.
5. GPT-4o KI-Agent (Original): Starke Werkzeugauswahl und anpassungsfähiger Rechercheansatz.
6. Gemini 1.5 Flash 8B: Hochwertiger Output, aber mangelnde Transparenz bei den internen Prozessen.
7. Claude 3 Haiku: Starke Leistung mit gutem Verständnis der Vorgabe.
8. GPT-4 Vision Preview KI-Agent: Gute Leistung mit hochwertigem Ergebnis.
9. GPT-o1 Mini KI-Agent: Anpassungsfähig und iterativ, mit gutem Werkzeugeinsatz.
10. Llama 3.2 3B: Gutes kreatives Schreiben und ein detaillierter Output, jedoch ohne Einblick in den inneren Prozess.
11. Claude 3: Zeigt einen iterativen Ansatz und passt sich an die Vorgaben an, aber die internen Gedanken wurden nicht gezeigt.
12. Claude 2: Zeigte gute Schreibfähigkeiten und Verständnis der Vorgabe.
13. GPT-3.5 Turbo KI-Agent: Befolgte die Vorgaben und Formatierungsrichtlinien, aber es fehlte der interne Prozess.
14. Gemini 2.0 Flash Experimental: Das Modell generierte einen gut geschriebenen Output, zeigte aber einen repetitiven Prozess.
15. Grok Beta KI-Agent: Strategische Werkzeugnutzung, aber Probleme mit sich wiederholenden Schleifen.
16. Gemini 1.5 Flash KI-Agent: Logischer Ansatz, aber repetitiver Denkprozess.
17. Mistral Large KI-Agent: Gut strukturierter Output, aber die internen Gedanken waren nicht transparent.
18. o1 Preview KI-Agent: Das Modell lieferte eine gute Leistung, aber zeigte keine Transparenz im Denkprozess.
19. GPT 4o mini KI-Agent: Guter Output, aber keine Einblicke in die internen Prozesse.
20. Llama 3.2 1B: Gute Leistung, aber wenig Einblick in interne Prozesse und kein einzigartiger Ansatz.

Aufgabe 2: Problemlösung und Berechnung

Wir bewerteten die mathematischen Fähigkeiten und Problemlösestrategien der Modelle:

1. Claude 3.5 Sonnet: Hohe Genauigkeit, strategisches Denken und gut erklärte Lösung.
2. Mistral 7B: Klare, genaue Lösungen und strategisches Denken.
3. GPT-4 Vision Preview KI-Agent: Korrektes Verständnis und genaue Berechnungen.
4. Claude 3 Haiku: Effektive Berechnung und klare Erklärungen.
5. o1 Preview KI-Agent: Zeigte die Fähigkeit, Berechnungen in mehrere Schritte zu unterteilen.
6. Mistral Large KI-Agent: Genaue Berechnungen mit gut präsentierter Endlösung.
7. o1 mini: Strategisches Denken und gutes Verständnis der Mathematik.
8. Gemini 1.5 Pro: Detaillierte und genaue Berechnungen, zudem gut formatiert.
9. Llama 3.2 1B: Zerlegte die Berechnungen gut, aber mit einigen Formatierungsfehlern.
10. GPT-4o KI-Agent (Original): Führte die meisten Berechnungen gut durch und zerlegte die Aufgabe logisch und klar.
11. GPT-4o Mini KI-Agent: Führte die Berechnungen durch, hatte aber Fehler in den Endergebnissen und Probleme mit der Formatierung.
12. Claude 3: Klarer Ansatz bei der Berechnung, aber nicht darüber hinaus.
13. Gemini 2.0 Flash Experimental: Genaue Grundberechnungen, aber Fehler beim Endergebnis.
14. GPT-3.5 Turbo KI-Agent: Grundrechnungen waren korrekt, aber Probleme mit Strategie und Endgenauigkeit.
15. Gemini 1.5 Flash KI-Agent: Einige Rechenfehler in Bezug auf die zusätzlichen benötigten Einheiten.
16. Mistral 8x7B: Meist genaue Berechnungen, untersuchte jedoch nicht alle möglichen Lösungen.
17. Claude 2: Anfangs genaue Berechnungen, aber strategische Probleme und Fehler in der Endlösung.
18. Gemini 1.5 Flash 8B: Fehler im Endergebnis.
19. Grok Beta KI-Agent: Konnte die Aufgabe nicht vollständig abschließen und lieferte keinen vollständigen Output.
20. Llama 3.2 3B: Rechenfehler und zudem unvollständige Präsentation.

Aufgabe 3: Zusammenfassung

Wir bewerteten die Fähigkeit der Modelle, Schlüsselinformationen zu extrahieren und prägnante Zusammenfassungen zu erstellen:

1. GPT-4o Mini KI-Agent: Sehr gute Zusammenfassung der wichtigsten Punkte, zudem Einhaltung des Wortlimits.
2. Gemini 1.5 Pro: Gute Zusammenfassung des Textes bei Einhaltung des Wortlimits.
3. o1 Preview KI-Agent: Prägnante und gut strukturierte Zusammenfassung.
4. Claude 3 Haiku: Effektive Zusammenfassung des Textes unter Einhaltung der Vorgaben.
5. Mistral 7B: Präzise Zusammenfassung mit Einhaltung des Wortlimits.
6. Mistral 8x7B: Effektive Reduzierung der Informationen unter Einhaltung der Vorgaben.
7. GPT-4 Vision Preview KI-Agent: Sehr genaue Zusammenfassung des bereitgestellten Textes.
8. GPT-3.5 Turbo KI-Agent: Gute Fähigkeit zur Zusammenfassung und Hervorhebung aller wichtigen Aspekte.
9. Llama 3.2 1B: Prägnante und gut strukturierte Zusammenfassung.
10. Claude 3.5 Sonnet: Prägnante Zusammenfassung bei Einhaltung der Formatierungswünsche.
11. Claude 2: Prägnante Zusammenfassung bei gutem Textverständnis.
12. Claude 3: Reduzierte die Informationen auf eine prägnante Ausgabe.
13. Mistral Large KI-Agent: Fasste den Text gut zusammen, hielt sich aber nicht vollständig an das Wortlimit.