KI-Agenten: Wie GPT 4o denkt

Eine Bewertung von LLM-Modellen

Einleitung

KI-Agenten repräsentieren die Spitze der künstlichen Intelligenz. Sie fungieren als autonome Systeme, die auf Grundlage von Nutzereingaben und Kontextdaten denken, lernen und handeln können. Durch die Simulation menschlicher Entscheidungsprozesse bringen sie bislang unerreichte Effizienz und Anpassungsfähigkeit in verschiedenste Aufgabenbereiche.

Dieser Blog konzentriert sich darauf, die Leistung von GPT-4o anhand detaillierter Prompts und Metriken über eine Vielzahl von Aufgaben hinweg zu bewerten. Unser Ziel ist es zu verstehen, wie dieser KI-Agent „denkt“ und seine Leistung sowohl anhand quantitativer als auch qualitativer Maßstäbe zu beurteilen.

Bewertungskriterien

Der Vergleich basiert auf folgenden Dimensionen:

1. Input-Verarbeitung: Wie gut das Modell verschiedene Prompts interpretiert und sich anpasst.
2. Content-Erstellung: Klarheit, Relevanz und Kreativität der generierten Inhalte.
3. Reasoning und Problemlösung: Fähigkeit des Modells zu logischen Schlussfolgerungen und mehrstufiger Problemlösung.
4. Quantitative Metriken: Lesbarkeitswerte wie ARI und Flesch-Kincaid sowie Antwortzeiten.
5. Effizienz: Antwortzeit und gesamter Ressourcenverbrauch.

Jedes Kriterium spiegelt einen wesentlichen Aspekt der Funktionsweise dieses Modells wider und ermöglicht Einblicke in seine „Denkprozesse“.

Analyse und Vergleich

Aufgabe 1: Content-Erstellung zu ökologischen Auswirkungen von E-Fahrzeugen

Prompt

„-Content Generation: Write a comprehensive, informative article about project management fundamentals, with a specific focus on defining objectives, scope, and delegation.”

Output (Ausschnitt)

Um Aufgaben für unser neues Projekt effektiv zu managen und zu delegieren, ist es entscheidend, die folgenden Schlüsselaspekte zu verstehen:

Projektumfang

Ziele: Das Ziel des Projektmanagements ist es, ein vollständiges Projekt abzuliefern, das die Ziele des Kunden erfüllt. Diese Ziele sollten spezifisch, messbar, erreichbar, relevant und terminiert (SMART) sein. Klar definierte Ziele leiten alle Entscheidungen während des Projekts und helfen sicherzustellen, dass das Projekt mit der Gesamtmission der Organisation übereinstimmt….

Metriken

• Benötigte Zeit: 53 Sekunden
• Lesbarkeit:
  • Flesch-Kincaid-Grade: 12
  • Flesch-Kincaid-Score: 12,08

Denkprozess des KI-Agenten

• (0:09) Google-Suche: „Searching project management guidelines objectives scope delegation in Google…”

  • Gedanke: Informationen zur spezifischen Aufgabe sammeln, um umfassende Antworten zu Zielen, Umfang und relevanten Details zu liefern. Beginn mit einer Suche nach allgemeinen Projektmanagement-Richtlinien.
  • Tool: google_serper

• (0:17) System: „Looking at 1 urls… Looking at URL”

• (0:25) Agent:

  • Gedanke: Nützliche Links zu Projektmanagement, Delegation und Zielen gesammelt. Werde den relevantesten Artikel für Details crawlen.
  • Tool: url_crawl_tool

• (0:27) Google-Suche: „Searching how to define project objectives and scope in project management in Google…”

• (0:29) Agent:

  • Gedanke: Fehler beim URL-Crawl-Tool aufgetreten; versuche eine weitere Google-Suche mit Fokus auf Zieldefinition und Aufgabenverteilung.
  • Tool: google_serper

• (0:31) System: „Looking at 1 urls… Looking at URL”

• (0:38) Agent:

  • Gedanke: Relevante Artikel gefunden; werde den relevantesten Link crawlen.
  • Tool: url_crawl_tool

• (0:44) Agent:

  • Gedanke: Konnte Inhalte aus vorherigen Links wegen Fehlern nicht abrufen. Sammle direkt Informationen von Wikipedia über Projektmanagement.
  • Tool: wikipedia

• (0:53) Agent:

  • Gedanke: Da die Inhaltsbeschaffung scheiterte, versuche ich Wikipedia für Projektmanagement-Infos.
  • Tool: wikipedia

Analyse

• Zielorientiertes Verhalten: Verfolgte das Ziel der Erklärung der Projektmanagement-Prinzipien trotz Fehlern, was auf eine interne Aufgabenrepräsentation hindeutet.
• Adaptive Problemlösung: Wechselte die Strategie (zu Wikipedia), als erste Versuche scheiterten.
• Tool-Integration: Nutzte Google-Suche, URL-Crawling und Wikipedia als Werkzeuge.
• Metakognition: Lieferte „Gedanken“-Statements, die Einblicke und Fehlerreflexion bieten.

Stärken:

• Klare Struktur, relevante Informationen, ausgewogene Pro-/Contra-Argumentation, sachliche Genauigkeit.

Schwächen:

• Teilweise Wiederholungen, was die Prägnanz mindert.

Bewertung: 9/10

Aufgabe 2: Problemlösung bei Umsatzberechnung

Prompt

„A company sells Product A for $50 (cost $30) and Product B for $70 (cost $40). They sold 120 units of A and 80 units of B. Calculate revenue, profit, and required sales for 10% revenue growth.”

Output (Ausschnitt)

„To solve the problem: The total revenue from the sales of both products last month was $11,600…”

Metriken

• Benötigte Zeit: 31 Sekunden
• Lesbarkeit: Flesch-Kincaid-Grade: 16 (Postgraduierten-Niveau)
• Antwortaufteilung:
  • Umsatz Produkt A: 120 * $50 = $6.000
  • Umsatz Produkt B: 80 * $70 = $5.600
  • Gesamtgewinn: $4.800 (nach Kosten von $6.800)
  • Strategien für Umsatzsteigerung: Verkauf von 18 Einheiten von A und 4 von B, oder 9 von A und 10 von B.

Denkprozess des KI-Agenten

• (0:01) Agent:
  • Gedanke: Relevante Zahlen aus dem Prompt und dem Datensatz für die Berechnung extrahieren.
• (0:03) Datenextraktion:
  • Gedanke: Mengen und Preise für beide Produkte extrahiert.
• (0:05 - 0:19) Berechnungen:
  • Schrittweise Berechnung von Umsatz und Gewinn für jedes Produkt und insgesamt.
• (0:20 - 0:24) Wachstumsberechnung:
  • 10% Umsatzsteigerung berechnet, zusätzliche Stückzahlen ermittelt.
• (0:26) Antwortformulierung:
  • Klare, präzise Endantwort ausgegeben.

Analyse

• Zeigt die Zerlegung von Problemen in handhabbare Schritte.
• Extrahiert und verarbeitet Daten, wendet passende Regeln an und formuliert Antworten.
• Geht über einfache Q&A hinaus zu mehrstufiger Problemlösung.

Aufgabe 3: Zusammenfassung der wichtigsten Erkenntnisse

Prompt

„Summarize the key findings from the previous article in 100 words, focusing on the most significant sections.”

Output (Ausschnitt)

„The article delves into AI reasoning, highlighting its role in enabling machines to make decisions and solve problems. It covers various types, emphasizing formal and natural language reasoning…”

Denkprozess des KI-Agenten (Aufschlüsselung)

• Lesen & Verstehen: Erkennt Hauptthema und Kernthemen des Artikels (Arten von KI-Denken, historische Entwicklung, Anwendungen).
• Fokus: Hebt das o1-Modell von OpenAI und dessen besondere Merkmale hervor.
• Zusammenfassungsstrategie: Plant eine prägnante, 100 Wörter umfassende Zusammenfassung.
• Entwurf: Strukturiert die Zusammenfassung nach Einleitung, Arten, Meilensteinen, Modellspezifika, Anwendungen.
• Abschluss: Überprüft Wortzahl und Lesbarkeit.

Analyse

• Verständnis: Erfasst komplexe Texte und Argumentationsstrukturen.
• Schlüsselinfos: Identifiziert zentrale Aspekte (Denkarbeiten, Modelle, Anwendungen).
• Logische Struktur: Ordnet Informationen kohärent.
• Priorisierung: Betont relevante Erkenntnisse.
• Restriktionen: Hält Wortlimit ein und prüft Lesbarkeit.

Metriken

• Benötigte Zeit: 12 Sekunden
• Lesbarkeit: Flesch-Kincaid-Grade: 16, Score: 16,39
• Zusammenfassungslänge: 100 Wörter
• Bewertung: 8/10

Aufgabe 4: Kreatives Schreiben – Zukunftsgeschichte

Prompt

„Write a futuristic story (500 words) set in a world where electric vehicles have fully replaced traditional combustion-engine vehicles. Describe the environmental changes and societal impact.”

Denkprozess des KI-Agenten

• Brainstorming: Umweltauswirkung (saubere Luft, Biodiversität), Infrastruktur (Ladestationen, Erneuerbare), Wirtschaft (neue Industrien, weniger Ölabhängigkeit), Gesellschaft (Service-orientierter Besitz, öffentlicher Verkehr), Erzählung (friedliche Städte, Technik-Natur-Harmonie).
• Strukturierung: Gliedert die Geschichte nach Umwelt-, Infrastruktur-, Wirtschafts- und Gesellschaftsveränderungen; schließt mit Transformation ab.
• Entwurf: Beginnt mit einer Szene aus 2050, stellt Vorteile und Veränderungen heraus, endet hoffnungsvoll.
• Überprüfung: Prüft Ablauf, Spannung, Grammatik und Lesbarkeit.

Bot-Output-Ausschnitt:

„Im Jahr 2050 stand die Welt an der Schwelle einer neuen Ära und hatte Elektrofahrzeuge (EVs) als einziges Fortbewegungsmittel vollständig eingeführt. Dieser gewaltige Wandel hatte nicht nur die Art, wie Menschen sich bewegten, transformiert, sondern auch das gesellschaftliche und ökologische Gefüge neu gestaltet.

Der Himmel war klarer als seit über einem Jahrhundert. Mit dem Verschwinden der Verbrennungsmotoren hatte sich der einst allgegenwärtige Smog in den Großstädten aufgelöst. Die Luftqualität hatte sich so dramatisch verbessert, dass mit Luftverschmutzung verbundene Atemwegserkrankungen deutlich zurückgingen. Die Menschen atmeten tief die saubere Luft ein, ein einfaches Vergnügen, das zum neuen Normal geworden war. Die Umweltauswirkungen waren enorm; Ökosysteme begannen sich zu erholen, und urbane Gebiete erlebten eine Rückkehr der Artenvielfalt. Parks waren voller Leben und Stadtbewohner genossen die wiederentdeckte Nähe zur Natur.“

Benötigte Zeit: 39 Sekunden
Lesbarkeit: Flesch-Kincaid-Grade: 13, Score: 13,2
Zusammenfassungslänge: 493 Wörter

Analyse

• Stärken: Bildhafte Sprache, fesselnde Erzählung, ausgewogener Fokus auf Umwelt und Gesellschaft.
• Schwächen: Könnte mehr technische Details enthalten.
• Bewertung: 9,5/10

Aufgabe 5: Vergleichsziele

Prompt

Vergleichen Sie die Umweltauswirkungen von Elektrofahrzeugen mit denen wasserstoffbetriebener Autos. Gehen Sie auf Faktoren wie Energieerzeugung, Fahrzeuglebenszyklus und Emissionen ein.

Denkprozess des KI-Agenten

• (0:01) Prompt-Verständnis: Fokus auf Vergleich der Energieerzeugung.
• (0:03) Recherchebeginn: Sammelt Daten zu Strom- und Wasserstofferzeugung.
• (0:06) Rahmenbildung: Vergleich nach Energiequelle, Produktionsmethode.
• (0:08-0:14) Analyse: CO2-Emissionen, Effizienz, Erneuerbare vs. fossile Brennstoffe, Wasserstoff aus Dampfreformierung vs. Elektrolyse.
• (0:18) Lebenszyklusanalyse: Herstellung, Wartung, Entsorgung für beide Typen.
• (0:44-0:54) Emissionen: Unterscheidung zwischen direkten (Auspuff) und indirekten (Produktion) Emissionen bei EVs und Wasserstoffautos.

Analyse

• Forschungsorientiert: Sucht aktiv externe Informationen.
• Strukturierter Ansatz: Zerlegt nach Komponenten (Energie, Lebenszyklus, Emissionen).
• Adaptiv: Passt sich an Ergebnisse und Nutzerprompts an.
• Synthese: Verbindet Quellen zu umfassenden Antworten.
• Reaktionsschnell: Verfeinert Analyse auf Anfrage.

Vergleich mit traditionellen LLMs

Der GPT-4o KI-Agent zeigt eine einzigartige Fähigkeit, „zu denken“, die über traditionelle LLMs hinausgeht, indem er:

1. Adaptives Denken: Integriert Kontext aus Prompts und Daten, entwickelt mehrere Strategien statt fixer Antworten.
2. Multimodale Ressourcennutzung: Nutzt Tools wie Suchmaschinen für aktuelles Wissen und verbessert dadurch die Ausgabe.
3. Stilistische Vielseitigkeit: Wechselt zwischen formellem und kreativem Ton und bleibt dabei kohärent.
4. Entscheidungsfindung: Zeigt eine Kette von Überlegungen ähnlich menschlicher Entscheidungsfindung, einschließlich ethischer Abwägungen und Alternativen.

Wichtige Beobachtungen

• Der GPT-4o KI-Agent ist vielseitig, präzise und bewältigt verschiedene Aufgaben.
• Lesbarkeitsmetriken sind für fortgeschrittene Nutzer bei technischen Aufgaben geeignet.
• Verbesserungspotenzial:
  • Reduzierung von Redundanzen bei langen Ausgaben.
  • Technische Inhalte für breiteres Publikum zugänglicher machen.

Fazit

Unsere Analyse des GPT-4o KI-Agenten zeigt robuste Fähigkeiten bei Content-Erstellung, Problemlösung und Zusammenfassung. Das adaptive Denken und die multimodalen Integrationen von GPT-4o markieren einen bedeutenden Fortschritt gegenüber herkömmlichen LLMs. Das Verständnis der Leistungsmetriken ermöglicht es Nutzern, Prompts gezielt zu gestalten und die Stärken des Modells im Workflow auszuschöpfen. Die Integration von GPT-4o in Forschung, Bildung und Industrie verschiebt die Grenzen dessen, was KI-Agenten leisten können, kontinuierlich weiter.

Für weitere Einblicke in KI-Agenten und deren Anwendungen bleiben Sie unserem Blog treu.