KI-Agenten: Das Denken von Llama 3.2 3B verstehen

Einleitung

KI-Agenten werden zunehmend zu unverzichtbaren Werkzeugen bei der Lösung komplexer Probleme und der Optimierung von Arbeitsabläufen – mit jeder Weiterentwicklung werden sie leistungsfähiger und ausgefeilter. Unter diesen Fortschritten nimmt Llama 3.2 3B eine zentrale Rolle ein: als größeres, leistungsfähigeres Modell, das für tiefgreifenderes logisches Denken und nuanciertere Antworten entwickelt wurde. Aber wie „denkt“ es, und was macht es als KI-Agenten besonders?

In diesem Blog analysieren wir den Denkprozess von Llama 3.2 3B anhand von realen Szenarien. Von der Verarbeitung großer Datensätze bis zur Generierung von Lösungsansätzen bewerten wir, wie dieser KI-Agent Herausforderungen meistert und Entscheidungen trifft. Durch die Analyse seiner Leistung möchten wir die Mechanismen hinter dem Denkprozess verstehen und herausfinden, wie er im Vergleich zu anderen Modellen abschneidet. Wenn Sie sich für KI-Agenten und die Wissenschaft ihres Denkens interessieren, begleiten Sie uns bei einem genaueren Blick auf das Denken von Llama 3.2 3B.

Aufgabe 1: Inhaltserstellung

Prompt:
Wenn der Nutzer „Start“ sagt, solltest du:

• Inhaltserstellung: Verfasse einen umfassenden, informativen Artikel über die Grundlagen des Projektmanagements, mit besonderem Fokus auf die Definition von Zielen, Projektumfang und Delegation.

Erste Aufgabenverständnis und Informationssammlung

• (0:05) Gedanke: Können Sie Einzelheiten zur aktuellen Aufgabe oder zum Projekt nennen, an dem wir arbeiten, einschließlich aller Ziele, Fristen und spezifischen Anforderungen?
• (0:08) Gedanke: Informationen über die Grundlagen des Projektmanagements sammeln, mit speziellem Fokus auf die Definition von Zielen, Projektumfang und Delegation.
• (0:16) Gedanke: Um einen umfassenden Artikel über die Grundlagen des Projektmanagements zu verfassen, muss ich detaillierte Informationen über die Definition von Projektzielen, -umfang und Delegation sammeln. Ich beginne mit dem Wikipedia-Tool, um einen Überblick zu erhalten, der diese Komponenten enthalten könnte.
  Benutztes Tool: wikipedia
• (0:18) Gedanke: Der Wikipedia-Eintrag bietet einen guten Überblick über das Projektmanagement, aber es fehlen spezifische Details zur Definition von Zielen, Projektumfang und Delegation. Ich verwende google_serper, um gezieltere Informationen zu diesen Aspekten zu finden.
  Benutztes Tool: google_serper
• (0:22) Gedanke: Ich habe einige Erkenntnisse zur Definition von Projektzielen gesammelt. Jetzt muss ich mich mit den Details zu Umfang und Delegation beschäftigen. Ich verwende erneut google_serper, um detaillierte Informationen zu diesen Themen zu finden.
  Benutztes Tool: google_serper
• (0:25) Gedanke: Ich habe einige Erkenntnisse zur Definition von Projektzielen und -umfang gesammelt. Nun muss ich mich mit den Details der Delegation im Projektmanagement beschäftigen. Ich verwende erneut google_serper, um detaillierte Informationen hierzu zu suchen.
  Benutztes Tool: google_serper

Analyse des Denkprozesses des Agenten

• Verständnis der Aufgabe: Der Agent interpretiert die Aufforderung korrekt und erkennt die Notwendigkeit, Informationen zu den Grundlagen des Projektmanagements – insbesondere zur Definition von Zielen, Umfang und Delegation – bereitzustellen.
• Informationssammlung: Der Agent entscheidet sich, mit Wikipedia einen Überblick zu erhalten, und nutzt dann Google Search (google_serper) für spezifischere Informationen. Er erwähnt explizit, sich jeweils einzeln auf die drei Hauptaspekte (Ziele, Umfang, Delegation) zu konzentrieren, was auf einen strukturierten Ansatz beim Sammeln von Informationen hinweist.
• Iterativer Ansatz: Der Agent zeigt einen iterativen Ansatz bei der Informationsbeschaffung. Er startet mit einer allgemeinen Suche bei Wikipedia und verfeinert diese dann mit gezielten Google-Suchen für jeden Hauptaspekt.
• Anpassungsfähigkeit: Als der Wikipedia-Eintrag nicht genügend spezifische Details liefert, wechselt der Agent flexibel zu Google Search und zeigt so Anpassungsfähigkeit in seiner Recherchestrategie.
• Wiederholung: Obwohl die Gedanken des Agenten auf einen strukturierten Ansatz zur Informationssammlung hindeuten, gibt es einige Wiederholungen, was auf eine mögliche Schleife oder Ineffizienz im Prozess hindeutet.

Ausschnitt aus der Bot-Ausgabe

Grundlagen des Projektmanagements: Zieldefinition, Umfang und Delegation

Projektmanagement ist eine wichtige Disziplin, die die Planung, Durchführung und Überwachung von Projekten umfasst, um spezifische Ziele innerhalb eines festgelegten Zeit- und Budgetrahmens zu erreichen. Im Kern zielt das Projektmanagement darauf ab, Ressourcen effektiv zu nutzen und ein Projekt vom Beginn bis zum Abschluss zu steuern. Drei grundlegende Aspekte des Projektmanagements sind die Definition von Zielen, die Bestimmung des Umfangs und die Delegation von Aufgaben. Die Beherrschung dieser Elemente ist entscheidend für den Projekterfolg.

Zieldefinition

Die klare und erreichbare Definition von Zielen ist das Fundament jedes erfolgreichen Projekts. Ziele geben dem Projekt eine Richtung und führen das Team zu den gewünschten Ergebnissen. Sie sollten spezifisch, messbar, erreichbar, relevant und terminiert (SMART) sein. Ein klar definiertes Ziel hilft, die Bemühungen und Ressourcen des Teams zu bündeln, Missverständnisse zu minimieren und klare Erwartungen für alle Beteiligten zu schaffen.

• Benötigte Zeit: 18 Sekunden (vom Eingang des Prompts bei 0:05 bis zum Beginn der Ausgabe bei 0:23)
• Lesbarkeit: Flesch-Kincaid-Klassenstufe: 17, Flesch-Kincaid-Score: 16,61
• Zusammenfassungslänge: 464 Wörter

Analyse der Ausgabe

• Gut strukturiert: Der Agent erstellt einen gut strukturierten Artikel mit klaren Überschriften für jeden Abschnitt (Zieldefinition, Umfangsbestimmung, Delegation).
• Umfassend: Der Artikel behandelt wie gefordert die wichtigsten Aspekte der Grundlagen des Projektmanagements.
• Detaillierte Erklärungen: Jeder Abschnitt bietet detaillierte Erklärungen und praktische Hinweise, was den Inhalt informativ und nützlich macht.
• Klar und prägnant: Die Sprache ist klar und prägnant, wodurch das komplexe Thema Projektmanagement zugänglicher wird.
• Befolgung der Anweisungen: Der Agent hält sich an die Vorgaben, indem er sich auf die genannten Themen konzentriert und einen umfassenden Überblick bietet.

Fazit

Der Agent zeigt eine starke Fähigkeit zur Erstellung hochwertiger Inhalte über die Grundlagen des Projektmanagements. Der Denkprozess, auch wenn er im Video begrenzt sichtbar ist, deutet auf einen systematischen Ansatz bei Recherche und Inhaltserstellung hin. Der Agent nutzt die verfügbaren Tools effektiv und passt seine Strategie zur Informationsbeschaffung flexibel an. Das Endergebnis ist gut strukturiert, informativ und entspricht den Anforderungen des Prompts. Der Agent überzeugt weiterhin durch seine Kompetenz bei der Inhaltserstellung und seine Fähigkeit, komplexe Themen zu behandeln.

Aufgabe 2: Berechnung

Prompt:
Beantworte das Problem:
Ein Unternehmen verkauft zwei Produkte: Produkt A und Produkt B. Produkt A kostet 30 $ pro Stück in der Produktion und wird für 50 $ pro Stück verkauft. Produkt B kostet 40 $ pro Stück in der Produktion und wird für 70 $ pro Stück verkauft.
Das Unternehmen hat im letzten Monat 120 Einheiten von Produkt A und 80 Einheiten von Produkt B verkauft. Berechne den Gesamtumsatz aus dem Verkauf beider Produkte.
Berechne den Gesamtgewinn aus dem Verkauf beider Produkte (Umsatz – Gesamtkosten der Produktion).
Das Unternehmen möchte den Gesamtumsatz um 10 % steigern. Wie viele zusätzliche Einheiten jedes Produkts müssen verkauft werden, um dieses Ziel zu erreichen, wenn die Produktionskosten und der Verkaufspreis pro Einheit konstant bleiben?

Erste Aufgabenverständnis

• (0:06) Gedanke: Berechne den Gesamtumsatz und Gesamtgewinn aus dem Verkauf von Produkt A und Produkt B und bestimme, wie viele zusätzliche Einheiten jedes Produkts verkauft werden müssen, um eine Umsatzsteigerung von 10 % zu erreichen.
• Teilfragen zur Untergliederung der Aufgabe
• (0:18) Gedanke: Wie hoch ist der Gesamtumsatz aus dem Verkauf von Produkt A und Produkt B?

Analyse des Denkprozesses des Agenten

• Verständnis des Prompts: Der Agent interpretiert die Aufgabe korrekt, erkennt die Notwendigkeit, Gesamtumsatz, Gesamtgewinn und die zusätzlichen Einheiten für eine Umsatzsteigerung um 10 % zu berechnen.
• Aufgliederung der Aufgabe: Der Agent stellt sich dann zunächst die Frage, was zuerst zu berechnen ist, und unterteilt die Hauptaufgabe in kleinere Schritte, um einen klaren Lösungsweg zu entwickeln.

Ausschnitt aus der Bot-Ausgabe

• Gesamtumsatz beträgt 11.600 $.

• Gesamtgewinn beträgt 4.800 $.

• Um den Gesamtumsatz um 10 % zu steigern, muss das Unternehmen 29 zusätzliche Einheiten von Produkt A und 12 Einheiten von Produkt B verkaufen.

• Benötigte Zeit: 24 Sekunden (vom Eingang des Prompts bei 0:06 bis zur finalen Antwort bei 0:30)

• Lesbarkeit: Nicht anwendbar, da die Ausgabe hauptsächlich numerische Berechnungen enthält.

• Zusammenfassungslänge: 45 Wörter

Analyse der Ausgabe

• Korrekte Berechnungen: Der Agent berechnet den Gesamtumsatz und Gesamtgewinn korrekt, was mit den Ergebnissen aus vorherigen Schritten übereinstimmt.
• Falsche Berechnung: Der Agent gibt jedoch fälschlicherweise an, dass für eine Umsatzsteigerung um 10 % 29 zusätzliche Einheiten von Produkt A und 12 von Produkt B verkauft werden müssten.

Die korrekte Berechnung wäre wie folgt:

• 10 % Steigerung auf den aktuellen Umsatz von 11.600 $ = 1.160 $

• Wenn das Ziel mit nur einem Produkt erreicht werden soll:

  • Produkt A: 50 $ pro Einheit, 1.160 $ / 50 = 23,2, aufgerundet 24 Einheiten.
  • Produkt B: 70 $ pro Einheit, 1.160 $ / 70 = 16,57, aufgerundet 17 Einheiten.

• Der Agent hätte das Ziel auch auf beide Produkte aufteilen können, also je 580 $ Umsatzsteigerung pro Produkt:

  • Produkt A: 580 $ / 50 $ = 11,6, aufgerundet 12 Einheiten.
  • Produkt B: 580 $ / 70 $ = 8,29, aufgerundet 9 Einheiten.

• Jede beliebige Kombination aus Produkt A und B ist möglich, solange die Umsatzsteigerung insgesamt 1.160 $ beträgt.

• Prägnante Darstellung: Der Agent fasst die wichtigsten Ergebnisse knapp zusammen.

Fazit

Während der Agent den Gesamtumsatz und Gewinn korrekt berechnet, unterläuft ihm bei der Bestimmung der zusätzlichen Einheiten für die 10%ige Umsatzsteigerung ein Fehler. Die angegebene Kombination von 29 zusätzlichen Einheiten Produkt A und 12 Einheiten Produkt B entspricht nicht der zuvor festgelegten Zielvorgabe. Dies deutet auf einen möglichen Fehler im Denk- oder Rechenprozess des Agenten hin. Trotz dieses Fehlers zeigt der Agent ein Verständnis für die Aufgabe und präsentiert die Informationen strukturiert und klar. Die Genauigkeit der finalen Antwort wird jedoch durch die fehlerhafte Berechnung der zusätzlich nötigen Einheiten beeinträchtigt.

Aufgabe 3: Zusammenfassung

Prompt:
Fasse die wichtigsten Erkenntnisse des vorangegangenen Artikels in 100 Wörtern zusammen und konzentriere dich auf die bedeutendsten Abschnitte.

Erste Aufgabenverständnis

• (0:06) Gedanke: Fasse die wichtigsten Erkenntnisse aus dem vorherigen Artikel in 100 Wörtern zusammen und konzentriere dich auf die bedeutendsten Abschnitte.

Analyse des Denkprozesses des Agenten

• Verständnis des Prompts: Der Agent interpretiert die Aufgabe korrekt und weiß, dass er die wichtigsten Erkenntnisse des Artikels innerhalb eines 100-Wort-Limits zusammenfassen und sich auf die bedeutendsten Abschnitte konzentrieren soll.

Analyse der Ausgabe

• Prägnanz: Der Agent fasst den Artikel erfolgreich in weniger als 100 Wörtern zusammen (89 Wörter).
• Inhalt: Die Zusammenfassung bildet die Kernaussagen des Artikels ab, einschließlich der Bedeutung von KI-Logik, deren Arten, historischer Entwicklung, Anwendungen im Gesundheitswesen, jüngsten Fortschritten mit OpenAIs o1-Modell und ethischen Aspekten.
• Klarheit: Die Zusammenfassung ist klar, prägnant und gut strukturiert, sodass die Kernbotschaft des Artikels leicht verständlich ist.
• Relevanz: Der Agent konzentriert sich auf die bedeutendsten Aspekte des Artikels, wie gefordert.

Ausschnitt aus der Bot-Ausgabe

Der Artikel behandelt die Bedeutung von KI-Logik in verschiedenen Bereichen, insbesondere im Gesundheitswesen, wo sie Effizienz und Genauigkeit verbessert hat. KI-Logik umfasst verschiedene Arten, darunter symbolische und konnektionistische KI, und blickt auf eine reiche Entwicklungsgeschichte zurück. Ihre Anwendungen im Gesundheitswesen waren bedeutend, da sie Diagnostik, Behandlung und Patientenversorgung verbessert hat. Jüngste Fortschritte wie das o1-Modell von OpenAI haben die Leistung und Sicherheitsmaßnahmen weiter verbessert. Der Artikel geht zudem auf ethische Überlegungen, Herausforderungen wie Datenschutz und die Auswirkungen von KI über das Gesundheitswesen hinaus ein und hebt das transformative Potenzial von KI-Logik bei gleichzeitiger Anerkennung der Notwendigkeit eines sorgfältigen Umgangs mit ethischen und praktischen Herausforderungen hervor.

• Benötigte Zeit: 8 Sekunden (vom Eingang des Prompts bei 0:06 bis zur Ausgabe bei 0:14)
• Lesbarkeit: Flesch-Kincaid-Klassenstufe: 19, Flesch-Kincaid-Score: 19,09
• Zusammenfassungslänge: 89 Wörter

Fazit

Der Agent zeigt eine starke Fähigkeit, komplexe Informationen präzise und genau zusammenzufassen. Trotz der begrenzten Einblicke in den internen Denkprozess ist die Ausgabe qualitativ hochwertig und entspricht den Vorgaben bezüglich Länge und Fokus. Die Leistung des Agenten bei dieser Aufgabe bestätigt seine Kompetenz in der Inhaltserstellung und Zusammenfassung. Er hält sich weiterhin an die etablierten Analysevorgaben und liefert konsistent hochwertige Ergebnisse.

Aufgabe 4: Vergleichsaufgabe

Prompt:
Wenn der Nutzer „Start“ sagt, solltest du:
Vergleiche die Umweltauswirkungen von Elektrofahrzeugen mit denen von wasserstoffbetriebenen Autos. Berücksichtige Faktoren wie Energieerzeugung, Fahrzeuglebenszyklus und Emissionen.

Erste Aufgabenverständnis und Informationssammlung

• (0:06) Gedanke: Um die Umweltauswirkungen von Elektrofahrzeugen (EVs) mit wasserstoffbetriebenen Autos zu vergleichen, muss ich detaillierte Informationen über Energieerzeugung, Fahrzeuglebenszyklus und Emissionen für beide Fahrzeugtypen sammeln. Ich beginne mit der Suche nach umfassenden Studien oder Berichten, die diese Aspekte analysieren.
  Benutztes Tool: google_serper
• (0:15) Gedanke: Die Suchergebnisse liefern mehrere Links zu Artikeln, die Elektro- und Wasserstofffahrzeuge vergleichen. Ich werde nun die Inhalte dieser URLs abrufen, um detaillierte Daten zu Energieerzeugung, Fahrzeuglebenszyklus und Emissionen zu sammeln.
  Benutztes Tool: url_crawl_tool
• Umgang mit Tool-Fehlern
  (0:25) Gedanke: Der Fehler beim Abrufen der URLs deutet darauf hin, dass das Eingabeformat nicht korrekt war. Ich muss sicherstellen, dass die URLs als JSON-Array von Strings bereitgestellt werden. Versuchen wir es erneut mit dem richtigen Format.
  Benutztes Tool: url_crawl_tool

Analyse des Denkprozesses des Agenten

• Verständnis der Aufgabe: Der Agent erkennt die Aufgabe korrekt als Vergleich der Umweltauswirkungen von EVs und wasserstoffbetriebenen Autos, mit Fokus auf Energieerzeugung, Fahrzeuglebenszyklus und Emissionen.
• Strategische Planung: Der Agent plant, Informationen durch die Suche nach umfassenden Studien oder Berichten zu sammeln, was einen strategischen Ansatz bei der Recherche zeigt.
• Tool-Auswahl: Der Agent nutzt zunächst google_serper für die Suche und entscheidet sich dann, url_crawl_tool zu verwenden, um Inhalte von relevanten URLs abzurufen.
• Fehlerbehandlung: Der Agent stößt auf einen Fehler mit dem url_crawl_tool und erkennt korrekt, dass das Eingabeformat (kein JSON-Array von Strings) das Problem ist.
• Anpassungsfähigkeit: Trotz des Fehlers beabsichtigt der Agent, es mit dem richtigen Format erneut zu versuchen und zeigt so Anpassungsfähigkeit.

Allerdings zeigt das Video keine weiteren Gedanken, sodass unklar bleibt, wie der Agent nach mehreren Fehlern weiter vorgeht.

Ausschnitt aus der Bot-Ausgabe

Die Umweltauswirkungen von Elektrofahrzeugen (EVs) im Vergleich zu wasserstoffbetriebenen Autos lassen sich anhand mehrerer wichtiger Dimensionen beurteilen: Energieerzeugung, Fahrzeuglebenszyklus und Emissionen.

Energieerzeugung:

• Elektrofahrzeuge: Die Umweltauswirkungen von EVs hängen stark von der Stromquelle zum Laden ab. Erneuerbare Energien wie Wind, Sonne und Wasserkraft reduzieren den CO2-Fußabdruck erheblich. Stammt der Strom jedoch aus fossilen Quellen, können die Emissionen beträchtlich sein.
• Wasserstoffbetriebene Autos: Wasserstoff kann auf verschiedene Arten hergestellt werden, z. B. durch Dampfreformierung von Erdgas oder Elektrolyse. Während Elektrolyse mit erneuerbaren Energien sauberer ist, dominiert derzeit die Reformierung von Erdgas, die Treibhausgasemissionen verursacht.

Fahrzeuglebenszyklus:

• Elektrofahrzeuge: Die Umweltbelastung ist bei der Herstellung – insbesondere durch den Abbau und die Verarbeitung von Lithium, Kobalt und anderen Batteriematerialien – höher. Über die Betriebsdauer hinweg sinken die Emissionen, besonders wenn das Fahrzeug mit erneuerbarem Strom geladen wird.
• Wasserstoffbetriebene Autos: Auch die Herstellung von Brennstoffzellen ist energieintensiv und benötigt seltene Materialien wie Platin. Die Lebenszyklus-Emissionen können – je nach Methode der Wasserstoffherstellung – höher oder niedriger als bei EVs sein.

Emissionen:

• Elektrofahrzeuge: EVs verursachen keine direkten Emissionen. Die Gesamtemissionen hängen von der Stromquelle ab. Wird mit sauberem Strom geladen, sind die Gesamtemissionen deutlich niedriger als bei Verbrennerfahrzeugen.
• Wasserstoffbetriebene Autos: Auch diese Fahrzeuge verursachen keine direkten Emissionen, sondern lediglich Wasserdampf. Die vorgelagerten Emissionen aus der Wasserstoffproduktion können jedoch erheblich sein – insbesondere, wenn der Wasserstoff nicht nachhaltig erzeugt wird.

Insgesamt bieten sowohl Elektrofahrzeuge als auch wasserstoffbetriebene Autos Wege zur Reduktion von Emissionen im Verkehr, aber ihre Umweltauswirkungen variieren je nach Energiequelle und Technologie im gesamten Lebenszyklus. Der Umstieg auf saubere Energiequellen ist entscheidend, um die Umweltvorteile beider Technologien zu maximieren.

• Benötigte Zeit: Der Agent erhält den Prompt bei 0:06 und die Ausgabe beginnt bei 0:32. Da der Denkprozess jedoch mitten im Satz abbricht und der Agent weiterhin versucht, das url_crawl_tool zu nutzen, scheint etwas schiefgelaufen zu sein und die Antwort wird nie vollständig generiert.
• Lesbarkeit: Flesch-Kincaid-Klassenstufe: 16, Flesch-Kincaid-Score: 16,01
• Zusammenfassungslänge: 302 Wörter

Analyse der Ausgabe

• Unvollständige Antwort: Der letzte Gedanke des Agenten bei 0:25 deutet darauf hin, dass er im Prozess unterbrochen wurde. Die Ausgabe beginnt stark, ist aber unvollständig. Der Agent bricht die Antwort mitten im Satz über Emissionen wasserstoffbetriebener Fahrzeuge ab, was auf einen Fehler oder eine Unterbrechung bei der Inhaltserstellung schließen lässt.