Verstehen von KI-Agenten: Wie Mistral 7B denkt

Aufgabe 1: Inhaltserstellung

Prompt:
Wenn der Benutzer „Start“ sagt, solltest du:

• Inhaltserstellung: Schreibe einen umfassenden, informativen Artikel über die Grundlagen des Projektmanagements mit besonderem Fokus auf Zieldefinition, Scope und Delegation.

Erste Aufgabenverständnis und Informationssammlung

• (0:05) Gedanke: Können Sie detaillierte Einblicke in die Grundlagen des Projektmanagements geben, insbesondere mit Fokus auf Zieldefinition, Scope und Delegation? Dies hilft, einen umfassenden und informativen Artikel zu verfassen.
• (0:12) Gedanke: Was sind die Best Practices beim Benchmarking für die Definition von Zielen, Scope und Delegation im Projektmanagement? Diese Informationen werden für einen Artikel zu den Grundlagen des Projektmanagements benötigt.

Analyse des Denkprozesses des Agenten

• Verständnis des Prompts: Der Agent interpretiert die Aufgabe korrekt und erkennt, dass detaillierte Einblicke zu den Grundlagen des Projektmanagements, insbesondere Zieldefinition, Scope und Delegation, gefordert sind.
• Weitere Informationssuche: Der Agent stellt eine Rückfrage zu Best Practices im Benchmarking für diese Bereiche und zeigt damit einen proaktiven Ansatz zur Informationssammlung und ein gründliches Aufgabenverständnis.

Analyse des Outputs

• Umfassender Inhalt: Der Agent liefert einen gut strukturierten Artikel zu den geforderten Kernaspekten.
• Klarer Aufbau: Der Artikel nutzt Überschriften, Unterüberschriften, nummerierte Listen und Aufzählungen für bessere Lesbarkeit.
• Praktische Tipps: Best Practices wie das SMART-Framework und Stakeholder-Einbindung werden aufgezeigt.
• Thematisiert Herausforderungen: Geht auf typische Probleme wie Scope Creep und Mikromanagement ein.
• Einhaltung der Vorgaben: Erfüllt die Anforderungen des Prompts für einen umfassenden Artikel.

Ausschnitt des Bot-Outputs

Grundlagen des Projektmanagements: Zieldefinition, Scope und Delegation

Projektmanagement ist eine wichtige Disziplin, die Planung, Durchführung und Überwachung von Projekten umfasst, um spezifische Ziele innerhalb eines definierten Zeit- und Budgetrahmens zu erreichen. Im Kern zielt das Projektmanagement darauf ab, Projekte termingerecht, im Budget und zur Zufriedenheit der Stakeholder abzuschließen. Drei grundlegende Elemente des Projektmanagements sind die Zieldefinition, die Festlegung des Projektumfangs (Scope) und effektive Delegation.

Zieldefinition

Die Festlegung von Zielen ist der erste und wichtigste Schritt im Projektmanagement. Ziele sind klare, prägnante Aussagen darüber, was das Projekt erreichen soll. Sie geben Richtung und dienen als Maßstab für den Erfolg. Effektive Ziele sollten SMART sein: Spezifisch, Messbar, Erreichbar, Relevant und Terminiert.

1. Spezifisch: Ziele sollten klar und eindeutig sein und genau beschreiben, was erreicht werden soll.
2. Messbar: Es sollten Kriterien vorhanden sein, um den Fortschritt zu messen und festzustellen, wann ein Ziel erreicht ist.
3. Erreichbar: Ziele sollten realistisch und erreichbar sein, unter Berücksichtigung der Ressourcen und Einschränkungen des Projekts.
4. Relevant: Sie sollten zu den übergeordneten Unternehmenszielen und den Erwartungen der Stakeholder passen.
5. Terminiert: Ziele sollten einen klaren Zeitrahmen für die Umsetzung haben, um einen rechtzeitigen Fortschritt sicherzustellen.

• Bearbeitungszeit: 16 Sekunden (vom Prompt bei 0:05 bis zum Output bei 0:21)
• Lesbarkeit: Flesch-Kincaid Stufe 13 (Wert: 13,11)
• Zusammenfassungslänge: 534 Wörter

Fazit:
Der Agent zeigt starke Fähigkeiten in der Inhaltserstellung, interpretiert den Prompt korrekt, stellt Rückfragen und liefert einen umfassenden, gut strukturierten Artikel mit praxisnahen Einblicken.

Aufgabe 2: Berechnung

Prompt:
Beantworte das Problem:

Ein Unternehmen verkauft zwei Produkte: Produkt A und Produkt B.

• Produkt A: Produktionskosten $30/Stück, Verkaufspreis $50/Stück.
• Produkt B: Produktionskosten $40/Stück, Verkaufspreis $70/Stück.
• Verkauf: 120 Stück A, 80 Stück B im letzten Monat.

Aufgaben:

• Berechne den Gesamtumsatz beider Produkte.
• Berechne den Gesamtgewinn (Umsatz – Gesamtkosten).
• Das Unternehmen möchte den Gesamtumsatz um 10 % steigern. Wie viele zusätzliche Einheiten jedes Produkts müssen verkauft werden, um dieses Ziel zu erreichen, bei gleichbleibenden Kosten/Preisen?

Erste Aufgabenverständnis

• (0:06) Gedanke: Berechne den Gesamtumsatz und -gewinn aus den Verkäufen und ermittle zusätzliche Einheiten für eine 10%ige Umsatzsteigerung.
• (0:08) Rückfrage: Gedanke: Wie berechnet man den Gesamtumsatz aus den Verkäufen beider Produkte?

Analyse des Denkprozesses des Agenten

• Verständnis des Prompts: Der Agent erkennt, dass Gesamtumsatz, Gesamtgewinn und zusätzliche Einheiten für eine 10%-Steigerung zu berechnen sind.
• Aufgabenzerlegung: Stellt klärende Fragen, zerlegt das Problem in Einzelschritte.

Analyse des Outputs

• Korrekte Berechnungen: Der Gesamtumsatz ($11.600) und der Gesamtgewinn ($4.800) werden korrekt berechnet. Die Ziel-Umsatzsteigerung ($1.160) wird richtig erkannt.
• Klar präsentiert: Die Rechenschritte sind nachvollziehbar.
• Richtige Lösung: Liefert korrekte Anzahl an Zusatzeinheiten (24 für A, 17 für B) oder eine Kombination, die $1.160 zusätzlichen Umsatz erzielt.

Ausschnitt des Bot-Outputs

1. Der Gesamtumsatz aus dem Verkauf beider Produkte beträgt $11.600.
2. Der Gesamtgewinn aus dem Verkauf beider Produkte beträgt $4.800.
3. Um den Gesamtumsatz um 10 % zu steigern, muss das Unternehmen entweder 24 zusätzliche Einheiten von Produkt A oder 17 zusätzliche Einheiten von Produkt B verkaufen oder eine Kombination aus beiden, die zusätzliche $1.160 Umsatz erzielt, bei gleichbleibenden Produktionskosten und Verkaufspreisen pro Einheit.

• Bearbeitungszeit: 13 Sekunden (vom Prompt bei 0:06 bis zum Output bei 0:19)
• Lesbarkeit: Nicht zutreffend (vorwiegend Berechnungen)
• Zusammenfassungslänge: 68 Wörter

Fazit:
Der Agent versteht die Aufgabe präzise und liefert klare, prägnante und korrekte Berechnungen und Lösungen.

Aufgabe 3: Zusammenfassung

Prompt:
Fasse die wichtigsten Erkenntnisse des vorherigen Artikels in 100 Wörtern zusammen, mit Fokus auf die bedeutendsten Abschnitte.

Erste Aufgabenverständnis

• (0:07) Gedanke: Fasse die wichtigsten Erkenntnisse in 100 Wörtern zusammen, mit Fokus auf die bedeutendsten Abschnitte.

Analyse des Denkprozesses des Agenten

• Verständnis des Prompts: Erkennt die Notwendigkeit einer prägnanten Zusammenfassung der Kernaussagen.

Analyse des Outputs

• Kürze: Der Output umfasst 92 Wörter und bleibt damit im vorgegebenen Rahmen.
• Inhalt: Fasst die Hauptpunkte korrekt zusammen – KI-Argumentation, Bedeutung, Geschichte, aktuelle Entwicklungen (OpenAIs o1-Modell) und ethische Aspekte.
• Struktur: Logisch aufgebaut und leicht verständlich.
• Klarheit: Die Sprache ist klar und effektiv.

Ausschnitt des Bot-Outputs

Der Artikel beleuchtet KI-Argumentation als Methode, um Maschinen menschenähnliches Entscheiden und Problemlösen zu ermöglichen. Es wird zwischen formaler und natürlicher Sprachargumentation unterschieden und deren Bedeutung für bessere Entscheidungen, Problemlösung, Mensch-KI-Interaktion und Innovation betont. Historische Meilensteine wie Expertensysteme und neuronale Netze prägen die Entwicklung. In der Medizin verbessert KI-Argumentation Diagnostik, Entscheidungsfindung und personalisierte Medizin. Zu den jüngsten Fortschritten zählt das o1-Modell von OpenAI, das in komplexer Argumentation und MINT-Aufgaben herausragt. Herausforderungen wie ethische Fragen, Überspezialisierung und Datenschutz werden hervorgehoben und verdeutlichen die Notwendigkeit eines verantwortungsvollen KI-Einsatzes.

• Bearbeitungszeit: 9 Sekunden (vom Prompt bei 0:07 bis zum Output bei 0:16)
• Lesbarkeit: Flesch-Kincaid Stufe 18 (Wert: 17,97)
• Zusammenfassungslänge: 92 Wörter

Fazit:
Der Agent fasst komplexe Inhalte prägnant und korrekt zusammen und demonstriert seine Stärke in Inhaltserstellung und Zusammenfassung.

Aufgabe 4: Vergleichsaufgabe

Prompt:
Wenn der Benutzer „Start“ sagt, solltest du:

Vergleiche die Umweltauswirkungen von Elektrofahrzeugen mit denen von wasserstoffbetriebenen Autos. Beziehe Faktoren wie Energieerzeugung, Fahrzeuglebenszyklus und Emissionen ein.

Erste Aufgabenverständnis und Klärung

• (0:05) Gedanke: Vergleiche die Umweltauswirkungen von Elektrofahrzeugen mit wasserstoffbetriebenen Autos, mit Fokus auf Energieerzeugung, Lebenszyklus und Emissionen.
• (0:15) Zusätzlicher Prompt (identisch).
• (0:16) Klärende Frage: Was sind die wichtigsten Unterschiede in Bezug auf diese Faktoren?

Analyse des Denkprozesses des Agenten

• Verständnis des Prompts: Erkennt korrekt die Vergleichsanforderung über die genannten Faktoren.
• Klärungssuche: Formuliert den Prompt proaktiv um, um ein tieferes Verständnis zu gewinnen.

Analyse des Outputs

• Umfassender Vergleich: Detailliert, deckt Energieerzeugung, Lebenszyklus und Emissionen ab.
• Gute Struktur: Klare Abschnitte und Überschriften.
• Präzise und detailliert: Zeigt Verständnis beider Technologien, inklusive Stromquellen, Wasserstoffproduktion, Produktionsauswirkungen und Emissionen.
• Klar und verständlich: Komplexe Zusammenhänge werden zugänglich erklärt.

Ausschnitt des Bot-Outputs

Die Umweltauswirkungen von Elektrofahrzeugen (EVs) im Vergleich zu wasserstoffbetriebenen Autos lassen sich anhand mehrerer wichtiger Dimensionen bewerten: Energieerzeugung, Fahrzeuglebenszyklus und Emissionen.

1. Energieerzeugung:
   • Elektrofahrzeuge: Die Umweltauswirkungen hängen stark von der Stromquelle ab. Erneuerbare Energien (Wind, Solar, Wasser) reduzieren den CO₂-Fußabdruck erheblich, während fossil betriebene Netze zu höheren Emissionen führen.
   • Wasserstoffbetriebene Autos: Die Methoden der Wasserstoffgewinnung variieren; Elektrolyse mit erneuerbaren Energien ist sauberer, aber der Großteil des Wasserstoffs wird durch Dampfreformierung von Erdgas gewonnen, was Treibhausgase freisetzt.

• Bearbeitungszeit: 15 Sekunden (vom Prompt bei 0:05 bis zum Output bei 0:20)
• Lesbarkeit: Flesch-Kincaid Stufe 17 (Wert: 17,41)
• Zusammenfassungslänge: 402 Wörter

Fazit:
Der Agent liefert einen umfassenden, präzisen Vergleich mit gut strukturierter und verständlicher Erklärung.

Aufgabe 5: Kreatives Schreiben

Prompt:
Schreibe eine futuristische Geschichte (500 Wörter), die in einer Welt spielt, in der Elektrofahrzeuge Verbrennungsmotoren vollständig abgelöst haben. Beschreibe die Umweltveränderungen und gesellschaftlichen Auswirkungen.

Erste Aufgabenverständnis und Nachfragen

• (0:05) Gedanke: Welche bedeutenden Umweltveränderungen und gesellschaftlichen Auswirkungen sind in einer Welt mit vollständiger EV-Adoption zu berücksichtigen?
• (0:11) Folgeprompt (identisch).

Analyse des Denkprozesses des Agenten

• Verständnis der Aufgabe: Erkennt, dass eine Geschichte zu einer Welt mit vollständigem Umstieg auf EVs gefragt ist, mit Fokus auf Umwelt- und Gesellschaftsaspekte.
• Weiterführende Nachfragen: Fragt nach Details zu den Auswirkungen für mehr Tiefe.

Analyse des Outputs

• Kreativ und anschaulich: Schafft eine fesselnde, lebendige Geschichte über eine Zukunft, die durch EVs transformiert wurde.
• Fokus auf Auswirkungen: Thematisiert Umweltverbesserungen, Stadtplanung, wirtschaftliche Veränderungen und Lebensstilwandel.
• Gut strukturiert: Klare Erzählstruktur – Einführung, Wandel, Reflexion.
• Wortanzahl: 490 Wörter (nahe am Ziel von 500 Wörtern).
• Lesbarkeit: Mittlere Komplexität, dem Genre angemessen.

Ausschnitt des Bot-Outputs

Im Jahr 2050 hatte die Welt eine bemerkenswerte Transformation durchlaufen. Elektrofahrzeuge (EVs) waren das Hauptverkehrsmittel in allen Teilen der Welt geworden. Die einst verschmutzten Himmel strahlten nun in Klarheit, und die Straßen summten vom leisen Surren der Elektromotoren, oder EVs, wie sie allgemein genannt wurden. Dieser Wandel hatte nicht nur die Art der Fortbewegung verändert, sondern das Gefüge von Gesellschaft und Umwelt neu geformt.

• Bearbeitungszeit: 10 Sekunden (vom Prompt bei 0:05 bis zum Output bei 0:15)

Fazit:
Der Agent zeigt starke Fähigkeiten im kreativen Schreiben und entwirft überzeugend und optimistisch eine durch Elektrofahrzeuge geprägte Zukunft.

Abschließende Gedanken

Diese Untersuchung der Fähigkeiten von Mistral 7B über verschiedene Aufgaben hinweg war aufschlussreich, besonders im Vergleich zur vorherigen Analyse von Claude 2. Mistral 7B überzeugt bei Inhaltserstellung, Berechnung, Zusammenfassung, Vergleich und kreativem Schreiben – und zeigt dabei einen etwas transparenteren Denkprozess.

Höhepunkte der Leistung:

• Inhaltserstellung: Liefert umfassende, gut strukturierte Artikel.
• Zusammenfassung: Gibt präzise, korrekte Zusammenfassungen komplexer Inhalte.
• Vergleich: Bietet detaillierte, ausgewogene Analysen.
• Kreatives Schreiben: Verfasst lebendige, packende Geschichten.
• Berechnung: Löst mehrstufige mathematische Aufgaben präzise.

Transparenz im Denkprozess:
Die Denkprozesse von Mistral 7B sind deutlicher erkennbar als bei Claude 2, häufig werden Fragen formuliert und Aufgaben zerlegt. Diese Transparenz gewährt wertvolle Einblicke in die Argumentation und deutet auf einen Schritt in Richtung echter Autonomie von KI-Agenten hin.