OpenAI O3 Mini vs DeepSeek für agentische Nutzung

Seit dem 31. Januar hat OpenAI die nächste Generation seiner Reasoning-Modelle mit dem O3 Mini Modell veröffentlicht. Insgesamt scheint das OpenAI O3 Mini Modell 15-mal günstiger zu sein bei etwa gleicher Genauigkeit wie das O1 Modell, die vorherige Generation von OpenAI Reasoning-Modellen. Das neue Modell, OpenAI O3 Mini, ist jetzt in FlowHunt verfügbar – weniger als einen Tag nach OpenAIs Veröffentlichung. In diesem Blog tauchen wir tief in die Fähigkeiten des Modells ein und vergleichen es mit DeepSeek.

Bewertungsmetriken für OpenAI O3 Mini vs DeepSeek

In dieser Evaluation habe ich einen einfachen, aber effektiven Workflow genutzt, bestehend aus Chat-Eingabe, Chat-Ausgabe und einem KI-Generator, um eine klare und prägnante Erklärung der Hauptvariante der Ruy Lopez-Eröffnung im Schach zu liefern. Durch den Vergleich der Leistung von DeepSeek mit O3 Mini konnte ich beurteilen, wie jedes System die Aufgabe bewältigte, die Schlüsselschritte – wie 1. e4 e5, 2. Nf3 Nc6, 3. Bb5 a6, 4. Ba4 Nf6 und 5. O-O Be7 – und deren weitere Entwicklung darzustellen. Diese vergleichende Analyse zeigt nicht nur die Fähigkeiten dieser KI-Tools bei der Verarbeitung und Vermittlung komplexer Schachstrategien, sondern hebt auch den Wert eines einfachen Konversationsflusses für Lesbarkeit und praktische Bewertungsergebnisse hervor.

So sieht der Flow aus:

DeepSeek Ergebnisse

Ich habe das Modell Folgendes gefragt:
„Gib mir die ersten 10 Züge der Ruy Lopez.“
Das Ergebnis ist wie folgt. Das ist der Denkprozess von DeepSeek:

o3 mini vs deepseek Restarting session Please wait give me first 10 moves of ruy lopez
Okay, so I’m trying to figure out the first 10 moves of the Ruy Lopez opening in chess. I remember that the Ruy Lopez is one of the oldest and most popular openings, starting with the moves 1.e4 e5. Then, White plays 2.Nf3, developing the knight and preparing to control the center. Next, 2…Nc6, where Black develops their knight and supports the e5 pawn. Now, the Ruy Lopez proper starts with 3.Bb5, which attacks the knight on c6. I think this is the key move that defines the opening. Then, Black usually responds with 3…a6 to challenge the bishop. After that, White plays 4.Ba4, retreating the bishop to a safe square. So far, I have six moves: 1.e4 e5 2.Nf3 Nc6 3.Bb5 a6 4.Ba4. Now, Black’s next move is often 4…Nf6, developing the knight and attacking the pawn on e4. Then, White castles kingside with 5.0-0 to get the king to safety and bring the rook into the game. That’s eight moves. Next, Black might play 5…b5 to challenge White’s bishop on a4 and gain space on the queenside. Then, White responds with 6.c3, supporting the d4 push and preparing to develop other pieces. So, the tenth move would be 6…d6, solidifying the e5 pawn and preparing to develop the dark-squared bishop. Wait, but I’m not entirely sure if Black always plays 5…b5. Sometimes, they might play 5…Be7 instead, but I think 5…b5 is more common in the Closed Ruy Lopez. Also, after 6.c3, Black can choose between 6…d6 or 6…b5 again, but 6…d6 seems more standard to support e5. I should double-check the order to make sure I didn’t mix up any moves. Let me go through it again: e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 0-0 b5 c3 d6 Yes, that seems correct. So the first ten moves are as I listed. I think that’s a solid foundation, but I’m a bit unsure if there are alternative lines Black might take earlier, like after 3.Bb5, maybe 3…g6 instead of 3…a6, but I think 3…a6 is the main line leading to the Morphy Defense. So, I’ll stick with that for the first ten moves. Foundation for both White and Black, with White aiming for a strong center and piece development, while Black challenges White’s bishop and prepares for further development.

Endergebnis:

Die ersten zehn Züge der Ruy Lopez-Eröffnung, nach der Morphy-Verteidigung, sind wie folgt:
e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 0-0 b5 c3 d6
Diese Zugfolge bildet eine solide Grundlage für Weiß und Schwarz: Weiß strebt nach einer starken Zentrale und Figurenentwicklung, während Schwarz den weißen Läufer herausfordert und weitere Entwicklung vorbereitet.

Ergebnisse OpenAI O3 Mini

O3 gewinnt. Die Antwort von O3 Mini ist verständlicher und korrekter.

Die Ruy Lopez (oder Spanische Partie) ist eine komplexe Eröffnung mit vielen Varianten. Eine der gebräuchlichsten Arten, zu einer klassischen geschlossenen Ruy Lopez zu gelangen, ist mit folgenden Zügen:
e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 O-O Be7 Re1 b5 Bb3 d6 c3 O-O h3 Nb8 d4

Hier eine kurze Erläuterung der Ideen hinter diesen Zügen:

• 1. e4 e5 etabliert das klassische Zentrumskampf.
• 2. Nf3 entwickelt eine Figur und greift den e5-Bauern an; Schwarz verteidigt mit Nc6.
• 3. Bb5 fesselt den Springer auf c6 (der e5 deckt) und erhöht den Druck im Zentrum; Schwarz antwortet mit a6.
• 4. Ba4 zieht sich zurück, hält aber die Fesselung; Schwarz entwickelt mit Nf6 eine weitere Figur.
• 5. O-O sichert den weißen König; Schwarz spielt Be7 zur Rochadevorbereitung.
• 6. Re1 verstärkt den e4-Bauern; Schwarz treibt den Läufer mit b5 und gewinnt Raum am Damenflügel.
• 7. Bb3 erhält die Diagonale des Läufers; Schwarz stabilisiert mit d6 das Zentrum.
• 8. c3 bereitet einen späteren d4-Vorstoß vor und erlaubt eine eventuelle Läuferrückzugsoption; Schwarz rochiert mit O-O.
• 9. h3 verhindert Figuren wie Springer oder Läufer auf g4, die das Zentrum oder weiße Figuren stören könnten; Schwarz zieht den Springer mit Nb8 zurück, um ihn umzugruppieren.
• 10. d4 ist der Durchbruch von Weiß im Zentrum, um die schwarze Bauernstruktur herauszufordern.

Dies ist nur eine von vielen korrekten Zugfolgen in der Ruy Lopez. Varianten wie die Offene Ruy Lopez oder andere Linien in der geschlossenen Variante unterscheiden sich eventuell ab Zug 4 oder später. Aber die obige Sequenz ist ein bekannter klassischer Aufbau.

Bewertung der Agentik von DeepSeek und OpenAI O3 Mini

Wir haben die Reasoning-Modelle bei einer Aufgabe getestet, für die 2-3 Tools für KI-Agenten benötigt werden. Hier ist die Aufgabe:

Gegeben ist der Firmenname. Suche und finde die Preisseite des Produkts und schlage Verbesserungen vor.
Mache außerdem einen Screenshot der Preisseite.
Sende dann eine E-Mail an mich mit den Ergebnissen.

Für diese Aufgabe muss eine Verbindung zur Google-Suche hergestellt werden, um die Preisseite zu finden, die Seite gecrawlt und ein detaillierter Bericht per E-Mail verschickt werden.

Die Aufgabe wurde bewusst nicht im Detail beschrieben, um die Reasoning-Fähigkeiten der genannten Modelle zu überprüfen.

DeepSeek als KI-Agent

DeepSeek war nicht in der Lage, E-Mails zu versenden. Insgesamt zeigt unsere Erfahrung, dass DeepSeek beim Aufruf von Tools nicht so genau ist wie OpenAI GPT4o oder OpenAI O3 Mini. Dies ist der von DeepSeek erstellte Bericht zur Analyse der Preisseite von FlowHunt. Hier der Denkprozess von DeepSeek:

1. Google-Tool-Aufruf:

2. URL scrapen:

Das Reasoning:

Betreff: FlowHunt Preisseiten-Überblick und Verbesserungsvorschläge

Sehr geehrte/r [Ihr Name],

Ich hoffe, diese Nachricht erreicht Sie wohlbehalten. Nachfolgend finden Sie eine Zusammenfassung der FlowHunt-Preisseite sowie einige Vorschläge für Verbesserungen.

Preise im Überblick:

FlowHunt bietet vier Preisstufen:

Starter-Plan (10 €/Monat):

• 10 Credits
• 5 Workflows pro Workspace
• 1 Workspace
• 1 Teammitglied pro Workspace
• 5 Chatbots pro Workspace
• 2 Websites pro Workspace
• 5 Dokumente pro Workspace
• 50 FAQs pro Workspace
• Zugang zu allen neuesten OpenAI LLMs, inklusive Custom Fine-Tuned Models
• Alle Integrationen
• E-Mail-Support

Pro-Plan (50 €/Monat):

• 55 Credits (inklusive 10% Rabatt auf Credits)
• 20 Workflows pro Workspace
• 5 Workspaces
• 10 Teammitglieder pro Workspace
• 20 Chatbots pro Workspace
• 10 Websites pro Workspace
• 50 Dokumente pro Workspace
• 100 FAQs pro Workspace
• Zugang zu allen neuesten OpenAI LLMs, inklusive Custom Fine-Tuned Models
• Pro-Support
• API-Key-Zugang
• Basic Analytics (demnächst)
• Alle Integrationen

Premium-Plan (500 €/Monat):

• 600 Credits (inklusive 20% Rabatt auf Credits)
• 50 Workflows pro Workspace
• 10 Workspaces
• 100 Teammitglieder pro Workspace
• 50 Chatbots pro Workspace
• 30 Websites pro Workspace
• 100 Dokumente pro Workspace
• 200 FAQs pro Workspace
• Zugang zu allen neuesten OpenAI LLMs, inklusive Custom Fine-Tuned Models
• Priorisierter Support
• API-Key-Zugang
• Erweiterte Analytics (demnächst)
• Erstberatung für Workflows
• Erstunterstützung beim Workflow-Training
• Alle Integrationen

Enterprise-Plan (Individuelle Preisgestaltung ab 1.500 €/Monat):

• Vertraglich vereinbarte Tokens (Bring Your Own Key – BYOK)
• Unbegrenzte Workflows
• Unbegrenzte Workspaces
• Unbegrenzte Nutzer
• Unbegrenzte Chatbots
• Unbegrenzte Zeitpläne
• Unbegrenzte Dokumente
• Unbegrenzte FAQs
• Unbegrenzter Chatverlauf
• Zugang zu allen neuesten OpenAI LLMs, inklusive Custom Fine-Tuned Models
• Dedizierter Prioritäts-Support
• API-Key-Zugang
• Erweiterte Analytics (demnächst)
• Anpassbare Workflow-Module
• Optionale Trainingsunterstützung
• Erweiterte Sicherheit und On-Premises-Bereitstellung

Vorgeschlagene Verbesserungen:

• Feature-Vergleichstabelle: Erstellen Sie eine tabellarische Gegenüberstellung der Funktionen aller Pläne, damit Nutzer die Unterschiede schnell erkennen können.
• Kundenmeinungen/Fallstudien: Das Hinzufügen von Kundenmeinungen oder Fallstudien kann Vertrauen und Glaubwürdigkeit schaffen.
• Preisrechner: Integrieren Sie einen interaktiven Preisrechner, mit dem Nutzer ihre Kosten – gerade für den Enterprise-Plan – individuell kalkulieren können.
• Free Trial hervorheben: Machen Sie die kostenlose Testphase auf der Seite präsenter, um Nutzer zum Testen zu bewegen, bevor sie sich für einen Tarif entscheiden.
• Detaillierte Dokumentation/Setup-Guides: Bieten Sie Links zu umfassenden Dokumentationen oder Einrichtungsanleitungen, damit Nutzer verstehen, wie sie die Funktionen optimal nutzen.

OpenAI O3 Mini als KI-Agent

Im Gegensatz dazu konnte das OpenAI O3 Mini Modell mit dieser knappen Aufgabenbeschreibung den exakten Prozess ermitteln:

1. Google-Suche

2. URL scrapen

3. E-Mail-Versand

Dies ist die E-Mail, die ich erhalten habe:

Hallo,

Nachfolgend finden Sie die Ergebnisse der Überprüfung der FlowHunt-Preisseite sowie einige Vorschläge zur Verbesserung:

URL der Preisseite: https://www.flowhunt.io/pricing/

Screenshot: Ein Screenshot der Preisseite wurde erstellt. (Bitte beachten Sie den beigefügten Screenshot in Ihrem System.)

Zusammenfassung der Preisseite:

Die Preisseite zeigt übersichtlich vier Pläne: Starter (10 €/Monat), Pro (50 €/Monat), Premium (500 €/Monat) und Enterprise (ab 1.500 €/Monat). Jeder Plan listet Credits, Workflow- und Team-Limits, Kernfunktionen und zusätzliche Supportoptionen auf. Die Seite enthält sowohl eine Übersicht als auch einen detaillierten Vergleich in Tabellenform, was potenziellen Kunden den Vergleich der Funktionen erleichtert.

Vorgeschlagene Verbesserungen:

• Interaktiver Preisrechner: Fügen Sie einen interaktiven Preisrechner hinzu, mit dem Nutzer Parameter (z. B. Anzahl der Workflows, Teammitglieder) anpassen und eine dynamische Kostenschätzung erhalten können.
• Visuelle und UX-Verbesserungen: Nutzen Sie ansprechendere Visuals (z. B. Icons oder Infografiken), um die Pläne zu differenzieren. Ergänzen Sie subtile Animationen beim Überfahren von Plandetails, um die Interaktivität zu steigern.
• Währungsrechner: Da die Preise in Euro angegeben sind, empfiehlt sich eine Währungsumrechnung für internationale Nutzer für ein besseres lokales Erlebnis.
• Deutlichere Call-to-Action (CTA): Machen Sie die CTA-Buttons auffälliger und fügen Sie eventuell einen sekundären CTA hinzu (z. B. „Mehr erfahren“ über Planvorteile) für Nutzer, die vor der Anmeldung mehr Klarheit wünschen.
• Erweiterter FAQ-Bereich: Bauen Sie den FAQ-Bereich mit ausführlicheren Antworten zu Credits, möglichen Zusatzkosten und häufigen Nutzungsszenarien aus. Nutzen Sie ggf. ausklappbare Abschnitte für mehr Übersichtlichkeit.
• Social Proof und Testimonials: Ergänzen Sie Kundenmeinungen oder Erfolgsgeschichten im Bereich der Preisinformation zur Vertrauensbildung.
• Mobile Optimierung: Stellen Sie sicher, dass die Preistabelle und alle interaktiven Elemente auf Mobilgeräten optimal dargestellt werden.
• Chat-Support-Integration: Integrieren Sie einen Live-Chat oder Chatbot-Support auf der Preisseite, um Fragen rund um Preise oder Plandetails direkt beantworten zu können.

Durch die Umsetzung dieser Verbesserungen kann FlowHunt eine ansprechendere und benutzerfreundlichere Erfahrung bieten und so die Conversion-Rate steigern.

Mit freundlichen Grüßen
[Ihr Name]

(P.S. Diese E-Mail enthält die Ergebnisse und Vorschläge zur FlowHunt-Preisseite sowie Informationen zum erstellten Screenshot.)