OpenAI O3 Mini vs DeepSeek pour une utilisation agentique

Au 31 janvier, OpenAI a lancé sa nouvelle génération de modèles de raisonnement avec le modèle O3 Mini. Globalement, il semble que le modèle OpenAI O3 Mini soit 15 fois moins cher tout en offrant une précision approximativement équivalente au modèle O1, l’ancienne génération de modèles de raisonnement d’OpenAI. Le nouveau modèle OpenAI O3 Mini est disponible dès maintenant sur FlowHunt, moins d’une journée après le lancement par OpenAI. Dans ce blog, nous allons plonger dans les capacités du modèle et le comparer à DeepSeek.

Critères d’évaluation pour OpenAI O3 Mini vs DeepSeek

Dans cette évaluation, j’ai utilisé un workflow simple mais efficace impliquant une saisie de chat, une sortie de chat et un générateur IA pour fournir une explication claire et concise de la ligne principale de l’ouverture Ruy Lopez aux échecs. En comparant les performances de DeepSeek à celles de l’O3 Mini, j’ai pu évaluer comment chaque système gérait la tâche de détailler les coups clés—tels que 1. e4 e5, 2. Nf3 Nc6, 3. Bb5 a6, 4. Ba4 Nf6, et 5. O-O Be7—et leurs développements ultérieurs. Cette analyse comparative démontre non seulement les capacités de ces outils IA à traiter et restituer des stratégies d’échecs complexes, mais met aussi en avant la valeur d’un flux conversationnel simple pour atteindre lisibilité et résultats d’évaluation pratiques.

Voici le flow :

Résultats DeepSeek

J’ai posé la question suivante au modèle :
« Donne-moi les 10 premiers coups de la Ruy Lopez. »
Voici le résultat. Voici le processus de réflexion de DeepSeek :

o3 mini vs deepseek Redémarrage de la session Veuillez patienter donne-moi les 10 premiers coups de la ruy lopez
D’accord, j’essaie de trouver les 10 premiers coups de l’ouverture Ruy Lopez aux échecs. Je me souviens que la Ruy Lopez est l’une des ouvertures les plus anciennes et les plus populaires, débutant par les coups 1.e4 e5. Ensuite, les Blancs jouent 2.Nf3, développant le cavalier et préparant le contrôle du centre. Puis 2…Nc6, où les Noirs développent leur cavalier et soutiennent le pion e5. Maintenant, la Ruy Lopez proprement dite commence avec 3.Bb5, qui attaque le cavalier en c6. Je pense que c’est le coup clé qui définit l’ouverture. Ensuite, les Noirs répondent généralement par 3…a6 pour défier le fou. Après cela, les Blancs jouent 4.Ba4, reculant le fou dans une case sûre. Ça fait six coups : 1.e4 e5 2.Nf3 Nc6 3.Bb5 a6 4.Ba4. Ensuite, le prochain coup des Noirs est souvent 4…Nf6, développant le cavalier et attaquant le pion e4. Puis les Blancs roquent côté roi avec 5.0-0 pour mettre le roi en sécurité et amener la tour en jeu. Cela fait huit coups. Ensuite, les Noirs peuvent jouer 5…b5 pour défier le fou blanc en a4 et gagner de l’espace à l’aile dame. Ensuite, les Blancs répondent par 6.c3, soutenant la poussée d4 et préparant le développement d’autres pièces. Donc, le dixième coup serait 6…d6, solidifiant le pion e5 et préparant le développement du fou cases noires. Attendez, mais je ne suis pas tout à fait sûr que les Noirs jouent toujours 5…b5. Parfois, ils peuvent jouer 5…Be7 à la place, mais je pense que 5…b5 est plus courant dans la Ruy Lopez fermée. Aussi, après 6.c3, les Noirs peuvent choisir entre 6…d6 ou 6…b5 encore, mais 6…d6 semble plus standard pour soutenir e5. Je devrais revérifier l’ordre pour m’assurer de ne pas avoir mélangé des coups. Laissez-moi refaire la séquence : e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 0-0 b5 c3 d6 Oui, cela semble correct. Donc les dix premiers coups sont comme je l’ai listé. Je pense que c’est une base solide, mais je ne suis pas sûr s’il existe des variantes alternatives pour les Noirs plus tôt, comme après 3.Bb5, peut-être 3…g6 au lieu de 3…a6, mais je pense que 3…a6 est la ligne principale menant à la Défense Morphy. Donc, je reste là-dessus pour les dix premiers coups. Fondation pour les Blancs et les Noirs, les Blancs cherchant un centre solide et le développement des pièces, tandis que les Noirs défient le fou blanc et préparent leur développement.

Résultat final :

Les dix premiers coups de l’ouverture Ruy Lopez, suivant la Défense Morphy, sont les suivants :
e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 0-0 b5 c3 d6
Cette séquence établit une base solide pour les Blancs et les Noirs, les Blancs visant un centre fort et le développement des pièces, tandis que les Noirs défient le fou blanc et préparent leur développement.

Résultats OpenAI O3 Mini

O3 l’emporte. La réponse d’O3 Mini est plus compréhensible et correcte.

La Ruy Lopez (ou Partie Espagnole) est une ouverture riche avec de nombreuses variantes. L’une des façons les plus courantes d’atteindre une Ruy Lopez fermée classique est la suivante :
e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 O-O Be7 Re1 b5 Bb3 d6 c3 O-O h3 Nb8 d4

Voici une brève explication des idées derrière ces coups :

• 1. e4 e5 installe la lutte classique pour le centre.
• 2. Nf3 développe un cavalier et attaque le pion e5 ; les Noirs défendent avec Nc6.
• 3. Bb5 cloue le cavalier en c6 (qui défend e5) et accentue la pression centrale ; les Noirs défient avec a6.
• 4. Ba4 recule tout en maintenant la pression ; les Noirs développent une autre pièce avec Nf6.
• 5. O-O sécurise le roi blanc ; les Noirs jouent Be7 pour préparer le roque.
• 6. Re1 renforce le pion central e4 ; le b5 des Noirs chasse le fou et gagne de l’espace à l’aile dame.
• 7. Bb3 préserve la diagonale du fou ; les Noirs consolident le centre avec d6.
• 8. c3 prépare le soutien à une future poussée d4 et éventuellement une retraite du fou si besoin, et les Noirs roquent avec O-O.
• 9. h3 empêche une pièce (comme un cavalier ou un fou) de venir en g4, là où elle pourrait gêner le centre ou les pièces blanches ; les Noirs reculent le cavalier avec Nb8 pour le redéployer.
• 10. d4 est la rupture centrale des Blancs, visant à défier la structure de pions noire.

Gardez à l’esprit qu’il ne s’agit que d’un des nombreux ordres de coups valides dans la Ruy Lopez. Les variantes telles que la Ruy Lopez ouverte ou d’autres lignes de la Ruy Lopez fermée peuvent différer après le 4e coup ou plus tard. Mais la séquence ci-dessus est un chemin bien connu suivi par de nombreux joueurs dans la théorie classique des échecs.

Évaluation de DeepSeek et OpenAI O3 Mini sur le comportement agentique

Nous avons évalué les modèles de raisonnement sur une tâche nécessitant 2 à 3 outils pour les agents IA. Voici la tâche :

À partir du nom d’une entreprise, rechercher et trouver la page de tarification du produit et suggérer des améliorations.
Prendre également une capture d’écran de la page de tarification.
Puis envoyez-moi un email avec les résultats.

La tâche requiert une connexion à Google pour trouver la page de tarification, l’exploration de cette page et l’envoi d’un rapport détaillé par email.

La consigne a volontairement été peu détaillée pour tester les capacités de raisonnement des modèles cités.

Utilisation de DeepSeek comme agent IA

DeepSeek n’a pas pu envoyer l’email. Globalement, notre expérience révèle que DeepSeek n’est pas aussi précis dans l’appel d’outils comparé à OpenAI GPT4o ou aux modèles OpenAI O3 Mini. Voici le rapport généré par DeepSeek, analysant la page de tarification de FlowHunt. Voici le processus de réflexion de DeepSeek :

1. Appel de l’outil Google :

2. Scraper l’URL :

Le raisonnement :

Objet : Analyse de la page de tarification FlowHunt et suggestions

Bonjour [Votre nom],

J’espère que ce message vous trouve en bonne santé. Voici un résumé de la page de tarification de FlowHunt, ainsi que quelques suggestions d’améliorations.

Aperçu de la tarification :

FlowHunt propose quatre niveaux de tarification :

Starter (10 €/mois) :

• 10 crédits
• 5 workflows par espace de travail
• 1 espace de travail
• 1 membre d’équipe par espace
• 5 chatbots par espace
• 2 sites web par espace
• 5 documents par espace
• 50 FAQ par espace
• Accès à tous les derniers LLM OpenAI, y compris les modèles personnalisés
• Toutes les intégrations
• Support par email

Pro (50 €/mois) :

• 55 crédits (inclut 10 % de remise sur les crédits)
• 20 workflows par espace
• 5 espaces de travail
• 10 membres d’équipe par espace
• 20 chatbots par espace
• 10 sites web par espace
• 50 documents par espace
• 100 FAQ par espace
• Accès à tous les derniers LLM OpenAI, y compris les modèles personnalisés
• Support Pro
• Accès API
• Analyses de base (bientôt disponible)
• Toutes les intégrations

Premium (500 €/mois) :

• 600 crédits (inclut 20 % de remise sur les crédits)
• 50 workflows par espace
• 10 espaces de travail
• 100 membres d’équipe par espace
• 50 chatbots par espace
• 30 sites web par espace
• 100 documents par espace
• 200 FAQ par espace
• Accès à tous les derniers LLM OpenAI, y compris les modèles personnalisés
• Support prioritaire
• Accès API
• Analyses avancées (bientôt disponible)
• Conseil initial workflow
• Formation initiale workflow
• Toutes les intégrations

Entreprise (Tarif personnalisé à partir de 1 500 €/mois) :

• Jetons contractuels (Bring Your Own Key – BYOK)
• Workflows illimités
• Espaces de travail illimités
• Utilisateurs illimités
• Chatbots illimités
• Plannings illimités
• Documents illimités
• Questions/réponses illimitées
• Historique de chat illimité
• Accès à tous les derniers LLM OpenAI, y compris les modèles personnalisés
• Support prioritaire dédié
• Accès API
• Analyses avancées (bientôt disponible)
• Modules workflow personnalisables
• Support de formation optionnel
• Sécurité avancée et déploiement sur site

Suggestions d’améliorations :

• Tableau comparatif des fonctionnalités : Créer un tableau comparatif mettant en avant les fonctionnalités de chaque offre pour aider les utilisateurs à repérer rapidement les différences.
• Témoignages clients/études de cas : Ajouter des témoignages ou études de cas de clients existants pour renforcer la confiance.
• Calculateur de prix : Mettre en place un calculateur de prix interactif permettant aux utilisateurs d’estimer leur coût selon leurs besoins, surtout pour l’offre Entreprise.
• Essai gratuit mis en avant : Rendre l’option d’essai gratuit plus visible afin d’encourager les utilisateurs à tester le service avant de s’engager.
• Documentation détaillée/guides de prise en main : Fournir des liens vers une documentation ou des guides détaillés pour aider les utilisateurs à tirer parti des fonctionnalités de chaque offre.

Utilisation d’OpenAI O3 Mini comme agent IA

En revanche, avec cette description succincte, le modèle OpenAI O3 Mini a su décoder le processus exact :

1. Recherche Google

2. Scraper l’URL

3. Envoi d’email

Voici l’email que j’ai reçu :

Bonjour,

Vous trouverez ci-dessous les résultats de l’analyse de la page de tarification de FlowHunt ainsi que quelques suggestions d’améliorations :

URL de la page de tarification : https://www.flowhunt.io/pricing/

Capture d’écran : Une capture d’écran de la page de tarification a été prise. (Veuillez vous référer à la capture jointe dans votre système.)

Résumé de la page de tarification :

La page de tarification présente clairement quatre formules : Starter (10 €/mois), Pro (50 €/mois), Premium (500 €/mois) et Entreprise (à partir de 1 500 €/mois). Chaque offre liste les crédits, les limites de workflow et d’équipe, les fonctionnalités principales et les options de support supplémentaires. La page inclut à la fois une vue d’ensemble et une comparaison détaillée au format tableau, ce qui aide les clients potentiels à comparer les offres.

Suggestions d’améliorations :

• Calculateur de prix interactif : Ajouter un calculateur interactif permettant aux utilisateurs de paramétrer (ex. nombre de workflows, membres d’équipe) pour estimer dynamiquement leur coût mensuel.
• Améliorations visuelles et UX : Introduire des visuels plus engageants (icônes, infographies) pour différencier les offres. Ajouter des animations subtiles au survol pour améliorer l’interactivité.
• Convertisseur de devise : Puisque les prix sont en euros, proposer un convertisseur de devises pour les utilisateurs internationaux afin d’améliorer l’expérience localisée.
• CTA plus visible : Mettre davantage en valeur les boutons d’appel à l’action et éventuellement ajouter un CTA secondaire (ex. « En savoir plus » sur les avantages) pour les utilisateurs désirant plus d’informations avant de s’inscrire.
• FAQ enrichie : Développer la section FAQ avec plus de détails sur le système de crédits, les dépassements éventuels, et les cas courants. Utiliser des sections repliables pour garder la page lisible tout en fournissant des infos additionnelles.
• Preuves sociales et témoignages : Intégrer des avis clients ou des cas de succès près de la section tarifaire pour renforcer la crédibilité.
• Optimisation mobile : S’assurer que le tableau de tarifs et tous les éléments interactifs s’affichent parfaitement sur mobile.
• Intégration d’un support chat : Ajouter un chat en direct ou un chatbot sur la page de tarification pour répondre instantanément aux questions sur les offres.

En mettant en œuvre ces améliorations, FlowHunt peut offrir une expérience plus attrayante et conviviale, ce qui peut augmenter le taux de conversion.

Cordialement,
[Votre nom]

(P.S. Cet email inclut les résultats et suggestions pour la page de tarification de FlowHunt ainsi que l’information concernant la capture d’écran réalisée.)