Agents IA : Comment raisonne GPT 4o

Une évaluation des modèles LLM

Introduction

Les agents IA représentent la pointe de l’intelligence artificielle, fonctionnant comme des systèmes autonomes capables de raisonner, d’apprendre et d’agir en fonction des entrées utilisateur et des données contextuelles. En simulant les processus de prise de décision humaine, ils apportent une efficacité et une adaptabilité inédites à une grande variété de tâches.

Ce blog se concentre sur l’évaluation des performances de GPT-4o à travers diverses tâches, en utilisant des prompts détaillés et des métriques précises. Notre objectif est de comprendre comment cet agent IA « réfléchit » et d’évaluer ses performances selon des critères quantitatifs et qualitatifs.

Critères d’évaluation

La comparaison s’articule autour des axes suivants :

1. Gestion des entrées : Capacité du modèle à interpréter et s’adapter à différents prompts.
2. Génération de contenu : Clarté, pertinence et créativité des sorties produites.
3. Raisonnement et résolution de problèmes : Aptitude à effectuer des déductions logiques et à résoudre des problèmes à étapes multiples.
4. Métriques quantitatives : Scores de lisibilité (ARI, Flesch-Kincaid) et temps de réponse.
5. Efficacité : Temps de réponse et utilisation globale des ressources informatiques.

Chaque critère reflète un aspect essentiel du fonctionnement de ce modèle, nous permettant de mieux appréhender ses « processus de pensée ».

Analyse et comparaison

Tâche 1 : Génération de contenu sur les impacts environnementaux des VE

Prompt

« -Génération de contenu : Rédigez un article complet et informatif sur les fondamentaux de la gestion de projet, en mettant l’accent sur la définition des objectifs, du périmètre et de la délégation. »

Sortie (extrait)

Pour gérer et déléguer efficacement les tâches dans notre nouveau projet, il est crucial de comprendre les aspects clés suivants :

Périmètre du projet

Objectifs : L’objectif de la gestion de projet est de livrer un projet complet répondant aux attentes du client. Ces objectifs doivent être spécifiques, mesurables, atteignables, pertinents et temporellement définis (SMART). Des objectifs clairement définis guideront toutes les décisions prises tout au long du projet et permettront de s’assurer que le projet s’aligne sur la mission globale de l’organisation…

Métriques

• Temps écoulé : 53 secondes
• Lisibilité :
  • Flesch Kincaid Grade Level : 12
  • Flesch Kincaid Score : 12.08

Processus de réflexion de l’agent IA

• (0:09) Recherche Google : « Recherche des lignes directrices de gestion de projet objectifs périmètre délégation sur Google… »

  • Réflexion : Rassembler des informations sur la tâche pour fournir une réponse complète concernant les objectifs, le périmètre et les détails pertinents. Commencer par rechercher des lignes directrices générales de gestion de projet.
  • Outil : google_serper

• (0:17) Système : « Consultation de 1 URL… »

• (0:25) Agent :

  • Réflexion : Liens utiles collectés sur la gestion de projet, la délégation et les objectifs. Exploration de l’article le plus pertinent pour les détails.
  • Outil : url_crawl_tool

• (0:27) Recherche Google : « Recherche comment définir les objectifs et le périmètre d’un projet sur Google… »

• (0:29) Agent :

  • Réflexion : Erreur rencontrée avec l’outil d’exploration d’URL ; nouvelle recherche Google axée sur la définition des objectifs et la délégation.
  • Outil : google_serper

• (0:31) Système : « Consultation de 1 URL… »

• (0:38) Agent :

  • Réflexion : Articles pertinents trouvés ; exploration du lien le plus pertinent.
  • Outil : url_crawl_tool

• (0:44) Agent :

  • Réflexion : Impossible de récupérer le contenu des liens précédents à cause d’erreurs. Recherche directe d’informations sur la gestion de projet sur Wikipédia.
  • Outil : wikipedia

• (0:53) Agent :

  • Réflexion : Échec de récupération de contenu, essaie Wikipédia pour les infos sur la gestion de projet.
  • Outil : wikipedia

Analyse

• Comportement orienté objectif : Maintien de l’objectif d’expliquer les principes de gestion de projet malgré les erreurs, ce qui suggère une représentation interne de la tâche.
• Résolution de problème adaptative : Changement de stratégie (vers Wikipédia) en cas d’échec des premières tentatives.
• Intégration d’outils : Utilisation de Google Search, exploration d’URL et Wikipédia.
• Métacognition : Présence d’énoncés de réflexion, introspection et reconnaissance des erreurs.

Points forts :

• Structure claire, informations pertinentes, équilibre des avantages/inconvénients, exactitude factuelle.

Points faibles :

• Quelques répétitions, ce qui réduit la concision.

Note : 9/10

Tâche 2 : Résolution de problème sur le calcul du chiffre d’affaires

Prompt

« Une entreprise vend le produit A à 50 $ (coût 30 $) et le produit B à 70 $ (coût 40 $). Elle a vendu 120 unités de A et 80 unités de B. Calculez le chiffre d’affaires, le bénéfice et les ventes nécessaires pour une croissance de 10 %. »

Sortie (extrait)

« Pour résoudre le problème : Le chiffre d’affaires total des deux produits le mois dernier était de 11 600 $… »

Métriques

• Temps écoulé : 31 secondes
• Lisibilité : Flesch-Kincaid Grade Level : 16 (Postgraduate)
• Décomposition de la réponse :
  • CA produit A : 120 * 50 $ = 6 000 $
  • CA produit B : 80 * 70 $ = 5 600 $
  • Bénéfice total : 4 800 $ (après 6 800 $ de coûts)
  • Stratégies de croissance : vendre 18 unités de A et 4 unités de B, ou 9 unités de A et 10 unités de B.

Processus de réflexion de l’agent IA

• (0:01) Agent :
  • Réflexion : Extraire les données numériques pertinentes du prompt et des ensembles de données pour les calculs.
• (0:03) Extraction de données :
  • Réflexion : Extraction des quantités et prix des deux produits.
• (0:05 - 0:19) Calculs :
  • Calculs étape par étape du chiffre d’affaires et du bénéfice pour chaque produit puis pour le total.
• (0:20 - 0:24) Calcul de croissance :
  • Calcul de l’augmentation de 10 %, détermination des unités supplémentaires nécessaires.
• (0:26) Formulation de la réponse :
  • Présentation d’une réponse finale claire et concise.

Analyse

• Décompose les problèmes en étapes gérables.
• Extrait et traite les données, applique les règles appropriées et formule les réponses.
• Va au-delà du simple Q/R pour une résolution multi-étapes.

Tâche 3 : Résumé des points clés

Prompt

« Résumez les principales conclusions de l’article précédent en 100 mots, en insistant sur les sections les plus significatives. »

Sortie (extrait)

« L’article explore le raisonnement de l’IA, soulignant son rôle dans la prise de décisions et la résolution de problèmes. Il couvre différents types, en insistant sur le raisonnement formel et en langage naturel… »

Déroulement du processus de réflexion de l’agent IA

• Lecture & compréhension : Identification du sujet principal de l’article et des thèmes clés (types de raisonnement IA, évolution historique, applications).
• Ciblage : Mise en avant du modèle o1 d’OpenAI et de ses caractéristiques notables.
• Stratégie de synthèse : Planification d’un résumé concis de 100 mots.
• Rédaction : Structure du résumé : introduction, types, jalons, caractéristiques du modèle, applications.
• Finalisation : Vérification du nombre de mots et de la lisibilité.

Analyse

• Compréhension : Assimilation de textes complexes et d’arguments.
• Informations clés : Identification des aspects essentiels (types de raisonnement, modèles, applications).
• Structure logique : Organisation cohérente de l’information.
• Priorisation : Mise en avant des résultats majeurs.
• Contraintes : Respect de la limite de mots et vérification de la lisibilité.

Métriques

• Temps écoulé : 12 secondes
• Lisibilité : Flesch-Kincaid Grade Level : 16, Score : 16.39
• Longueur du résumé : 100 mots
• Note : 8/10

Tâche 4 : Écriture créative — Récit futuriste

Prompt

« Rédigez une histoire futuriste (500 mots) dans un monde où les véhicules électriques ont totalement remplacé les véhicules thermiques. Décrivez les changements environnementaux et l’impact sociétal. »

Processus de réflexion de l’agent IA

• Remue-méninges : Impact environnemental (air plus propre, biodiversité), infrastructures (bornes, renouvelables), économie (nouvelles industries, moins de dépendance au pétrole), société (propriété servicielle, transports publics), narration (villes paisibles, harmonie techno-nature).
• Structuration : Histoire structurée selon changements environnementaux, infrastructurels, économiques, sociétaux ; conclusion sur la transformation.
• Rédaction : Démarre en 2050, détaille les bénéfices et évolutions, conclut sur une note d’espoir.
• Relecture : Vérification du rythme, de l’engagement, de la grammaire et de la lisibilité.

Extrait de la sortie du bot :

« En 2050, le monde était à l’aube d’une nouvelle ère, ayant adopté les véhicules électriques (VE) comme unique mode de transport. Ce bouleversement n’avait pas seulement transformé nos déplacements, mais avait aussi remodelé la société et l’environnement.

Les cieux étaient plus clairs qu’ils ne l’avaient été depuis un siècle. Avec la disparition des véhicules thermiques, le smog omniprésent des grandes villes s’était dissipé. La qualité de l’air s’était tellement améliorée que les maladies respiratoires liées à la pollution avaient nettement reculé. Respirer à pleins poumons était devenu un plaisir simple et courant. L’impact environnemental était profond : les écosystèmes se régénéraient, et les zones urbaines voyaient revenir la biodiversité. Les parcs étaient animés, et les citadins savouraient un nouveau lien avec la nature. »

Temps écoulé : 39 secondes
Lisibilité : Flesch-Kincaid Grade Level : 13, Score : 13.2
Longueur du récit : 493 mots

Analyse

• Points forts : Imagerie vivide, narration engageante, équilibre entre environnement et société.
• Points faibles : Pourrait inclure davantage de détails techniques.
• Note : 9,5/10

Tâche 5 : Objectifs de comparaison

Prompt

Comparez l’impact environnemental des véhicules électriques avec celui des voitures à hydrogène. Incluez des facteurs tels que la production d’énergie, le cycle de vie du véhicule et les émissions.

Processus de réflexion de l’agent IA

• (0:01) Compréhension du prompt : Se concentrer sur la comparaison de la production d’énergie.
• (0:03) Lancement de la recherche : Collecte de données sur la production d’électricité et d’hydrogène.
• (0:06) Élaboration du cadre : Comparaison selon la source d’énergie, la méthode de production.
• (0:08-0:14) Analyse : Émissions de carbone, efficacité, renouvelables vs. fossiles, hydrogène issu du vaporeformage vs. électrolyse.
• (0:18) Analyse du cycle de vie : Fabrication, maintenance, recyclage pour chaque type.
• (0:44-0:54) Émissions : Distinction entre émissions directes (échappement) et indirectes (production) pour VE et hydrogène.

Analyse

• Orienté recherche : Recherche d’informations externes.
• Approche structurée : Démarche par composant (énergie, cycle de vie, émissions).
• Adaptatif : Ajustements selon les trouvailles et les prompts de l’utilisateur.
• Synthèse : Intégration des sources pour des réponses complètes.
• Réactif : Affine l’analyse selon les demandes.

Comparaison avec les LLM traditionnels

L’agent IA GPT-4o démontre une capacité unique à « raisonner » au-delà des LLM traditionnels en :

1. Raisonnement adaptatif : Intègre le contexte des prompts et des données, génère plusieurs stratégies plutôt que des réponses figées.
2. Utilisation multimodale des ressources : Utilisation d’outils comme les moteurs de recherche pour une connaissance en temps réel, enrichissant la sortie.
3. Polyvalence de style : Passage du ton formel au créatif tout en conservant la cohérence.
4. Prise de décision : Raisonnement en chaîne proche de la prise de décision humaine, y compris les considérations éthiques et les alternatives.

Principales observations

• L’agent IA GPT-4o est polyvalent, précis et gère des tâches diverses.
• Les scores de lisibilité conviennent à des utilisateurs avancés sur des tâches techniques.
• Axes d’amélioration :
  • Réduire la redondance dans les réponses longues.
  • Rendre le contenu technique plus accessible à un public large.

Conclusion

Notre analyse de l’agent IA GPT-4o révèle de solides capacités en génération de contenu, résolution de problèmes et synthèse. Le raisonnement adaptatif et l’intégration multimodale de GPT-4o marquent un saut significatif au-delà des LLM traditionnels. Comprendre ses métriques de performance permet aux utilisateurs d’affiner leurs prompts et de tirer parti de ses atouts dans divers workflows. L’intégration de GPT-4o dans la recherche, l’éducation et l’industrie continue de repousser les limites de ce que les agents IA peuvent accomplir.

Pour plus de perspectives sur les agents IA et leurs applications, restez connectés à notre blog.