RAG avec les LLM de raisonnement : OpenAI O1 vs OpenAI GPT4o

OpenAI vient de sortir un nouveau modèle appelé OpenAI O1 de la série O1. Le principal changement architectural de ces modèles est la capacité de réfléchir avant de répondre à une requête utilisateur. Dans ce blog, nous allons approfondir les principaux changements d’OpenAI O1, les nouveaux paradigmes utilisés par ces modèles, et comment ce modèle peut significativement augmenter la précision du RAG. Nous comparerons un flux RAG simple utilisant OpenAI GPT4o et le modèle OpenAI O1.

En quoi OpenAI O1 est-il différent des modèles précédents ?

Apprentissage par renforcement à grande échelle

Le modèle O1 exploite des algorithmes d’apprentissage par renforcement à grande échelle durant son processus d’entraînement. Cela permet au modèle de développer une solide « chaîne de pensée », lui permettant de réfléchir plus profondément et de façon stratégique aux problèmes. En optimisant continuellement ses chemins de raisonnement via l’apprentissage par renforcement, le modèle O1 améliore significativement sa capacité à analyser et résoudre efficacement des tâches complexes.

Intégration de la chaîne de pensée

Précédemment, la chaîne de pensée s’est révélée un mécanisme utile d’ingénierie de prompts pour amener le LLM à « réfléchir » par lui-même et à répondre à des questions complexes par un plan étape par étape. Avec les modèles O1, cette étape est intégrée nativement dans le modèle lors de l’inférence, ce qui le rend utile pour les tâches de résolution de problèmes mathématiques et de codage.

O1 est entraîné avec RL pour « réfléchir » avant de répondre via une chaîne de pensée privée. Plus il réfléchit longtemps, meilleurs sont ses résultats sur les tâches de raisonnement. Cela ouvre une nouvelle dimension pour l’évolutivité. Nous ne sommes plus limités par le pré-entraînement. Nous pouvons désormais augmenter la puissance de calcul à l’inférence aussi. pic.twitter.com/niqRO9hhg1
— Noam Brown (@polynoamial) 12 septembre 2024

Performance supérieure aux benchmarks

Lors d’évaluations approfondies, le modèle O1 a démontré des performances remarquables sur différents benchmarks :

• AIME (American Invitational Mathematics Examination) : Résout 83 % des problèmes correctement, une nette amélioration par rapport aux 13 % de GPT-4o.
• GPQA (test de niveau expert en sciences) : Dépasse les experts de niveau doctorat, marquant le premier modèle IA à surpasser les humains sur ce benchmark.
• MMLU (compréhension linguistique multi-tâches) : Excelle dans 54 des 57 sous-catégories, atteignant 78,2 % de performance avec la perception visuelle activée.
• Compétitions de codage : Obtient de bons classements sur des plateformes comme Codeforces, surpassant 93 % des concurrents humains.

OpenAI O1 vs OpenAI GPT4o dans un flux RAG

Pour tester la précision des performances d’OpenAI O1 et GPT4o, nous avons créé deux flux identiques, mais avec deux LLM différents. Nous comparerons la capacité de réponse aux questions de ces modèles sur deux sources indexées concernant le rapport technique d’OpenAI O1.

D’abord, nous allons créer un flux RAG simple dans FlowHunt. Il se compose d’une entrée de chat, d’un récupérateur de documents (qui va chercher les documents pertinents), d’un prompt, d’un générateur et d’une sortie de chat. Le composant LLM OpenAI est ajouté pour spécifier le modèle (sinon, GPT4o est utilisé par défaut).

Voici la réponse de GPT4o :

Et voici le résultat d’OpenAI O1 :

Comme vous pouvez le voir, OpenAI O1 a extrait davantage d’avantages architecturaux de l’article lui-même — 6 points contre 4. De plus, O1 effectue des implications logiques à partir de chaque point, enrichissant le document avec plus d’informations sur l’utilité du changement architectural.

Prêt à développer votre entreprise?

Commencez votre essai gratuit aujourd'hui et voyez les résultats en quelques jours.

Demander une démo Se connecter

Le modèle OpenAI O1 en vaut-il la peine ?

D’après nos expériences, le modèle O1 coûtera plus cher pour une précision accrue. Le nouveau modèle dispose de 3 types de jetons : Jeton Prompt, Jeton Completion et Jeton Reason (un nouveau type de jeton ajouté), ce qui le rend potentiellement plus onéreux. Dans la plupart des cas, OpenAI O1 fournit des réponses qui semblent plus utiles si elles sont fondées sur la vérité. Cependant, il existe quelques cas où GPT4o surpasse OpenAI O1 — certaines tâches n’ont tout simplement pas besoin de raisonnement.