Questions fréquemment posées

Qu'est-ce que SWE-bench Verified et pourquoi est-ce important ?

SWE-bench Verified est un benchmark de 500 vrais problèmes GitHub vérifiés par des humains. Les modèles reçoivent un dépôt et un test qui échoue — ils doivent produire un correctif de code qui fait réussir le test. C'est le benchmark le plus proche du travail réel de génie logiciel. À la mi-2026, Claude Fable 5 est en tête avec 95 %, suivi de GPT-5.5 (88,7 %) et Claude Opus 4.8 (88,6 %).

Que signifient les étiquettes SR et 3P sur le classement ?

SR signifie que le score a été auto-déclaré par le fournisseur du modèle dans sa fiche technique officielle, son rapport technique ou son blog de lancement. 3P signifie que le score a été mesuré indépendamment par un tiers tel qu'Artificial Analysis, l'ARC Prize Foundation ou le NIST/CAISI. Les scores tiers sont plus fiables pour les comparaisons directes car ils utilisent des conditions d'évaluation standardisées.

Pourquoi DeepSeek V4-Pro affiche-t-il deux scores différents sur SWE-bench ?

DeepSeek V4-Pro a auto-déclaré 80,6 % sur SWE-bench Verified, mais le NIST/CAISI a mesuré indépendamment 74,0 % — un écart de 6,6 points. La différence est attribuée à la configuration du scaffolding, à la construction du prompt système et aux paramètres du budget de tokens. Nous affichons les deux chiffres sur le classement afin que vous puissiez évaluer l'écart par vous-même.

Qu'est-ce que GPQA Diamond ?

GPQA Diamond est un benchmark de questions de niveau graduate en biologie, chimie et physique, rédigées par des experts du domaine afin que la recherche Google ne puisse pas y répondre. En juin 2026, Claude Opus 4.8 et GPT-5.5 sont à égalité à 93,6 %, suivis de Qwen 3.7-Max (92,4 %) et Claude Opus 4.6 (91,3 %). Les experts humains titulaires d'un doctorat obtiennent ~65 % aux mêmes questions.

Quel modèle d'IA est le meilleur pour les tâches de codage dans FlowHunt ?

Pour le codage de style GitHub réel (SWE-bench Verified), Claude Fable 5 est en tête à 95 % et GPT-5.5 à 88,7 %. Pour la programmation compétitive (LiveCodeBench), DeepSeek V4-Pro est en tête à 93,5 %. Pour le codage agentique multilingue (SWE-bench Pro), Qwen 3.7-Max est en tête à 60,6 %. Tous les modèles marqués « in FlowHunt » sont directement disponibles dans la plateforme.

Qu'est-ce que ARC-AGI-2 et qui est en tête ?

ARC-AGI-2 est un benchmark de tâches de reconnaissance de motifs visuels inédites qui ne peuvent pas être résolues en mémorisant des données d'entraînement, vérifié indépendamment par l'ARC Prize Foundation. En juin 2026, Claude Opus 4.6 est en tête à 69,17 % (vérifié 3P), suivi de Claude Sonnet 4.6 (58,3 %). La référence humaine est d'environ 60 %.

Qu'est-ce que l'indice d'intelligence d'Artificial Analysis (AA) ?

L'indice d'intelligence d'Artificial Analysis est un score composite indépendant, non auto-déclaré par un fournisseur. Leaders actuels : Claude Opus 4.8 (61,4 pts), GPT-5.5 (60,2 pts), Claude Opus 4.7 (57,3 pts), Qwen 3.7-Max (56,6 pts), DeepSeek V4-Pro (52 pts). Ces scores sont directement comparables car ils sont mesurés dans des conditions identiques.

Quelle est la différence entre les modèles d'IA à poids ouverts et fermés ?

Les modèles à poids ouverts publient leurs poids entraînés pour un auto-hébergement. Les modèles fermés sont accessibles uniquement par API. Les modèles frontière à poids ouverts sur ce classement incluent DeepSeek V4-Pro (49B/1,6T MoE), MiniMax M3, Nemotron 3 Ultra (55B/550B MoE), Mistral Large 3 (41B/675B MoE) et toutes les variantes de Meta Llama 4. Les modèles à poids ouverts offrent la confidentialité des données, la personnalisation et l'absence de coûts par token.

À quelle fréquence ce classement est-il mis à jour ?

Le classement est mis à jour lorsque des résultats de benchmark significatifs sont publiés ou vérifiés indépendamment. Les scores sont à jour au 12 juin 2026. Chaque score est étiqueté SR (auto-déclaré) ou 3P (tiers) afin que vous connaissiez toujours la source. Chaque modèle possède également sa propre page avec une analyse détaillée des benchmarks.