Trouvez le bon modèle d'IA pour votre tâche

Questions fréquemment posées

Comment choisissez-vous le meilleur modèle pour chaque cas d'usage ?

Chaque carte classe les modèles selon le benchmark qui correspond le mieux à la tâche : DeepSWE pour les agents de codage, Terminal-Bench 4.0 pour les tâches de terminal et d'agent, Humanity's Last Exam pour le raisonnement difficile, et l'Artificial Analysis Intelligence Index pour la qualité globale, les modèles open-weight et les modèles disponibles dans FlowHunt. Si moins de trois modèles ont un score DeepSWE, la carte de codage se rabat sur SWE-bench Pro et l'indique.

Que signifient Vérifié et Autodéclaré ?

Les scores vérifiés ont été mesurés par un évaluateur indépendant, comme Artificial Analysis, l'ARC Prize Foundation ou le classement DeepSWE, avec une configuration fixe pour tous les modèles. Les scores autodéclarés proviennent du créateur du modèle, dans sa fiche de modèle ou son article de lancement. Seuls les scores vérifiés comptent pour le classement. Les scores autodéclarés sont affichés et signalés, mais jamais classés. Lorsque les deux existent, la page du modèle affiche les deux.

Pourquoi un même modèle peut-il avoir deux scores différents sur un même benchmark ?

Les laboratoires testent souvent leurs propres modèles avec une configuration sur mesure : un autre harnais d'agent, plus de temps de réflexion ou un budget de tokens plus important. Les évaluateurs indépendants utilisent une configuration fixe pour tous les modèles, leurs chiffres sont donc plus faciles à comparer et souvent plus bas. Nous classons selon le chiffre indépendant et conservons celui du laboratoire sur la page du modèle.

Qu'est-ce que l'Artificial Analysis Intelligence Index ?

C'est un score composite indépendant d'Artificial Analysis qui combine des tests d'agents, de codage, de connaissances et de sciences en un seul chiffre. Nous utilisons la version 4 de l'indice. Ses scores ne sont pas comparables à ceux des versions précédentes : les anciens chiffres que vous avez pu voir ailleurs paraîtront donc plus élevés.

Qu'est-ce que DeepSWE ?

DeepSWE est un ensemble de 113 longues tâches logicielles écrites de zéro, qui ont donc peu de chances de figurer dans les données d'entraînement. Un modèle doit construire ou modifier du vrai code, et des tests cachés déterminent si cela fonctionne. Il départage plus nettement les agents de codage actuels que SWE-bench Verified, que la plupart des modèles frontière ont presque saturé.

Pourquoi SWE-bench Verified n'est-il conservé que pour l'historique ?

Les modèles frontière résolvent désormais presque tous ses 500 problèmes GitHub, de sorte que les écarts entre eux se situent dans la marge de bruit. Nous l'affichons encore dans le tableau complet pour que vous puissiez comparer avec d'anciens rapports, mais il ne détermine plus aucun classement.

Quelle est la différence entre les modèles à poids ouverts et les modèles fermés ?

Les modèles à poids ouverts publient leurs poids entraînés : vous pouvez donc les exécuter sur votre propre matériel, garder vos données en interne et les affiner. Les modèles fermés ne sont disponibles que via l'API ou les applications de leur créateur. Utilisez le filtre Poids ouverts pour ne voir que les modèles à poids ouverts.

À quelle fréquence ce classement est-il mis à jour ?

Nous le mettons à jour lors de la sortie de modèles majeurs ou lorsque des évaluateurs indépendants publient de nouveaux résultats. La date en haut de la page indique la dernière mise à jour, et chaque page de modèle indique la date de sortie et la source de chaque score lorsqu'elle est publiée.