Encuentra el modelo de IA adecuado para cada tarea

Preguntas frecuentes

¿Cómo se elige el mejor modelo para cada caso de uso?

Cada tarjeta clasifica los modelos según el único benchmark que mejor encaja con la tarea: DeepSWE para agentes de programación, Terminal-Bench 4.0 para tareas de terminal y de agentes, Humanity's Last Exam para razonamiento difícil y el Artificial Analysis Intelligence Index para la calidad general, los modelos de pesos abiertos y los modelos en FlowHunt. Si menos de tres modelos tienen una puntuación en DeepSWE, la tarjeta de programación recurre a SWE-bench Pro y lo indica.

¿Qué significan Verificado y Autoinformado?

Las puntuaciones verificadas las midió un evaluador independiente, como Artificial Analysis, la ARC Prize Foundation o la tabla de clasificación de DeepSWE, con una configuración fija para todos los modelos. Las puntuaciones autoinformadas proceden del creador del modelo, en su ficha del modelo o en su anuncio de lanzamiento. Solo las puntuaciones verificadas cuentan para la clasificación. Las autoinformadas se muestran y se marcan, pero nunca se clasifican. Cuando existen ambas, la página del modelo muestra las dos.

¿Por qué un mismo modelo puede tener dos puntuaciones distintas en un benchmark?

Los laboratorios suelen probar sus propios modelos con una configuración personalizada: un arnés de agente distinto, más tiempo de razonamiento o un presupuesto de tokens mayor. Los evaluadores independientes usan una única configuración fija para todos los modelos, por lo que sus cifras son más fáciles de comparar y a menudo más bajas. Clasificamos según la cifra independiente y mantenemos la del laboratorio en la página del modelo.

¿Qué es el Artificial Analysis Intelligence Index?

Es una puntuación compuesta independiente de Artificial Analysis que combina pruebas de agentes, programación, conocimiento y ciencia en un solo número. Usamos la versión 4 del índice. Sus puntuaciones no son comparables con las de versiones anteriores, por lo que las cifras antiguas que hayas visto en otros sitios parecerán más altas.

¿Qué es DeepSWE?

DeepSWE es un conjunto de 113 tareas de software largas escritas desde cero, de modo que es poco probable que aparezcan en los datos de entrenamiento. Un modelo tiene que construir o modificar código real, y unas pruebas ocultas deciden si funcionó. Distingue a los agentes de programación actuales con más claridad que SWE-bench Verified, que la mayoría de los modelos frontera casi han agotado.

¿Por qué SWE-bench Verified solo se conserva por motivos históricos?

Los modelos frontera ya resuelven casi todas sus 500 incidencias de GitHub, por lo que las diferencias entre ellos están dentro del margen de ruido. Aún lo mostramos en la tabla completa para que puedas comparar con informes anteriores, pero ya no decide ninguna clasificación.

¿Cuál es la diferencia entre los modelos de pesos abiertos y los cerrados?

Los modelos de pesos abiertos publican sus pesos entrenados, por lo que puedes ejecutarlos en tu propio hardware, mantener los datos en casa y ajustarlos. Los modelos cerrados solo están disponibles a través de la API o las aplicaciones de su creador. Usa el filtro de Pesos abiertos para ver únicamente los modelos de pesos abiertos.

¿Con qué frecuencia se actualiza esta tabla de clasificación?

La actualizamos cuando se lanzan modelos importantes o cuando los evaluadores independientes publican nuevos resultados. La fecha en la parte superior de la página muestra la última actualización, y cada página de modelo indica la fecha de lanzamiento y la fuente de cada puntuación cuando hay una publicada.