Preguntas frecuentes

¿Qué es SWE-bench Verified y por qué es importante?

SWE-bench Verified es un benchmark de 500 issues reales de GitHub verificados por humanos. Los modelos reciben un repositorio y una prueba fallida — deben producir un parche de código que haga que la prueba pase. Es el benchmark más cercano al trabajo real de ingeniería de software. A mediados de 2026, Claude Fable 5 lidera con 95%, seguido de GPT-5.5 (88.7%) y Claude Opus 4.8 (88.6%).

¿Qué significan las etiquetas SR y 3P en la tabla de clasificación?

SR significa que la puntuación fue auto-reportada por el proveedor del modelo en su ficha técnica oficial, informe técnico o blog de lanzamiento. 3P significa que la puntuación fue medida de forma independiente por un tercero como Artificial Analysis, ARC Prize Foundation o NIST/CAISI. Las puntuaciones de terceros son más fiables para comparaciones directas porque utilizan condiciones de evaluación estandarizadas.

¿Por qué DeepSeek V4-Pro muestra dos puntuaciones diferentes en SWE-bench?

DeepSeek V4-Pro auto-reportó 80.6% en SWE-bench Verified, pero NIST/CAISI midió de forma independiente 74.0% — una diferencia de 6.6 puntos. La diferencia se atribuye a la configuración del scaffolding, la construcción del system prompt y los ajustes del presupuesto de tokens. Mostramos ambos números en la tabla para que puedas evaluar la discrepancia por ti mismo.

¿Qué es GPQA Diamond?

GPQA Diamond es un benchmark de preguntas de nivel de posgrado en biología, química y física, escritas por expertos en la materia para que Google no pueda responderlas. A junio de 2026, Claude Opus 4.8 y GPT-5.5 están empatados en 93.6%, seguidos de Qwen 3.7-Max (92.4%) y Claude Opus 4.6 (91.3%). Expertos humanos con doctorado obtienen ~65% en las mismas preguntas.

¿Qué modelo de IA es mejor para tareas de programación en FlowHunt?

Para programación al estilo GitHub real (SWE-bench Verified), Claude Fable 5 lidera con 95% y GPT-5.5 con 88.7%. Para programación competitiva (LiveCodeBench), DeepSeek V4-Pro lidera con 93.5%. Para programación agente multilingüe (SWE-bench Pro), Qwen 3.7-Max lidera con 60.6%. Todos los modelos marcados como 'en FlowHunt' están directamente disponibles en la plataforma.

¿Qué es ARC-AGI-2 y quién lo lidera?

ARC-AGI-2 es un benchmark de tareas novedosas de reconocimiento de patrones visuales que no pueden resolverse memorizando datos de entrenamiento, verificado de forma independiente por ARC Prize Foundation. A junio de 2026, Claude Opus 4.6 lidera con 69.17% (verificado 3P), seguido de Claude Sonnet 4.6 (58.3%). La línea base humana es ~60%.

¿Qué es el Índice de Inteligencia de Artificial Analysis (AA)?

El Índice de Inteligencia de Artificial Analysis es una puntuación compuesta independiente, no auto-reportada por ningún proveedor. Líderes actuales: Claude Opus 4.8 (61.4 pts), GPT-5.5 (60.2 pts), Claude Opus 4.7 (57.3 pts), Qwen 3.7-Max (56.6 pts), DeepSeek V4-Pro (52 pts). Estas puntuaciones son directamente comparables ya que se miden en condiciones idénticas.

¿Cuál es la diferencia entre modelos de IA de peso abierto y cerrados?

Los modelos de peso abierto publican sus pesos entrenados para auto-alojamiento. Los modelos cerrados son solo API. Los modelos frontera de peso abierto en esta tabla incluyen DeepSeek V4-Pro (49B/1.6T MoE), MiniMax M3, Nemotron 3 Ultra (55B/550B MoE), Mistral Large 3 (41B/675B MoE) y todas las variantes de Meta Llama 4. Los modelos de peso abierto ofrecen privacidad de datos, personalización y sin costos por token.

¿Con qué frecuencia se actualiza esta tabla de clasificación?

La tabla se actualiza cuando se publican o verifican de forma independiente resultados significativos de nuevos benchmarks. Las puntuaciones están actualizadas al 12 de junio de 2026. Cada puntuación está etiquetada como SR (auto-reportada) o 3P (terceros) para que siempre conozcas la fuente. Cada modelo también tiene su propia página con un desglose más detallado de benchmarks.