Perguntas frequentes

O que é SWE-bench Verified e por que é importante?

SWE-bench Verified é um benchmark de 500 problemas reais do GitHub verificados por humanos. Os modelos recebem um repositório e um teste com falha — eles devem produzir um patch de código que faça o teste passar. É o benchmark mais próximo do trabalho real de engenharia de software. Em meados de 2026, Claude Fable 5 lidera com 95%, seguido por GPT-5.5 (88,7%) e Claude Opus 4.8 (88,6%).

O que significam os rótulos SR e 3P no ranking?

SR significa que a pontuação foi auto-relatada pelo fornecedor do modelo em seu card oficial, relatório técnico ou blog de lançamento. 3P significa que a pontuação foi medida de forma independente por terceiros, como Artificial Analysis, ARC Prize Foundation ou NIST/CAISI. Pontuações de terceiros são mais confiáveis para comparações diretas porque usam condições de avaliação padronizadas.

Por que o DeepSeek V4-Pro mostra duas pontuações diferentes no SWE-bench?

DeepSeek V4-Pro auto-relatou 80,6% no SWE-bench Verified, mas o NIST/CAISI mediu independentemente 74,0% — uma diferença de 6,6 pontos. A diferença é atribuída à configuração do scaffolding, construção do prompt do sistema e configurações do orçamento de tokens. Mostramos ambos os números no ranking para que você possa avaliar a discrepância por conta própria.

O que é GPQA Diamond?

GPQA Diamond é um benchmark de perguntas de nível de pós-graduação em biologia, química e física, escritas por especialistas no domínio para que a pesquisa no Google não consiga respondê-las. Em junho de 2026, Claude Opus 4.8 e GPT-5.5 estão empatados com 93,6%, seguidos por Qwen 3.7-Max (92,4%) e Claude Opus 4.6 (91,3%). Especialistas humanos com doutorado pontuam ~65% nas mesmas perguntas.

Qual modelo de IA é melhor para tarefas de codificação no FlowHunt?

Para codificação no estilo GitHub do mundo real (SWE-bench Verified), Claude Fable 5 lidera com 95% e GPT-5.5 com 88,7%. Para programação competitiva (LiveCodeBench), DeepSeek V4-Pro lidera com 93,5%. Para codificação agêntica em múltiplas linguagens (SWE-bench Pro), Qwen 3.7-Max lidera com 60,6%. Todos os modelos marcados como 'no FlowHunt' estão diretamente disponíveis na plataforma.

O que é ARC-AGI-2 e quem lidera?

ARC-AGI-2 é um benchmark de tarefas inovadoras de reconhecimento de padrões visuais que não podem ser resolvidas pela memorização de dados de treinamento, verificado de forma independente pela ARC Prize Foundation. Em junho de 2026, Claude Opus 4.6 lidera com 69,17% (verificado por 3P), seguido por Claude Sonnet 4.6 (58,3%). A referência humana é ~60%.

O que é o Índice de Inteligência Artificial Analysis (AA)?

O Índice de Inteligência Artificial Analysis é uma pontuação composta independente, não auto-relatada por nenhum fornecedor. Líderes atuais: Claude Opus 4.8 (61,4 pts), GPT-5.5 (60,2 pts), Claude Opus 4.7 (57,3 pts), Qwen 3.7-Max (56,6 pts), DeepSeek V4-Pro (52 pts). Estes são diretamente comparáveis, pois são medidos sob condições idênticas.

Qual é a diferença entre modelos de IA de peso aberto e fechados?

Modelos de peso aberto publicam seus pesos treinados para auto-hospedagem. Modelos fechados são apenas via API. Modelos de fronteira de peso aberto neste ranking incluem DeepSeek V4-Pro (49B/1,6T MoE), MiniMax M3, Nemotron 3 Ultra (55B/550B MoE), Mistral Large 3 (41B/675B MoE) e todas as variantes do Meta Llama 4. Modelos de peso aberto oferecem privacidade de dados, personalização e ausência de custos por token.

Com que frequência este ranking é atualizado?

O ranking é atualizado quando novos resultados significativos de benchmark são publicados ou verificados de forma independente. As pontuações são atuais até 12 de junho de 2026. Cada pontuação é etiquetada como SR (auto-relatada) ou 3P (terceiros) para que você saiba sempre a fonte. Cada modelo também tem sua própria página com uma análise mais detalhada do benchmark.