Encontre o modelo de IA certo para cada tarefa

Perguntas frequentes

Como vocês escolhem o melhor modelo para cada caso de uso?

Cada cartão classifica os modelos pelo único benchmark que melhor combina com a tarefa: DeepSWE para agentes de programação, Terminal-Bench 4.0 para tarefas de terminal e de agentes, Humanity's Last Exam para raciocínio difícil e o Artificial Analysis Intelligence Index para qualidade geral, modelos de pesos abertos e modelos no FlowHunt. Se menos de três modelos têm pontuação no DeepSWE, o cartão de programação recorre ao SWE-bench Pro e informa isso.

O que significam Verificada e Autodeclarada?

As pontuações verificadas foram medidas por um avaliador independente, como a Artificial Analysis, a ARC Prize Foundation ou o ranking DeepSWE, com uma configuração fixa para todos os modelos. As pontuações autodeclaradas vêm do próprio criador do modelo, no model card ou na publicação de lançamento. Só as pontuações verificadas contam para a classificação. As autodeclaradas são mostradas e identificadas, mas nunca classificadas. Quando existem as duas, a página do modelo mostra ambas.

Por que o mesmo modelo pode ter duas pontuações diferentes no mesmo benchmark?

Os laboratórios costumam testar os próprios modelos com uma configuração personalizada: outro agent harness, mais tempo de raciocínio ou um orçamento maior de tokens. Os avaliadores independentes usam uma única configuração fixa para todos os modelos, por isso seus números são mais fáceis de comparar e costumam ser mais baixos. Classificamos pelo número independente e mantemos o número do laboratório na página do modelo.

O que é o Artificial Analysis Intelligence Index?

É uma pontuação composta independente da Artificial Analysis que combina testes de agentes, programação, conhecimento e ciência em um único número. Usamos a versão 4 do índice. Suas pontuações não são comparáveis com as versões anteriores, então números mais antigos que você tenha visto em outros lugares vão parecer mais altos.

O que é o DeepSWE?

O DeepSWE é um conjunto de 113 tarefas longas de software escritas do zero, de modo que dificilmente aparecem nos dados de treinamento. O modelo precisa criar ou alterar código real, e testes ocultos decidem se funcionou. Ele distingue os agentes de programação atuais com mais clareza do que o SWE-bench Verified, que a maioria dos modelos de fronteira já praticamente esgotou.

Por que o SWE-bench Verified é mantido apenas como histórico?

Os modelos de fronteira já resolvem quase todos os seus 500 problemas do GitHub, então as diferenças entre eles estão dentro da margem de ruído. Ainda o mostramos na tabela completa para que você possa comparar com relatórios mais antigos, mas ele já não decide nenhuma classificação.

Qual é a diferença entre modelos de pesos abertos e modelos fechados?

Os modelos de pesos abertos publicam seus pesos treinados, para que você possa executá-los no seu próprio hardware, manter os dados internamente e fazer fine-tuning. Os modelos fechados só estão disponíveis pela API ou pelos aplicativos de seu criador. Use o filtro de pesos abertos para ver apenas os modelos de pesos abertos.

Com que frequência este ranking é atualizado?

Atualizamos o ranking quando grandes modelos são lançados ou quando avaliadores independentes publicam novos resultados. A data no topo da página mostra a última atualização, e cada página de modelo lista a data de lançamento e a fonte de cada pontuação, quando há uma publicada.