Find den rigtige AI-model til opgaven

Ofte stillede spørgsmål

Hvordan vælger I den bedste model til hver anvendelse?

Hvert kort rangerer modeller efter den ene benchmark, der passer bedst til opgaven: DeepSWE til kodningsagenter, Terminal-Bench 4.0 til terminal- og agentopgaver, Humanity's Last Exam til svær ræsonnering og Artificial Analysis Intelligence Index til samlet kvalitet, open-weight-modeller og modeller i FlowHunt. Hvis færre end tre modeller har en DeepSWE-score, falder kodningskortet tilbage til SWE-bench Pro og nævner det.

Hvad betyder Verificeret og Selvrapporteret?

Verificerede scores er målt af en uafhængig evaluator, såsom Artificial Analysis, ARC Prize Foundation eller DeepSWE leaderboard, med én fast opsætning for alle modeller. Selvrapporterede scores kommer fra modellens udvikler i dens modelkort eller lanceringsindlæg. Kun verificerede scores tæller med i rangeringen. Selvrapporterede scores vises og mærkes, men rangeres aldrig. Når begge findes, viser modelsiden begge.

Hvorfor kan den samme model have to forskellige scores på ét benchmark?

Laboratorier tester ofte deres egne modeller med en skræddersyet opsætning: en anden agent-harness, mere tænketid eller et større tokenbudget. Uafhængige evaluatorer bruger én fast opsætning for alle modeller, så deres tal er lettere at sammenligne og ofte lavere. Vi rangerer efter det uafhængige tal og beholder laboratoriets tal på modelsiden.

Hvad er Artificial Analysis Intelligence Index?

Det er en uafhængig sammensat score fra Artificial Analysis, der kombinerer agent-, kodnings-, viden- og videnskabstests i ét tal. Vi bruger version 4 af indekset. Dets scores kan ikke sammenlignes med tidligere versioner, så ældre tal, du kan have set andre steder, vil se højere ud.

Hvad er DeepSWE?

DeepSWE er et sæt af 113 lange softwareopgaver, skrevet fra bunden, så de sandsynligvis ikke findes i træningsdata. En model skal bygge eller ændre rigtig kode, og skjulte tests afgør, om det lykkedes. Det adskiller nutidens kodningsagenter tydeligere end SWE-bench Verified, som de fleste frontier-modeller næsten har maksimeret.

Hvorfor bevares SWE-bench Verified kun for historiens skyld?

Frontier-modeller løser nu næsten alle dets 500 GitHub-problemer, så forskellene mellem dem ligger inden for støjen. Vi viser det stadig i den fulde tabel, så du kan sammenligne med ældre rapporter, men det afgør ikke længere nogen rangering.

Hvad er forskellen mellem open-weight og lukkede modeller?

Open-weight-modeller offentliggør deres trænede vægte, så du kan køre dem på din egen hardware, holde data internt og finjustere dem. Lukkede modeller er kun tilgængelige via udviklerens API eller apps. Brug filteret Open weight for kun at se open-weight-modeller.

Hvor ofte opdateres dette leaderboard?

Vi opdaterer det, når større modeller udgives, eller når uafhængige evaluatorer offentliggør nye resultater. Datoen øverst på siden viser den seneste opdatering, og hver modelside angiver udgivelsesdatoen og kilden til hver score, hvor en er offentliggjort.