Hitta rätt AI-modell för jobbet

Vanliga frågor

Hur väljer ni den bästa modellen för varje användningsområde?

Varje kort rankar modeller på det enda benchmark som bäst matchar uppgiften: DeepSWE för kodningsagenter, Terminal-Bench 4.0 för terminal- och agentuppgifter, Humanity's Last Exam för svårt resonerande och Artificial Analysis Intelligence Index för övergripande kvalitet, öppna viktmodeller och modeller i FlowHunt. Om färre än tre modeller har ett DeepSWE-resultat faller kodningskortet tillbaka på SWE-bench Pro och anger det.

Vad betyder Verifierad och Självrapporterad?

Verifierade resultat har uppmätts av en oberoende utvärderare, till exempel Artificial Analysis, ARC Prize Foundation eller DeepSWE-topplistan, med en fast uppsättning för alla modeller. Självrapporterade resultat kommer från modellens tillverkare, i dess modellkort eller lanseringsinlägg. Bara verifierade resultat räknas i rankningen. Självrapporterade resultat visas och märks, men rankas aldrig. När båda finns visar modellsidan båda.

Varför kan samma modell ha två olika resultat på ett och samma riktmärke?

Labb testar ofta sina egna modeller med en anpassad uppsättning: en annan agentram, mer tänketid eller en större tokenbudget. Oberoende utvärderare använder en fast uppsättning för alla modeller, så deras siffror är lättare att jämföra och oftast lägre. Vi rankar på den oberoende siffran och behåller labbets siffra på modellsidan.

Vad är Artificial Analysis Intelligence Index?

Det är ett oberoende sammansatt resultat från Artificial Analysis som slår ihop test av agenter, kodning, kunskap och vetenskap till ett enda tal. Vi använder version 4 av indexet. Dess resultat är inte jämförbara med tidigare versioner, så äldre siffror som du kan ha sett på andra ställen ser högre ut.

Vad är DeepSWE?

DeepSWE är en uppsättning av 113 långa programvaruuppgifter som skrivits från grunden, så de förekommer sannolikt inte i träningsdata. En modell måste bygga eller ändra riktig kod, och dolda tester avgör om det fungerade. Det skiljer dagens kodningsagenter åt tydligare än SWE-bench Verified, som de flesta frontier-modeller nästan har maxat.

Varför behålls SWE-bench Verified bara för historiken?

Frontier-modeller löser nu nästan alla av dess 500 GitHub-ärenden, så skillnaderna mellan dem ligger inom brusnivån. Vi visar det fortfarande i den fullständiga tabellen så att du kan jämföra med äldre rapporter, men det avgör inte längre någon rankning.

Vad är skillnaden mellan modeller med öppna vikter och slutna modeller?

Modeller med öppna vikter publicerar sina tränade vikter, så du kan köra dem på din egen hårdvara, behålla data internt och finjustera dem. Slutna modeller finns bara via tillverkarens API eller appar. Använd filtret Öppna vikter för att bara se modeller med öppna vikter.

Hur ofta uppdateras den här topplistan?

Vi uppdaterar den när större modeller släpps eller när oberoende utvärderare publicerar nya resultat. Datumet högst upp på sidan visar den senaste uppdateringen, och varje modellsida anger lanseringsdatum och källan för varje resultat där en finns publicerad.