Vanliga frågor

Vad är SWE-bench Verified och varför är det viktigt?

SWE-bench Verified är ett riktmärke med 500 mänskligt verifierade verkliga GitHub-ärenden. Modeller får ett repository och ett misslyckat test — de måste skapa en kodpatch som får testet att fungera. Det är det riktmärke som ligger närmast verkligt mjukvaruutvecklingsarbete. I mitten av 2026 leder Claude Fable 5 med 95%, följt av GPT-5.5 (88,7%) och Claude Opus 4.8 (88,6%).

Vad betyder etiketterna SR och 3P på topplistan?

SR innebär att resultatet är självrapporterat av modellens leverantör i deras officiella modellkort, tekniska rapport eller lanseringsblogg. 3P innebär att resultatet har uppmätts oberoende av en tredje part såsom Artificial Analysis, ARC Prize Foundation eller NIST/CAISI. Tredjepartsresultat är mer tillförlitliga för direkta jämförelser eftersom de använder standardiserade utvärderingsvillkor.

Varför visar DeepSeek V4-Pro två olika SWE-bench-resultat?

DeepSeek V4-Pro självrapporterade 80,6% på SWE-bench Verified, men NIST/CAISI oberoende uppmätte 74,0% — en skillnad på 6,6 procentenheter. Skillnaden tillskrivs inställningar för scaffolding, system-prompt-konstruktion och token-budget-inställningar. Vi visar båda siffrorna på topplistan så att du själv kan bedöma avvikelsen.

Vad är GPQA Diamond?

GPQA Diamond är ett riktmärke med forskarnivåfrågor inom biologi, kemi och fysik, skrivna av ämnesexperter så att Google-sökning inte kan svara på dem. I juni 2026 ligger Claude Opus 4.8 och GPT-5.5 lika på 93,6%, följt av Qwen 3.7-Max (92,4%) och Claude Opus 4.6 (91,3%). Mänskliga PhD-experter får ~65% på samma frågor.

Vilken AI-modell är bäst för kodningsuppgifter i FlowHunt?

För verklig GitHub-liknande kodning (SWE-bench Verified) leder Claude Fable 5 med 95% och GPT-5.5 med 88,7%. För tävlingsprogrammering (LiveCodeBench) leder DeepSeek V4-Pro med 93,5%. För agentbaserad flerspråkskodning (SWE-bench Pro) leder Qwen 3.7-Max med 60,6%. Alla modeller märkta 'in FlowHunt' är direkt tillgängliga i plattformen.

Vad är ARC-AGI-2 och vem leder?

ARC-AGI-2 är ett riktmärke för nya visuella mönsterigenkänningsuppgifter som inte kan lösas genom att memorera träningsdata, oberoende verifierat av ARC Prize Foundation. I juni 2026 leder Claude Opus 4.6 med 69,17% (3P-verifierat), följt av Claude Sonnet 4.6 (58,3%). Mänsklig baslinje är ~60%.

Vad är Artificial Analysis (AA) Intelligence Index?

Artificial Analysis Intelligence Index är ett oberoende sammansatt index som inte självrapporteras av någon leverantör. Nuvarande ledare: Claude Opus 4.8 (61,4 p), GPT-5.5 (60,2 p), Claude Opus 4.7 (57,3 p), Qwen 3.7-Max (56,6 p), DeepSeek V4-Pro (52 p). Dessa är direkt jämförbara eftersom de mäts under identiska förhållanden.

Vad är skillnaden mellan AI-modeller med öppen och sluten vikt?

Modeller med öppen vikt publicerar sina tränade vikter för egen drift. Slutna modeller är endast tillgängliga via API. Frontlinjemodeller med öppen vikt på denna topplista inkluderar DeepSeek V4-Pro (49B/1,6T MoE), MiniMax M3, Nemotron 3 Ultra (55B/550B MoE), Mistral Large 3 (41B/675B MoE) och alla Meta Llama 4-varianter. Modeller med öppen vikt erbjuder datasekretess, anpassning och inga kostnader per token.

Hur ofta uppdateras denna topplista?

Topplistan uppdateras när betydande nya riktmärkesresultat publiceras eller oberoende verifieras. Resultaten är aktuella per den 12 juni 2026. Varje resultat är märkt SR (självrapporterat) eller 3P (tredje part) så att du alltid vet källan. Varje modell har också en egen sida med en djupare uppdelning av riktmärken.