Ofte stillede spørgsmål

Hvad er SWE-bench Verified, og hvorfor er det vigtigt?

SWE-bench Verified er et benchmark med 500 menneskeligt verificerede reelle GitHub-problemer. Modeller modtager et repository og en fejlende test — de skal producere en kodeopdatering, der får testen til at bestå. Det er det benchmark, der ligger tættest på rigtigt softwareingeniørarbejde. Fra midten af 2026 fører Claude Fable 5 med 95%, efterfulgt af GPT-5.5 (88,7%) og Claude Opus 4.8 (88,6%).

Hvad betyder SR- og 3P-mærkerne på leaderboardet?

SR betyder, at resultatet er selvrapporteret af modeludbyderen i deres officielle modelkort, tekniske rapport eller lanceringblog. 3P betyder, at resultatet er uafhængigt målt af en tredjepart såsom Artificial Analysis, ARC Prize Foundation eller NIST/CAISI. Tredjepartsresultater er mere pålidelige til direkte sammenligninger, fordi de bruger standardiserede evalueringsbetingelser.

Hvorfor viser DeepSeek V4-Pro to forskellige SWE-bench-resultater?

DeepSeek V4-Pro selvrapporterede 80,6% på SWE-bench Verified, men NIST/CAISI målte uafhængigt 74,0% — en forskel på 6,6 point. Forskellen tilskrives scaffoldingsopsætning, systempromptkonstruktion og tokenbudgetindstillinger. Vi viser begge tal på leaderboardet, så du selv kan vurdere uoverensstemmelsen.

Hvad er GPQA Diamond?

GPQA Diamond er et benchmark med spørgsmål på kandidatniveau inden for biologi, kemi og fysik, skrevet af domæneeksperter, så Google-søgning ikke kan besvare dem. Fra juni 2026 ligger Claude Opus 4.8 og GPT-5.5 lige med 93,6%, efterfulgt af Qwen 3.7-Max (92,4%) og Claude Opus 4.6 (91,3%). Mennesker med PhD-ekspertise scorer ~65% på de samme spørgsmål.

Hvilken AI-model er bedst til kodningsopgaver i FlowHunt?

Til virkelige GitHub-inspirerede kodningsopgaver (SWE-bench Verified) fører Claude Fable 5 med 95% og GPT-5.5 med 88,7%. Til konkurrenceprogrammering (LiveCodeBench) fører DeepSeek V4-Pro med 93,5%. Til agentisk flersproget kodning (SWE-bench Pro) fører Qwen 3.7-Max med 60,6%. Alle modeller markeret med 'in FlowHunt' er direkte tilgængelige i platformen.

Hvad er ARC-AGI-2, og hvem fører det?

ARC-AGI-2 er et benchmark for nye visuelle mønstergenkendelsesopgaver, der ikke kan løses ved at huske træningsdata, uafhængigt verificeret af ARC Prize Foundation. Fra juni 2026 fører Claude Opus 4.6 med 69,17% (3P-verificeret), efterfulgt af Claude Sonnet 4.6 (58,3%). Menneskelig baseline er ~60%.

Hvad er Artificial Analysis (AA) Intelligence Index?

Artificial Analysis Intelligence Index er en uafhængig sammensat score, der ikke er selvrapporteret af nogen udbyder. Nuværende ledere: Claude Opus 4.8 (61,4 pkt.), GPT-5.5 (60,2 pkt.), Claude Opus 4.7 (57,3 pkt.), Qwen 3.7-Max (56,6 pkt.), DeepSeek V4-Pro (52 pkt.). Disse er direkte sammenlignelige, da de er målt under identiske forhold.

Hvad er forskellen mellem open-weight og lukkede AI-modeller?

Open-weight-modeller offentliggør deres trænede vægte til egen hosting. Lukkede modeller er kun tilgængelige via API. Open-weight-frontlinjemodeller på dette leaderboard inkluderer DeepSeek V4-Pro (49B/1,6T MoE), MiniMax M3, Nemotron 3 Ultra (55B/550B MoE), Mistral Large 3 (41B/675B MoE) og alle Meta Llama 4-varianter. Open-weight-modeller tilbyder databeskyttelse, tilpasning og ingen betaling per token.

Hvor ofte opdateres dette leaderboard?

Leaderboardet opdateres, når væsentlige nye benchmarkresultater offentliggøres eller uafhængigt verificeres. Resultaterne er aktuelle pr. 12. juni 2026. Hver score er mærket SR (selvrapporteret) eller 3P (tredjepart), så du altid kender kilden. Hver model har også sin egen side med en mere detaljeret benchmark-gennemgang.