Vanlige spørsmål

Hva er SWE-bench Verified og hvorfor er det viktig?

SWE-bench Verified er en benchmark med 500 menneskeverifiserte reelle GitHub-problemer. Modeller mottar et repository og en feilende test — de må produsere en kodeoppdatering som får testen til å bestå. Det er den benchmarken som ligger nærmest ekte programvareutviklingsarbeid. Per midten av 2026 leder Claude Fable 5 med 95%, etterfulgt av GPT-5.5 (88.7%) og Claude Opus 4.8 (88.6%).

Hva betyr etikettene SR og 3P på ledertavlen?

SR betyr at poengsummen er selvrapportert av modellens leverandør i deres offisielle modellkort, tekniske rapport eller lanseringsblogg. 3P betyr at poengsummen er uavhengig målt av en tredjepart som Artificial Analysis, ARC Prize Foundation, eller NIST/CAISI. Tredjepartspoeng er mer pålitelige for direkte sammenligninger fordi de bruker standardiserte evalueringsforhold.

Hvorfor viser DeepSeek V4-Pro to forskjellige SWE-bench-score?

DeepSeek V4-Pro rapporterte selv 80.6% på SWE-bench Verified, men NIST/CAISI målte uavhengig 74.0% — et gap på 6,6 poeng. Forskjellen tilskrives oppsett av stillas, konstruksjon av systemmeldinger og innstillinger for token-budsjett. Vi viser begge tallene på ledertavlen slik at du selv kan vurdere avviket.

Hva er GPQA Diamond?

GPQA Diamond er en benchmark med spørsmål på masternivå innen biologi, kjemi og fysikk, skrevet av fageksperter slik at Google-søk ikke kan besvare dem. Per juni 2026 er Claude Opus 4.8 og GPT-5.5 like med 93.6%, etterfulgt av Qwen 3.7-Max (92.4%) og Claude Opus 4.6 (91.3%). Mennesker med PhD-ekspertise oppnår ~65% på de samme spørsmålene.

Hvilken AI-modell er best for kodingsoppgaver i FlowHunt?

For ekte GitHub-stil koding (SWE-bench Verified) leder Claude Fable 5 med 95% og GPT-5.5 med 88.7%. For konkurranseprogrammering (LiveCodeBench) leder DeepSeek V4-Pro med 93.5%. For agentbasert flerspråklig koding (SWE-bench Pro) leder Qwen 3.7-Max med 60.6%. Alle modeller merket 'in FlowHunt' er direkte tilgjengelige i plattformen.

Hva er ARC-AGI-2 og hvem leder der?

ARC-AGI-2 er en benchmark med nye visuelle mønstergjenkjenningsoppgaver som ikke kan løses ved å memorere treningsdata, uavhengig verifisert av ARC Prize Foundation. Per juni 2026 leder Claude Opus 4.6 med 69.17% (3P-verifisert), etterfulgt av Claude Sonnet 4.6 (58.3%). Mennesker oppnår ~60%.

Hva er Artificial Analysis (AA) Intelligence Index?

Artificial Analysis Intelligence Index er en uavhengig sammensatt poengsum som ikke er selvrapportert av noen leverandør. Nåværende ledere: Claude Opus 4.8 (61.4 poeng), GPT-5.5 (60.2 poeng), Claude Opus 4.7 (57.3 poeng), Qwen 3.7-Max (56.6 poeng), DeepSeek V4-Pro (52 poeng). Disse er direkte sammenlignbare siden de er målt under identiske forhold.

Hva er forskjellen mellom open-weight og lukkede AI-modeller?

Open-weight-modeller publiserer sine trente vekter for egen hosting. Lukkede modeller er kun API. Open-weight-frontlinjemodeller på denne ledertavlen inkluderer DeepSeek V4-Pro (49B/1.6T MoE), MiniMax M3, Nemotron 3 Ultra (55B/550B MoE), Mistral Large 3 (41B/675B MoE), og alle Meta Llama 4-varianter. Open-weight-modeller tilbyr dataprivatliv, tilpasning og ingen per-token-kostnader.

Hvor ofte oppdateres denne ledertavlen?

Ledertavlen oppdateres når betydelige nye benchmarkresultater publiseres eller uavhengig verifiseres. Scorene er oppdaterte per 12. juni 2026. Hver poengsum er merket SR (selvrapportert) eller 3P (tredjepart) slik at du alltid vet kilden. Hver modell har også sin egen side med en dypere benchmark-oversikt.