Veelgestelde vragen

Wat is SWE-bench Verified en waarom is het belangrijk?

SWE-bench Verified is een benchmark van 500 door mensen geverifieerde echte GitHub-issues. Modellen ontvangen een repository en een failing test — ze moeten een codepatch produceren die de test laat slagen. Het is de benchmark die het dichtst bij echte software-engineering staat. Medio 2026 leidt Claude Fable 5 met 95%, gevolgd door GPT-5.5 (88,7%) en Claude Opus 4.8 (88,6%).

Wat betekenen de SR- en 3P-labels op het leaderboard?

SR betekent dat de score zelf is gerapporteerd door de aanbieder van het model in hun officiële modelkaart, technisch rapport of lanceringblog. 3P betekent dat de score onafhankelijk is gemeten door een derde partij zoals Artificial Analysis, de ARC Prize Foundation of NIST/CAISI. Scores van derden zijn betrouwbaarder voor onderlinge vergelijkingen omdat ze gestandaardiseerde evaluatieomstandigheden gebruiken.

Waarom toont DeepSeek V4-Pro twee verschillende SWE-bench-scores?

DeepSeek V4-Pro rapporteerde zelf 80,6% op SWE-bench Verified, maar NIST/CAISI mat onafhankelijk 74,0% — een verschil van 6,6 procentpunt. Het verschil wordt toegeschreven aan scaffolding-instellingen, systeempromptconstructie en tokenbudgetinstellingen. We tonen beide getallen op het leaderboard, zodat u de discrepantie zelf kunt beoordelen.

Wat is GPQA Diamond?

GPQA Diamond is een benchmark van vragen op masterniveau in biologie, scheikunde en natuurkunde, geschreven door domeinexperts zodat Google Zoeken ze niet kan beantwoorden. Vanaf juni 2026 staan Claude Opus 4.8 en GPT-5.5 gelijk met 93,6%, gevolgd door Qwen 3.7-Max (92,4%) en Claude Opus 4.6 (91,3%). Menselijke PhD-experts scoren ~65% op dezelfde vragen.

Welk AI-model is het beste voor programmeertaken in FlowHunt?

Voor echte GitHub-achtige programmeertaken (SWE-bench Verified) leidt Claude Fable 5 met 95% en GPT-5.5 met 88,7%. Voor competitief programmeren (LiveCodeBench) leidt DeepSeek V4-Pro met 93,5%. Voor agentische meertalige programmering (SWE-bench Pro) leidt Qwen 3.7-Max met 60,6%. Alle modellen gemarkeerd als 'in FlowHunt' zijn direct beschikbaar in het platform.

Wat is ARC-AGI-2 en wie staat er aan de leiding?

ARC-AGI-2 is een benchmark van nieuwe visuele patroonherkenningstaken die niet kunnen worden opgelost door trainingsgegevens te onthouden, onafhankelijk geverifieerd door de ARC Prize Foundation. Vanaf juni 2026 staat Claude Opus 4.6 aan de leiding met 69,17% (3P geverifieerd), gevolgd door Claude Sonnet 4.6 (58,3%). Menselijke baseline is ~60%.

Wat is de Artificial Analysis (AA) Intelligence Index?

De Artificial Analysis Intelligence Index is een onafhankelijke samengestelde score die niet door enige aanbieder zelf wordt gerapporteerd. Huidige leiders: Claude Opus 4.8 (61,4 pt), GPT-5.5 (60,2 pt), Claude Opus 4.7 (57,3 pt), Qwen 3.7-Max (56,6 pt), DeepSeek V4-Pro (52 pt). Deze zijn direct vergelijkbaar omdat ze onder identieke omstandigheden zijn gemeten.

Wat is het verschil tussen open-weight en gesloten AI-modellen?

Open-weight-modellen publiceren hun getrainde gewichten voor self-hosting. Gesloten modellen zijn alleen beschikbaar via API. Open-weight-frontiermodellen op dit leaderboard zijn DeepSeek V4-Pro (49B/1,6T MoE), MiniMax M3, Nemotron 3 Ultra (55B/550B MoE), Mistral Large 3 (41B/675B MoE) en alle Meta Llama 4-varianten. Open-weight-modellen bieden gegevensprivacy, maatwerk en geen kosten per token.

Hoe vaak wordt dit leaderboard bijgewerkt?

Het leaderboard wordt bijgewerkt wanneer significante nieuwe benchmarkresultaten worden gepubliceerd of onafhankelijk worden geverifieerd. Scores zijn actueel per 12 juni 2026. Elke score is getagd met SR (zelfgerapporteerd) of 3P (derde partij), zodat u altijd de bron weet. Elk model heeft ook een eigen pagina met een diepere uitsplitsing van benchmarks.