Usein kysytyt kysymykset

Mikä on SWE-bench Verified ja miksi se on tärkeä?

SWE-bench Verified on 500 ihmisen vahvistaman oikean GitHub-ongelman vertailuarvo. Mallit saavat repositorion ja epäonnistuvan testin — niiden on tuotettava koodikorjaus, joka saa testin läpi. Se on lähinnä oikeaa ohjelmistokehitystyötä oleva vertailuarvo. Kesän 2026 puolivälissä Claude Fable 5 johtaa 95 %:lla, seuraavina GPT-5.5 (88,7 %) ja Claude Opus 4.8 (88,6 %).

Mitä SR- ja 3P-merkinnät tarkoittavat tulostaulukossa?

SR tarkoittaa, että tuloksen on ilmoittanut mallin tarjoaja itse virallisessa mallikortissaan, teknisessä raportissaan tai julkaisublogissaan. 3P tarkoittaa, että tulos on mitattu itsenäisesti kolmannen osapuolen, kuten Artificial Analysisin, ARC Prize Foundationin tai NIST/CAISIn toimesta. Kolmannen osapuolen tulokset ovat luotettavampia suorissa vertailuissa, koska ne käyttävät standardoituja arviointiolosuhteita.

Miksi DeepSeek V4-Pro näyttää kahta eri SWE-bench-tulosta?

DeepSeek V4-Pro ilmoitti itse 80,6 % SWE-bench Verifiedissä, mutta NIST/CAISI mittasi itsenäisesti 74,0 % — 6,6 prosenttiyksikön ero. Ero johtuu scaffold-asennuksesta, järjestelmäkehotteiden rakenteesta ja token-budjettiasetuksista. Näytämme molemmat luvut tulostaulukossa, jotta voit arvioida eron itse.

Mikä on GPQA Diamond?

GPQA Diamond on vertailuarvo, joka koostuu jatko-opiskelutason kysymyksistä biologiassa, kemiassa ja fysiikassa, ja jotka alan asiantuntijat ovat kirjoittaneet siten, ettei Google-haku pysty vastaamaan niihin. Kesäkuussa 2026 Claude Opus 4.8 ja GPT-5.5 ovat tasoissa 93,6 %:lla, seuraavina Qwen 3.7-Max (92,4 %) ja Claude Opus 4.6 (91,3 %). Ihmistason tohtoritason asiantuntijat saavat ~65 % samoista kysymyksistä.

Mikä AI-malli on paras koodaustehtäviin FlowHuntissa?

Oikean maailman GitHub-tyyliseen koodaukseen (SWE-bench Verified) Claude Fable 5 johtaa 95 %:lla ja GPT-5.5 88,7 %:lla. Kilpailulliseen ohjelmointiin (LiveCodeBench) DeepSeek V4-Pro johtaa 93,5 %:lla. Agenttipohjaiseen monikieliseen koodaukseen (SWE-bench Pro) Qwen 3.7-Max johtaa 60,6 %:lla. Kaikki mallit, joissa lukee 'in FlowHunt', ovat suoraan käytettävissä alustalla.

Mikä on ARC-AGI-2 ja kuka johtaa sitä?

ARC-AGI-2 on vertailuarvo uudenlaisille visuaalisille hahmontunnistustehtäville, joita ei voi ratkaista opettelemalla harjoitusdataa ulkoa, ja jotka ARC Prize Foundation on itsenäisesti vahvistanut. Kesäkuussa 2026 Claude Opus 4.6 johtaa 69,17 %:lla (3P vahvistettu), seuraavana Claude Sonnet 4.6 (58,3 %). Ihmistason perustaso on ~60 %.

Mikä on Artificial Analysis (AA) Intelligence Index?

Artificial Analysis Intelligence Index on itsenäinen yhdistelmäpistemäärä, jota mikään tarjoaja ei ole itse ilmoittanut. Nykyiset johtajat: Claude Opus 4.8 (61,4 p), GPT-5.5 (60,2 p), Claude Opus 4.7 (57,3 p), Qwen 3.7-Max (56,6 p), DeepSeek V4-Pro (52 p). Nämä ovat suoraan vertailukelpoisia, koska ne on mitattu identtisissä olosuhteissa.

Mitä eroa on avointen painojen ja suljettujen AI-mallien välillä?

Avoimien painojen mallit julkaisevat koulutetut painonsa itse isännöintiä varten. Suljetut mallit ovat vain API-pohjaisia. Avoimien painojen huippumalleja tällä tulostaulukolla ovat DeepSeek V4-Pro (49B/1,6T MoE), MiniMax M3, Nemotron 3 Ultra (55B/550B MoE), Mistral Large 3 (41B/675B MoE) ja kaikki Meta Llama 4 -variantit. Avoimien painojen mallit tarjoavat tietosuojaa, mukauttamista ja eivät aiheuta token-kohtaisia kustannuksia.

Kuinka usein tämä tulostaulukko päivitetään?

Tulostaulukko päivitetään, kun merkittäviä uusia vertailuarvoja julkaistaan tai ne vahvistetaan itsenäisesti. Pisteet ovat ajan tasalla 12. kesäkuuta 2026. Jokainen pistemäärä on merkitty joko SR (itse ilmoitettu) tai 3P (kolmannen osapuolen) -tunnisteella, joten tiedät aina lähteen. Jokaisella mallilla on myös oma sivunsa, jossa on tarkempi vertailuarvojen erittely.