Často kladené otázky

Co je SWE-bench Verified a proč je důležitý?

SWE-bench Verified je benchmark tvořený 500 lidsky ověřenými reálnými GitHub problémy. Modely obdrží repozitář a neprocházející test — musí vytvořit opravu kódu, která testem projde. Je to nejbližší benchmark reálné softwarové práci. K polovině roku 2026 vede Claude Fable 5 s 95 %, následován GPT-5.5 (88,7 %) a Claude Opus 4.8 (88,6 %).

Co znamenají označení SR a 3P na leaderboardu?

SR znamená, že skóre bylo samo nahlášeno poskytovatelem modelu v oficiální modelové kartě, technické zprávě nebo oznamovacím blogu. 3P znamená, že skóre bylo nezávisle naměřeno třetí stranou, jako je Artificial Analysis, ARC Prize Foundation nebo NIST/CAISI. Skóre třetích stran jsou spolehlivější pro přímá srovnání, protože používají standardizované podmínky hodnocení.

Proč má DeepSeek V4-Pro dvě různá skóre SWE-bench?

DeepSeek V4-Pro samo nahlásil 80,6 % na SWE-bench Verified, ale NIST/CAISI nezávisle naměřil 74,0 % — rozdíl 6,6 bodu. Rozdíl je přisuzován nastavení scaffoldingu, konstrukci systémových promptů a nastavení tokenového rozpočtu. Na leaderboardu uvádíme obě čísla, abyste mohli nesrovnalost posoudit sami.

Co je GPQA Diamond?

GPQA Diamond je benchmark tvořený otázkami na postgraduální úrovni z biologie, chemie a fyziky, sestavenými odborníky tak, aby na ně Google vyhledávání nedokázalo odpovědět. K červnu 2026 jsou Claude Opus 4.8 a GPT-5.5 nerozhodně na 93,6 %, následováni Qwen 3.7-Max (92,4 %) a Claude Opus 4.6 (91,3 %). Lidští experti s Ph.D. dosahují na stejných otázkách ~65 %.

Který AI model je nejlepší pro úlohy kódování ve FlowHunt?

Pro reálné kódování ve stylu GitHub (SWE-bench Verified) vede Claude Fable 5 s 95 % a GPT-5.5 s 88,7 %. Pro soutěžní programování (LiveCodeBench) vede DeepSeek V4-Pro s 93,5 %. Pro agentní vícejazyčné kódování (SWE-bench Pro) vede Qwen 3.7-Max s 60,6 %. Všechny modely označené 've FlowHunt' jsou přímo dostupné v platformě.

Co je ARC-AGI-2 a kdo v něm vede?

ARC-AGI-2 je benchmark nových úloh rozpoznávání vizuálních vzorů, které nelze vyřešit zapamatováním trénovacích dat, nezávisle ověřený nadací ARC Prize Foundation. K červnu 2026 vede Claude Opus 4.6 s 69,17 % (3P ověřeno), následován Claude Sonnet 4.6 (58,3 %). Lidská základní úroveň je ~60 %.

Co je Artificial Analysis (AA) Intelligence Index?

Artificial Analysis Intelligence Index je nezávislé složené skóre, které není samo nahlášeno žádným poskytovatelem. Současní lídři: Claude Opus 4.8 (61,4 b.), GPT-5.5 (60,2 b.), Claude Opus 4.7 (57,3 b.), Qwen 3.7-Max (56,6 b.), DeepSeek V4-Pro (52 b.). Tato skóre jsou přímo srovnatelná, protože jsou měřena za identických podmínek.

Jaký je rozdíl mezi open-weight a uzavřenými AI modely?

Open-weight modely zveřejňují své natrénované váhy pro vlastní hosting. Uzavřené modely jsou pouze přes API. Open-weight frontier modely na tomto leaderboardu zahrnují DeepSeek V4-Pro (49B/1,6T MoE), MiniMax M3, Nemotron 3 Ultra (55B/550B MoE), Mistral Large 3 (41B/675B MoE) a všechny varianty Meta Llama 4. Open-weight modely nabízejí soukromí dat, přizpůsobení a žádné náklady za token.

Jak často je tento leaderboard aktualizován?

Leaderboard je aktualizován, když jsou zveřejněny nebo nezávisle ověřeny významné nové výsledky benchmarků. Skóre jsou aktuální k 12. červnu 2026. Každé skóre je označeno SR (self-reported) nebo 3P (third-party), takže vždy znáte zdroj. Každý model má také vlastní stránku s podrobnějším rozpisem benchmarků.