Najčastejšie kladené otázky

Čo je SWE-bench Verified a prečo je dôležitý?

SWE-bench Verified je benchmark 500 ľuďmi overených reálnych GitHub issues. Modely dostanú repozitár a zlyhávajúci test — musia vytvoriť opravu kódu, ktorá test prejde. Je to benchmark najbližší reálnej softvérovej práci. V polovici roku 2026 vedie Claude Fable 5 s 95%, nasledovaný GPT-5.5 (88,7%) a Claude Opus 4.8 (88,6%).

Čo znamenajú označenia SR a 3P na rebríčku?

SR znamená, že skóre bolo samostatne nahlásené poskytovateľom modelu v ich oficiálnej modelovej karte, technickej správe alebo launch blogu. 3P znamená, že skóre bolo nezávisle namerané treťou stranou, ako je Artificial Analysis, ARC Prize Foundation alebo NIST/CAISI. Skóre tretích strán sú spoľahlivejšie pre priame porovnania, pretože používajú štandardizované hodnotiace podmienky.

Prečo DeepSeek V4-Pro zobrazuje dve rôzne skóre SWE-bench?

DeepSeek V4-Pro samostatne nahlásil 80,6% na SWE-bench Verified, ale NIST/CAISI nezávisle nameral 74,0% — rozdiel 6,6 bodu. Rozdiel sa pripisuje nastaveniu scaffoldingu, konštrukcii systémového promptu a nastaveniam token-budgetu. Na rebríčku zobrazujeme obe čísla, aby ste mohli rozdiel vyhodnotiť sami.

Čo je GPQA Diamond?

GPQA Diamond je benchmark otázok na postgraduálnej úrovni z biológie, chémie a fyziky, napísaných odborníkmi tak, aby na ne Google vyhľadávanie nevedelo odpovedať. K júnu 2026 majú Claude Opus 4.8 a GPT-5.5 zhodne 93,6%, nasledovaní Qwen 3.7-Max (92,4%) a Claude Opus 4.6 (91,3%). Ľudskí odborníci s PhD dosahujú ~65% na rovnakých otázkach.

Ktorý AI model je najlepší na programovacie úlohy v FlowHunt?

Pre reálne GitHub-style programovanie (SWE-bench Verified) vedie Claude Fable 5 s 95% a GPT-5.5 s 88,7%. Pre súťažné programovanie (LiveCodeBench) vedie DeepSeek V4-Pro s 93,5%. Pre agentické viacjazyčné programovanie (SWE-bench Pro) vedie Qwen 3.7-Max s 60,6%. Všetky modely označené 'in FlowHunt' sú priamo dostupné v platforme.

Čo je ARC-AGI-2 a kto v ňom vedie?

ARC-AGI-2 je benchmark nových úloh rozpoznávania vizuálnych vzorov, ktoré nemožno vyriešiť zapamätaním tréningových dát, nezávisle overený ARC Prize Foundation. K júnu 2026 vedie Claude Opus 4.6 s 69,17% (overené 3P), nasledovaný Claude Sonnet 4.6 (58,3%). Ľudská základná línia je ~60%.

Čo je Artificial Analysis (AA) Intelligence Index?

Artificial Analysis Intelligence Index je nezávislé kompozitné skóre, ktoré nie je samostatne nahlásené žiadnym poskytovateľom. Súčasní lídri: Claude Opus 4.8 (61,4 b), GPT-5.5 (60,2 b), Claude Opus 4.7 (57,3 b), Qwen 3.7-Max (56,6 b), DeepSeek V4-Pro (52 b). Tieto sú priamo porovnateľné, pretože sú merané za rovnakých podmienok.

Aký je rozdiel medzi open-weight a uzavretými AI modelmi?

Open-weight modely zverejňujú svoje natrénované váhy pre vlastný hosting. Uzavreté modely sú len cez API. Open-weight frontier modely na tomto rebríčku zahŕňajú DeepSeek V4-Pro (49B/1,6T MoE), MiniMax M3, Nemotron 3 Ultra (55B/550B MoE), Mistral Large 3 (41B/675B MoE) a všetky varianty Meta Llama 4. Open-weight modely ponúkajú súkromie dát, prispôsobenie a žiadne náklady na token.

Ako často je tento rebríček aktualizovaný?

Rebríček je aktualizovaný, keď sú publikované alebo nezávisle overené významné nové výsledky benchmarkov. Skóre sú aktuálne k 12. júnu 2026. Každé skóre je označené SR (samostatne nahlásené) alebo 3P (tretia strana), takže vždy viete zdroj. Každý model má tiež svoju vlastnú stránku s podrobnejším rozpisom benchmarkov.