Întrebări frecvente

Ce este SWE-bench Verified și de ce contează?

SWE-bench Verified este un benchmark format din 500 de probleme reale verificate uman de pe GitHub. Modelele primesc un depozit de cod și un test eșuat — trebuie să producă un patch de cod care face testul să treacă. Este cel mai apropiat benchmark de munca reală de inginerie software. La mijlocul anului 2026, Claude Fable 5 conduce cu 95%, urmat de GPT-5.5 (88.7%) și Claude Opus 4.8 (88.6%).

Ce înseamnă etichetele SR și 3P pe leaderboard?

SR înseamnă că scorul a fost auto-raportat de furnizorul modelului în fișa tehnică oficială, raportul tehnic sau blogul de lansare. 3P înseamnă că scorul a fost măsurat independent de o terță parte precum Artificial Analysis, ARC Prize Foundation sau NIST/CAISI. Scorurile terțelor părți sunt mai fiabile pentru comparații directe deoarece folosesc condiții de evaluare standardizate.

De ce DeepSeek V4-Pro arată două scoruri diferite la SWE-bench?

DeepSeek V4-Pro a auto-raportat 80.6% pe SWE-bench Verified, dar NIST/CAISI a măsurat independent 74.0% — o diferență de 6.6 puncte. Diferența este atribuită configurației de andocare, construcției promptului de sistem și setărilor bugetului de tokenuri. Afișăm ambele numere pe leaderboard pentru a putea evalua singur discrepanța.

Ce este GPQA Diamond?

GPQA Diamond este un benchmark de întrebări de nivel postuniversitar în biologie, chimie și fizică, scrise de experți în domeniu astfel încât Google să nu le poată răspunde. În iunie 2026, Claude Opus 4.8 și GPT-5.5 sunt la egalitate cu 93.6%, urmați de Qwen 3.7-Max (92.4%) și Claude Opus 4.6 (91.3%). Experții umani cu doctorat obțin ~65% la aceleași întrebări.

Ce model AI este cel mai bun pentru sarcini de codare în FlowHunt?

Pentru codare de tip GitHub reală (SWE-bench Verified), Claude Fable 5 conduce cu 95% iar GPT-5.5 cu 88.7%. Pentru programare competitivă (LiveCodeBench), DeepSeek V4-Pro conduce cu 93.5%. Pentru codare multi-limbaj agentică (SWE-bench Pro), Qwen 3.7-Max conduce cu 60.6%. Toate modelele marcate „in FlowHunt” sunt disponibile direct în platformă.

Ce este ARC-AGI-2 și cine conduce?

ARC-AGI-2 este un benchmark de sarcini noi de recunoaștere a modelelor vizuale care nu pot fi rezolvate prin memorarea datelor de antrenament, verificat independent de ARC Prize Foundation. În iunie 2026, Claude Opus 4.6 conduce cu 69.17% (verificat 3P), urmat de Claude Sonnet 4.6 (58.3%). Linia de bază umană este ~60%.

Ce este Indicele de Inteligență Artificial Analysis (AA)?

Indicele de Inteligență Artificial Analysis este un scor compozit independent, neauto-raportat de niciun furnizor. Liderii actuali: Claude Opus 4.8 (61.4 pts), GPT-5.5 (60.2 pts), Claude Opus 4.7 (57.3 pts), Qwen 3.7-Max (56.6 pts), DeepSeek V4-Pro (52 pts). Acestea sunt direct comparabile deoarece sunt măsurate în condiții identice.

Care este diferența dintre modelele AI cu greutăți deschise și cele închise?

Modelele cu greutăți deschise publică greutățile antrenate pentru auto-găzduire. Modelele închise sunt doar prin API. Modelele de frontieră cu greutăți deschise pe acest leaderboard includ DeepSeek V4-Pro (49B/1.6T MoE), MiniMax M3, Nemotron 3 Ultra (55B/550B MoE), Mistral Large 3 (41B/675B MoE) și toate variantele Meta Llama 4. Modelele cu greutăți deschise oferă confidențialitate a datelor, personalizare și fără costuri per token.

Cât de des este actualizat acest leaderboard?

Leaderboard-ul este actualizat când sunt publicate sau verificate independent rezultate semnificative de benchmark. Scorurile sunt valabile începând cu 12 iunie 2026. Fiecare scor este etichetat SR (auto-raportat) sau 3P (terță parte) pentru a ști întotdeauna sursa. Fiecare model are și propria pagină cu o defalcare mai detaliată a benchmark-urilor.