Najczęściej zadawane pytania

Czym jest SWE-bench Verified i dlaczego jest ważny?

SWE-bench Verified to benchmark składający się z 500 zweryfikowanych przez ludzi rzeczywistych zgłoszeń z GitHub. Modele otrzymują repozytorium oraz test, który nie przechodzi — muszą wygenerować łatkę kodu, która sprawi, że test zacznie działać. Jest to benchmark najbliższy rzeczywistej inżynierii oprogramowania. Na połowę 2026 roku Claude Fable 5 prowadzi z wynikiem 95%, a za nim plasują się GPT-5.5 (88,7%) i Claude Opus 4.8 (88,6%).

Co oznaczają etykiety SR i 3P w rankingu?

SR oznacza, że wynik został samodzielnie zgłoszony przez dostawcę modelu w oficjalnej karcie modelu, raporcie technicznym lub na blogu premierowym. 3P oznacza, że wynik został niezależnie zmierzony przez stronę trzecią, taką jak Artificial Analysis, ARC Prize Foundation lub NIST/CAISI. Wyniki od stron trzecich są bardziej wiarygodne przy porównaniach bezpośrednich, ponieważ stosują ustandaryzowane warunki oceny.

Dlaczego DeepSeek V4-Pro ma dwa różne wyniki SWE-bench?

DeepSeek V4-Pro zgłosił samodzielnie 80,6% w SWE-bench Verified, ale NIST/CAISI niezależnie zmierzyło 74,0% — różnica 6,6 punktu. Różnica wynika z konfiguracji scaffoldingu, konstrukcji promptu systemowego i ustawień budżetu tokenów. Pokazujemy obie liczby w rankingu, abyś mógł samodzielnie ocenić rozbieżność.

Czym jest GPQA Diamond?

GPQA Diamond to benchmark pytań na poziomie studiów magisterskich z biologii, chemii i fizyki, napisany przez ekspertów dziedzinowych tak, aby wyszukiwarka Google nie mogła na nie odpowiedzieć. Na czerwiec 2026 roku Claude Opus 4.8 i GPT-5.5 są na równi z wynikiem 93,6%, a za nimi plasują się Qwen 3.7-Max (92,4%) i Claude Opus 4.6 (91,3%). Eksperci z tytułem doktora osiągają ~65% na tych samych pytaniach.

Który model AI jest najlepszy do zadań programistycznych w FlowHunt?

Do rzeczywistego programowania w stylu GitHub (SWE-bench Verified) prowadzi Claude Fable 5 z wynikiem 95%, a GPT-5.5 z 88,7%. Do programowania konkursowego (LiveCodeBench) prowadzi DeepSeek V4-Pro z wynikiem 93,5%. Do agentowego programowania wielojęzycznego (SWE-bench Pro) prowadzi Qwen 3.7-Max z wynikiem 60,6%. Wszystkie modele oznaczone jako 'w FlowHunt' są bezpośrednio dostępne na platformie.

Czym jest ARC-AGI-2 i kto w nim prowadzi?

ARC-AGI-2 to benchmark nowatorskich zadań rozpoznawania wzorców wizualnych, których nie można rozwiązać poprzez zapamiętywanie danych treningowych, niezależnie zweryfikowany przez ARC Prize Foundation. Na czerwiec 2026 roku Claude Opus 4.6 prowadzi z wynikiem 69,17% (zweryfikowane 3P), a za nim Claude Sonnet 4.6 (58,3%). Bazowy wynik człowieka wynosi ~60%.

Czym jest Indeks Inteligencji Artificial Analysis (AA)?

Indeks Inteligencji Artificial Analysis to niezależny wynik złożony, niezgłaszany samodzielnie przez żadnego dostawcę. Obecni liderzy: Claude Opus 4.8 (61,4 pkt), GPT-5.5 (60,2 pkt), Claude Opus 4.7 (57,3 pkt), Qwen 3.7-Max (56,6 pkt), DeepSeek V4-Pro (52 pkt). Są one bezpośrednio porównywalne, ponieważ mierzone są w identycznych warunkach.

Jaka jest różnica między modelami AI o otwartych wagach a zamkniętymi?

Modele o otwartych wagach publikują swoje wytrenowane wagi do samodzielnego hostowania. Modele zamknięte są dostępne wyłącznie przez API. Zaawansowane modele o otwartych wagach w tym rankingu to DeepSeek V4-Pro (49B/1,6T MoE), MiniMax M3, Nemotron 3 Ultra (55B/550B MoE), Mistral Large 3 (41B/675B MoE) oraz wszystkie warianty Meta Llama 4. Modele o otwartych wagach oferują prywatność danych, możliwość dostosowania i brak kosztów za token.

Jak często aktualizowany jest ten ranking?

Ranking jest aktualizowany, gdy publikowane lub niezależnie weryfikowane są istotne nowe wyniki benchmarków. Wyniki są aktualne na 12 czerwca 2026 roku. Każdy wynik jest oznaczony etykietą SR (samodzielnie zgłoszony) lub 3P (strona trzecia), abyś zawsze znał jego źródło. Każdy model ma również własną stronę z bardziej szczegółowym zestawieniem benchmarków.