Häufig gestellte Fragen

Was ist SWE-bench Verified und warum ist es wichtig?

SWE-bench Verified ist ein Benchmark mit 500 von Menschen verifizierten echten GitHub-Problemen. Modelle erhalten ein Repository und einen fehlschlagenden Test – sie müssen einen Code-Patch erstellen, der den Test bestehen lässt. Es ist der Benchmark, der der realen Softwareentwicklung am nächsten kommt. Stand Mitte 2026 führt Claude Fable 5 mit 95 %, gefolgt von GPT-5.5 (88,7 %) und Claude Opus 4.8 (88,6 %).

Was bedeuten die Bezeichnungen SR und 3P auf der Rangliste?

SR bedeutet, dass der Wert vom Anbieter des Modells selbst im offiziellen Model Card, technischen Bericht oder Launch-Blog angegeben wurde. 3P bedeutet, dass der Wert unabhängig von einem Drittanbieter wie Artificial Analysis, der ARC Prize Foundation oder NIST/CAISI gemessen wurde. Werte von Drittanbietern sind für direkte Vergleiche zuverlässiger, da sie unter standardisierten Testbedingungen ermittelt werden.

Warum zeigt DeepSeek V4-Pro zwei unterschiedliche SWE-bench-Werte?

DeepSeek V4-Pro hat selbst 80,6 % bei SWE-bench Verified gemeldet, aber NIST/CAISI hat unabhängig 74,0 % gemessen – eine Differenz von 6,6 Punkten. Der Unterschied wird auf das Scaffolding-Setup, die Konstruktion des System-Prompts und die Token-Budget-Einstellungen zurückgeführt. Wir zeigen beide Zahlen auf der Rangliste, damit Sie die Abweichung selbst bewerten können.

Was ist GPQA Diamond?

GPQA Diamond ist ein Benchmark mit Fragen auf Graduiertenniveau in Biologie, Chemie und Physik, die von Fachexperten erstellt wurden, sodass die Google-Suche sie nicht beantworten kann. Stand Juni 2026 liegen Claude Opus 4.8 und GPT-5.5 mit 93,6 % gleichauf, gefolgt von Qwen 3.7-Max (92,4 %) und Claude Opus 4.6 (91,3 %). Menschliche PhD-Experten erreichen bei denselben Fragen etwa 65 %.

Welches KI-Modell eignet sich am besten für Programmieraufgaben in FlowHunt?

Für reale GitHub-ähnliche Programmieraufgaben (SWE-bench Verified) führt Claude Fable 5 mit 95 % und GPT-5.5 mit 88,7 %. Für Wettbewerbsprogrammierung (LiveCodeBench) führt DeepSeek V4-Pro mit 93,5 %. Für agentische mehrsprachige Programmierung (SWE-bench Pro) führt Qwen 3.7-Max mit 60,6 %. Alle mit ‚in FlowHunt‘ gekennzeichneten Modelle sind direkt in der Plattform verfügbar.

Was ist ARC-AGI-2 und wer führt darin?

ARC-AGI-2 ist ein Benchmark für neuartige visuelle Mustererkennungsaufgaben, die nicht durch das Auswendiglernen von Trainingsdaten gelöst werden können, und wird unabhängig von der ARC Prize Foundation verifiziert. Stand Juni 2026 führt Claude Opus 4.6 mit 69,17 % (3P-verifiziert), gefolgt von Claude Sonnet 4.6 (58,3 %). Die menschliche Baseline liegt bei etwa 60 %.

Was ist der Artificial Analysis (AA) Intelligence Index?

Der Artificial Analysis Intelligence Index ist ein unabhängiger zusammengesetzter Wert, der nicht von einem Anbieter selbst gemeldet wird. Derzeitige Spitzenreiter: Claude Opus 4.8 (61,4 Pkt.), GPT-5.5 (60,2 Pkt.), Claude Opus 4.7 (57,3 Pkt.), Qwen 3.7-Max (56,6 Pkt.), DeepSeek V4-Pro (52 Pkt.). Diese Werte sind direkt vergleichbar, da sie unter identischen Bedingungen gemessen wurden.

Was ist der Unterschied zwischen Open-Weight- und Closed-KI-Modellen?

Open-Weight-Modelle veröffentlichen ihre trainierten Gewichte zum Selbsthosting. Closed-Modelle sind nur über die API verfügbar. Zu den Open-Weight-Frontier-Modellen auf dieser Rangliste gehören DeepSeek V4-Pro (49B/1,6T MoE), MiniMax M3, Nemotron 3 Ultra (55B/550B MoE), Mistral Large 3 (41B/675B MoE) und alle Varianten von Meta Llama 4. Open-Weight-Modelle bieten Datenschutz, Anpassungsmöglichkeiten und keine Kosten pro Token.

Wie oft wird diese Rangliste aktualisiert?

Die Rangliste wird aktualisiert, sobald neue signifikante Benchmark-Ergebnisse veröffentlicht oder unabhängig verifiziert werden. Die Werte entsprechen dem Stand vom 12. Juni 2026. Jeder Wert ist mit SR (selbst gemeldet) oder 3P (Drittanbieter) gekennzeichnet, sodass Sie immer die Quelle kennen. Jedes Modell hat außerdem eine eigene Seite mit einer detaillierteren Benchmark-Aufschlüsselung.