Finde das passende KI-Modell für deine Aufgabe

Häufig gestellte Fragen

Wie wählen Sie das beste Modell für jeden Anwendungsfall aus?

Jede Karte rangiert Modelle nach dem einen Benchmark, der am besten zur Aufgabe passt: DeepSWE für Coding-Agenten, Terminal-Bench 4.0 für Terminal- und Agentenaufgaben, Humanity's Last Exam für anspruchsvolles logisches Denken und den Artificial Analysis Intelligence Index für die Gesamtqualität, Open-Weight-Modelle und Modelle in FlowHunt. Haben weniger als drei Modelle einen DeepSWE-Wert, greift die Coding-Karte auf SWE-bench Pro zurück und nennt es.

Was bedeuten Verifiziert und Selbst gemeldet?

Verifizierte Werte wurden von einem unabhängigen Evaluator gemessen, etwa Artificial Analysis, der ARC Prize Foundation oder der DeepSWE-Rangliste, mit einem festen Setup für alle Modelle. Selbst gemeldete Werte stammen vom Hersteller des Modells, in seiner Model Card oder seinem Launch-Beitrag. Nur verifizierte Werte zählen für die Rangfolge. Selbst gemeldete Werte werden angezeigt und gekennzeichnet, aber nie eingestuft. Liegen beide vor, zeigt die Modellseite beide.

Warum kann dasselbe Modell bei einem Benchmark zwei unterschiedliche Werte haben?

Labore testen ihre eigenen Modelle oft mit einem angepassten Setup: einem anderen Agent-Harness, mehr Denkzeit oder einem größeren Token-Budget. Unabhängige Evaluatoren nutzen für jedes Modell dasselbe feste Setup, daher sind ihre Zahlen leichter vergleichbar und oft niedriger. Wir rangieren nach der unabhängigen Zahl und behalten die Zahl des Labors auf der Modellseite.

Was ist der Artificial Analysis Intelligence Index?

Er ist ein unabhängiger Gesamtwert von Artificial Analysis, der Tests zu Agenten, Programmierung, Wissen und Naturwissenschaften zu einer einzigen Zahl zusammenfasst. Wir verwenden Version 4 des Index. Seine Werte sind mit früheren Versionen nicht vergleichbar, daher wirken ältere Zahlen, die Sie anderswo gesehen haben, höher.

Was ist DeepSWE?

DeepSWE ist eine Sammlung von 113 langen Softwareaufgaben, die von Grund auf neu geschrieben wurden und daher kaum in Trainingsdaten vorkommen dürften. Ein Modell muss echten Code erstellen oder ändern, und versteckte Tests entscheiden, ob es funktioniert hat. Es trennt heutige Coding-Agenten deutlicher als SWE-bench Verified, das die meisten Frontier-Modelle nahezu ausgereizt haben.

Warum wird SWE-bench Verified nur noch als Verlauf geführt?

Frontier-Modelle lösen inzwischen fast alle der 500 GitHub-Probleme, sodass die Abstände zwischen ihnen im Rauschen liegen. Wir zeigen es weiterhin in der vollständigen Tabelle, damit Sie mit älteren Berichten vergleichen können, aber es entscheidet keine Rangfolge mehr.

Was ist der Unterschied zwischen Open-Weight- und Closed-Modellen?

Open-Weight-Modelle veröffentlichen ihre trainierten Gewichte, sodass Sie sie auf eigener Hardware betreiben, Daten im eigenen Haus behalten und die Modelle feinabstimmen können. Closed-Modelle sind nur über die API oder die Apps ihres Herstellers verfügbar. Mit dem Filter „Open weight“ sehen Sie nur Open-Weight-Modelle.

Wie oft wird diese Rangliste aktualisiert?

Wir aktualisieren sie, wenn bedeutende Modelle erscheinen oder unabhängige Evaluatoren neue Ergebnisse veröffentlichen. Das Datum oben auf der Seite zeigt die letzte Aktualisierung, und jede Modellseite nennt das Veröffentlichungsdatum und die Quelle jedes Werts, sofern eine veröffentlicht ist.