Finn den riktige AI-modellen til jobben

Vanlige spørsmål

Hvordan velger dere den beste modellen for hvert bruksområde?

Hvert kort rangerer modeller etter den ene benchmarken som passer best til oppgaven: DeepSWE for kodeagenter, Terminal-Bench 4.0 for terminal- og agentoppgaver, Humanity's Last Exam for vanskelig resonnering og Artificial Analysis Intelligence Index for samlet kvalitet, åpne vektmodeller og modeller i FlowHunt. Hvis færre enn tre modeller har en DeepSWE-poengsum, faller kodekortet tilbake til SWE-bench Pro og sier fra om det.

Hva betyr Verifisert og Selvrapportert?

Verifiserte poengsummer er målt av en uavhengig evaluator, som Artificial Analysis, ARC Prize Foundation eller DeepSWE-ledertavlen, med ett fast oppsett for alle modeller. Selvrapporterte poengsummer kommer fra modellens utvikler, i modellkortet eller lanseringsinnlegget. Bare verifiserte poengsummer teller med i rangeringen. Selvrapporterte poengsummer vises og merkes, men rangeres aldri. Når begge finnes, viser modellsiden begge.

Hvorfor kan den samme modellen ha to ulike poengsummer på én benchmark?

Laboratorier tester ofte sine egne modeller med et skreddersydd oppsett: et annet agentrammeverk, mer tenketid eller et større token-budsjett. Uavhengige evaluatorer bruker ett fast oppsett for alle modeller, så tallene deres er lettere å sammenligne og ofte lavere. Vi rangerer etter det uavhengige tallet og beholder laboratoriets tall på modellsiden.

Hva er Artificial Analysis Intelligence Index?

Det er en uavhengig sammensatt poengsum fra Artificial Analysis som kombinerer agent-, kode-, kunnskaps- og vitenskapstester i ett tall. Vi bruker versjon 4 av indeksen. Poengsummene er ikke sammenlignbare med tidligere versjoner, så eldre tall du kan ha sett andre steder vil se høyere ut.

Hva er DeepSWE?

DeepSWE er et sett med 113 lange programvareoppgaver skrevet fra bunnen av, slik at de neppe finnes i treningsdata. En modell må bygge eller endre ekte kode, og skjulte tester avgjør om det fungerte. Den skiller dagens kodeagenter tydeligere enn SWE-bench Verified, som de fleste frontlinjemodeller nesten har maksimert.

Hvorfor beholdes SWE-bench Verified bare som historikk?

Frontlinjemodeller løser nå nesten alle de 500 GitHub-problemene, så forskjellene mellom dem ligger innenfor støy. Vi viser den fortsatt i hele tabellen slik at du kan sammenligne med eldre rapporter, men den avgjør ikke lenger noen rangering.

Hva er forskjellen mellom modeller med åpne vekter og lukkede modeller?

Modeller med åpne vekter publiserer sine trente vekter, slik at du kan kjøre dem på din egen maskinvare, beholde data internt og finjustere dem. Lukkede modeller er bare tilgjengelige via utviklerens API eller apper. Bruk filteret Åpne vekter for å se bare modeller med åpne vekter.

Hvor ofte oppdateres denne ledertavlen?

Vi oppdaterer den når store modeller utgis, eller når uavhengige evaluatorer publiserer nye resultater. Datoen øverst på siden viser siste oppdatering, og hver modellside viser utgivelsesdatoen og kilden til hver poengsum der en er publisert.