Trova il modello di IA giusto per ogni compito

Domande frequenti

Come scegliete il modello migliore per ogni caso d'uso?

Ogni scheda classifica i modelli in base all'unico benchmark che meglio corrisponde al compito: DeepSWE per gli agenti di programmazione, Terminal-Bench 4.0 per le attività da terminale e di agente, Humanity's Last Exam per il ragionamento difficile e l'Artificial Analysis Intelligence Index per la qualità complessiva, i modelli open-weight e i modelli in FlowHunt. Se meno di tre modelli hanno un punteggio DeepSWE, la scheda di programmazione ripiega su SWE-bench Pro e lo indica.

Cosa significano Verificato e Dichiarato dal produttore?

I punteggi verificati sono stati misurati da un valutatore indipendente, come Artificial Analysis, la ARC Prize Foundation o la classifica DeepSWE, con una configurazione fissa per ogni modello. I punteggi dichiarati dal produttore provengono dall'azienda che ha creato il modello, nella sua model card o nel post di lancio. Solo i punteggi verificati contano per la classifica. Quelli dichiarati dal produttore vengono mostrati e contrassegnati, ma mai classificati. Quando esistono entrambi, la pagina del modello li mostra entrambi.

Perché lo stesso modello può avere due punteggi diversi nello stesso benchmark?

I laboratori spesso testano i propri modelli con una configurazione personalizzata: un harness per agenti diverso, più tempo di thinking o un budget di token maggiore. I valutatori indipendenti usano una configurazione fissa per ogni modello, quindi i loro numeri sono più facili da confrontare e spesso più bassi. Classifichiamo in base al numero indipendente e manteniamo quello del laboratorio nella pagina del modello.

Cos'è l'Artificial Analysis Intelligence Index?

È un punteggio composito indipendente di Artificial Analysis che combina test su agenti, programmazione, conoscenza e scienza in un unico numero. Usiamo la versione 4 dell'indice. I suoi punteggi non sono confrontabili con quelli delle versioni precedenti, quindi i numeri più vecchi che potresti aver visto altrove sembreranno più alti.

Cos'è DeepSWE?

DeepSWE è un insieme di 113 lunghe attività software scritte da zero, quindi è improbabile che compaiano nei dati di addestramento. Un modello deve costruire o modificare codice reale e dei test nascosti decidono se ha funzionato. Distingue gli agenti di programmazione di oggi in modo più netto di SWE-bench Verified, che la maggior parte dei modelli frontier ha ormai quasi saturato.

Perché SWE-bench Verified viene mantenuto solo come storico?

I modelli frontier ormai risolvono quasi tutte le sue 500 issue GitHub, quindi le differenze tra loro rientrano nel rumore. Lo mostriamo ancora nella tabella completa per consentire il confronto con i report precedenti, ma non decide più alcuna classifica.

Qual è la differenza tra modelli a pesi aperti e modelli chiusi?

I modelli a pesi aperti pubblicano i propri pesi addestrati, quindi puoi eseguirli sul tuo hardware, mantenere i dati in azienda e metterli a punto. I modelli chiusi sono disponibili solo tramite l'API o le app del loro produttore. Usa il filtro Pesi aperti per vedere solo i modelli a pesi aperti.

Con quale frequenza viene aggiornata questa classifica?

La aggiorniamo quando vengono rilasciati modelli importanti o quando i valutatori indipendenti pubblicano nuovi risultati. La data in cima alla pagina mostra l'ultimo aggiornamento e ogni pagina di modello riporta la data di rilascio e la fonte di ogni punteggio, dove ne è pubblicata una.