RAG cu LLM-uri de Raționament: OpenAI O1 vs OpenAI GPT4o

OpenAI tocmai a lansat un nou model numit OpenAI O1 din seria O1 de modele. Principala schimbare arhitecturală la aceste modele este abilitatea de a gândi înainte de a răspunde unei întrebări a utilizatorului. În acest articol vom aprofunda schimbările cheie din OpenAI O1, noile paradigme folosite de aceste modele și cum acest model poate crește semnificativ acuratețea RAG. Vom compara un flux RAG simplu folosind modelul OpenAI GPT4o și OpenAI O1.

Cu ce este diferit OpenAI O1 față de modelele anterioare?

Învățare prin întărire la scară largă

Modelul O1 folosește algoritmi de învățare prin întărire la scară largă în timpul procesului său de antrenare. Acest lucru permite modelului să dezvolte un “Chain of Thought” robust, permițându-i să gândească mai profund și strategic asupra problemelor. Optimizându-și continuu căile de raționament prin învățare prin întărire, modelul O1 își îmbunătățește semnificativ abilitatea de a analiza și rezolva eficient sarcini complexe.

Integrarea Chain of Thought

Anterior, chain of thought s-a dovedit a fi un mecanism util de prompt engineering pentru a face ca LLM-ul să “gândească” singur și să răspundă la întrebări complexe printr-un plan pas cu pas. Cu modelele O1, acest pas este integrat nativ și vine direct din model la momentul inferenței, făcându-l util pentru rezolvarea problemelor matematice și de programare.

O1 este antrenat cu RL să „gândească” înainte de a răspunde printr-un chain of thought privat. Cu cât gândește mai mult, cu atât se descurcă mai bine la sarcinile de raționament. Aceasta deschide o nouă dimensiune pentru scalare. Nu mai suntem limitați de preantrenare. Putem scala acum și puterea de inferență. pic.twitter.com/niqRO9hhg1
— Noam Brown (@polynoamial) 12 septembrie 2024

Performanță superioară în benchmark-uri

În evaluări extinse, modelul O1 a demonstrat performanțe remarcabile pe diverse benchmark-uri:

• AIME (American Invitational Mathematics Examination): Rezolvă corect 83% din probleme, o îmbunătățire substanțială față de 13% la GPT-4o.
• GPQA (Test de nivel expert în științe): Depășește experții cu doctorat, fiind primul model AI care surclasează oamenii pe acest benchmark.
• MMLU (Multi-Task Language Understanding): Excelează în 54 din 57 de subcategorii, atingând o performanță de 78,2% cu percepție vizuală activată.
• Competiții de programare: Obține clasări ridicate pe platforme precum Codeforces, depășind 93% dintre concurenții umani.

OpenAI O1 vs OpenAI GPT4o în flux RAG

Pentru a testa acuratețea performanței OpenAI O1 și GPT4o, am creat două fluxuri identice, dar cu două LLM-uri diferite. Vom compara capacitatea de răspuns la întrebări a modelelor pe două surse indexate privind raportul tehnic al OpenAI O1.

Mai întâi, vom crea un flux RAG simplu în FlowHunt. Acesta constă în Chat Input, Document Retriever (recuperează documente relevante), Prompt, Generator și Chat Output. Componenta LLM OpenAI este adăugată pentru a specifica modelul (altfel, implicit este folosit GPT4o).

Iată răspunsul de la GPT4o:

Și aici este rezultatul de la OpenAI O1:

După cum se poate observa, OpenAI O1 a surprins mai multe avantaje arhitecturale din articolul propriu-zis—6 puncte față de 4. În plus, O1 face implicații logice din fiecare punct, îmbogățind documentul cu mai multe perspective despre utilitatea schimbării arhitecturale.

Merită modelul OpenAI O1?

Din experimentele noastre, modelul O1 va costa mai mult pentru o acuratețe crescută. Noul model are 3 tipuri de tokeni: Prompt Token, Completion Token și Reason Token (un tip de token adăugat recent), ceea ce îl poate face mai costisitor. În cele mai multe cazuri, OpenAI O1 oferă răspunsuri care par mai utile dacă sunt ancorate în adevăr. Totuși, există și situații în care GPT4o îl depășește pe OpenAI O1—unele sarcini pur și simplu nu au nevoie de raționament.