RAG med resonemangs-LLM: OpenAI O1 vs OpenAI GPT4o

OpenAI har precis släppt en ny modell kallad OpenAI O1 från O1-serien av modeller. Den största arkitektoniska förändringen i dessa modeller är förmågan att tänka innan den svarar på en användares fråga. I den här bloggen går vi på djupet med de viktigaste förändringarna i OpenAI O1, de nya paradigm som dessa modeller använder samt hur denna modell avsevärt kan öka RAG-noggrannheten. Vi kommer att jämföra ett enkelt RAG-flöde med OpenAI GPT4o och OpenAI O1-modellen.

Hur skiljer sig OpenAI O1 från tidigare modeller?

Förstärkningsinlärning i stor skala

O1-modellen utnyttjar förstärkningsinlärningsalgoritmer i stor skala under sin träningsprocess. Detta gör det möjligt för modellen att utveckla en robust “kedja av tankar” och därmed tänka djupare och mer strategiskt kring problem. Genom att kontinuerligt optimera sina resonemangsvägar med hjälp av förstärkningsinlärning förbättrar O1-modellen avsevärt sin förmåga att analysera och lösa komplexa uppgifter effektivt.

Kedjeresonerande integration

Tidigare har kedjeresonerande tänkande visat sig vara en användbar prompt engineering-mekanism för att få LLM att “tänka” själv och besvara komplexa frågor steg för steg. Med O1-modeller kommer detta steg inbyggt och är integrerat nativt i modellen vid inferenstid, vilket gör det användbart för matematiska och kodningsrelaterade problemlösningsuppgifter.

O1 tränas med RL för att “tänka” innan den svarar via en privat kedja av tankar. Ju längre den tänker, desto bättre presterar den på resonemangsuppgifter. Detta öppnar en ny dimension för skalning. Vi är inte längre flaskhalsade av förträning. Vi kan nu skala inferensberäkning också. pic.twitter.com/niqRO9hhg1
— Noam Brown (@polynoamial) 12 september 2024

Överlägsen benchmark-prestanda

I omfattande utvärderingar har O1-modellen visat anmärkningsvärd prestanda över flera benchmarks:

• AIME (American Invitational Mathematics Examination): Löser 83 % av problemen korrekt, en markant förbättring jämfört med GPT-4o:s 13 %.
• GPQA (Expert-nivåtest i vetenskap): Överträffar experter på doktorandnivå, och är den första AI-modellen som överträffar människor på detta benchmark.
• MMLU (Multi-Task Language Understanding): Utmärker sig i 54 av 57 underkategorier och uppnår 78,2 % prestanda med visuell perception aktiverad.
• Kodningstävlingar: Uppnår höga placeringar på plattformar som Codeforces och överträffar 93 % av mänskliga tävlande.

OpenAI O1 vs OpenAI GPT4o i RAG-flöde

För att testa prestandanoggrannheten hos OpenAI O1 och GPT4o skapade vi två identiska flöden, men med två olika LLM:er. Vi kommer att jämföra modellerna i deras frågesvarsförmåga på två indexerade källor relaterade till den tekniska rapporten om OpenAI O1.

Först skapar vi ett enkelt RAG-flöde i FlowHunt. Det består av Chat Input, Document Retriever (hämtar relevanta dokument), Prompt, Generator och Chat Output. LLM OpenAI-komponenten läggs till för att specificera modellen (annars används GPT4o som standard).

Här är svaret från GPT4o:

Och här är resultatet från OpenAI O1:

Som du kan se fångade OpenAI O1 fler arkitektoniska fördelar från själva artikeln—6 punkter jämfört med 4. Dessutom drar O1 logiska slutsatser från varje punkt och berikar dokumentet med fler insikter om varför den arkitektoniska förändringen är användbar.

Är OpenAI O1-modellen värd det?

Utifrån våra experiment kostar O1-modellen mer för ökad noggrannhet. Den nya modellen har tre typer av tokens: Prompt Token, Completion Token och Reason Token (en nyligen tillagd typ av token), vilket gör den potentiellt dyrare. I de flesta fall ger OpenAI O1 svar som upplevs mer hjälpsamma om de är förankrade i sanning. Dock finns det tillfällen där GPT4o överträffar OpenAI O1—vissa uppgifter kräver helt enkelt inte resonemang.