OpenAI O3 Mini vs DeepSeek til Agentopgaver

Fra den 31. januar lancerede OpenAI deres næste generation af ræsonnement-modeller med O3 Mini Model. Overordnet set virker OpenAI O3 Mini modellen 15 gange billigere med omtrent samme nøjagtighed som O1 Model, OpenAIs tidligere generation af ræsonnement-modeller. Den nye model, OpenAI O3 Mini, er tilgængelig i FlowHunt mindre end et døgn efter OpenAIs lancering. I dette blogindlæg dykker vi ned i modellens egenskaber og sammenligner den med Deepseek.

Evalueringskriterier for OpenAI O3 Mini vs DeepSeek

I denne evaluering har jeg benyttet et ligetil, men effektivt flow bestående af chat-input, chat-output og en AI-generator til at levere en klar og præcis forklaring af hovedvarianten i Ruy Lopez åbningen i skak. Ved at sammenligne DeepSeeks præstation mod O3 Mini kunne jeg vurdere, hvordan hvert system håndterede opgaven med at skitsere vigtige træk—såsom 1. e4 e5, 2. Nf3 Nc6, 3. Bb5 a6, 4. Ba4 Nf6 og 5. O-O Be7—og deres videre udvikling. Denne sammenlignende analyse demonstrerer ikke kun AI-værktøjernes evner til at bearbejde og videreformidle komplekse skakstrategier, men fremhæver også værdien af et enkelt samtaleflow for at opnå læsbarhed og praktiske evalueringsresultater.

Dette er flowet:

DeepSeek-resultater

Jeg har spurgt modellen følgende:
“Give me first 10 moves of Ruy Lopez.”
Resultatet er som følger. Dette er DeepSeeks tankeproces:

o3 mini vs deepseek Restarting session Please wait give me first 10 moves of ruy lopez
Okay, så jeg prøver at finde ud af de første 10 træk i Ruy Lopez åbningen i skak. Jeg husker, at Ruy Lopez er en af de ældste og mest populære åbninger, startende med trækkene 1.e4 e5. Så spiller Hvid 2.Nf3, udvikler springeren og forbereder at kontrollere centrum. Derefter 2…Nc6, hvor Sort udvikler sin springer og støtter e5-bonden. Nu starter selve Ruy Lopez med 3.Bb5, som angriber springeren på c6. Jeg tror, dette er nøgletrækket, der definerer åbningen. Så svarer Sort typisk med 3…a6 for at udfordre løberen. Derefter spiller Hvid 4.Ba4, trækker løberen tilbage til et sikkert felt. Indtil nu har jeg seks træk: 1.e4 e5 2.Nf3 Nc6 3.Bb5 a6 4.Ba4. Nu er Sorts næste træk ofte 4…Nf6, udvikler springeren og angriber e4-bonden. Så rokader Hvid kort med 5.0-0 for at få kongen i sikkerhed og bringe tårnet i spil. Det er otte træk. Næste træk kan Sort spille 5…b5 for at udfordre Hvids løber på a4 og få plads på dronningefløjen. Så svarer Hvid med 6.c3, støtter d4-ryk og forbereder udvikling af andre brikker. Så det tiende træk ville være 6…d6, som styrker e5-bonden og forbereder at udvikle den sortfeltede løber. Vent, men jeg er ikke helt sikker på, om Sort altid spiller 5…b5. Nogle gange spiller de måske 5…Be7 i stedet, men jeg tror 5…b5 er mere almindeligt i Lukket Ruy Lopez. Også efter 6.c3 kan Sort vælge mellem 6…d6 eller 6…b5 igen, men 6…d6 virker mere standard for at støtte e5. Jeg bør dobbelttjekke rækkefølgen for at sikre, jeg ikke har byttet rundt på nogen træk. Lad mig gennemgå det igen: e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 0-0 b5 c3 d6 Ja, det virker korrekt. Så de første ti træk er som jeg har nævnt. Jeg synes, det er et solidt fundament, men jeg er lidt usikker på, om der er alternative varianter Sort kan vælge tidligere, som efter 3.Bb5, måske 3…g6 i stedet for 3…a6, men jeg tror 3…a6 er hovedvarianten, der fører til Morphy-forsvaret. Så jeg holder mig til den for de første ti træk. Fundament for både Hvid og Sort, hvor Hvid går efter et stærkt centrum og brikudvikling, mens Sort udfordrer Hvids løber og forbereder videre udvikling.

Endeligt resultat:

De første ti træk i Ruy Lopez åbningen, ifølge Morphy-forsvaret, er som følger:
e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 0-0 b5 c3 d6
Denne sekvens etablerer et solidt fundament for både Hvid og Sort, hvor Hvid går efter et stærkt centrum og brikudvikling, mens Sort udfordrer Hvids løber og forbereder videre udvikling.

OpenAI O3 Mini-resultater

O3 vinder. O3 Minis svar er mere forståeligt og korrekt.

The Ruy Lopez (eller Spansk parti) er en rig åbning med mange varianter. En af de mest almindelige måder at nå en klassisk Lukket Ruy Lopez er med følgende træk:
e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 O-O Be7 Re1 b5 Bb3 d6 c3 O-O h3 Nb8 d4

Her er en kort forklaring af tankerne bag disse træk:

• 1. e4 e5 danner grundlaget for klassisk kamp om centrum.
• 2. Nf3 udvikler en springer og angriber e5-bonden; Sort forsvarer med Nc6.
• 3. Bb5 binder springeren på c6 (som forsvarer e5) og øger presset på centrum; Sort udfordrer med a6.
• 4. Ba4 trækker sig tilbage, men holder stadig bindingen; Sort udvikler endnu en brik med Nf6.
• 5. O-O sikrer Hvids konge; Sort spiller Be7 for at forberede rokade.
• 6. Re1 forstærker den centrale e4-bonde; Sorts b5 driver løberen væk og giver plads på dronningefløjen.
• 7. Bb3 bevarer løberens diagonal; Sort styrker centrum med d6.
• 8. c3 forbereder støtte til et senere d4-ryk og muliggør en eventuel tilbagetrækning af løberen, og Sort rokader med O-O.
• 9. h3 forhindrer, at en brik (som en springer eller løber) kommer til g4, hvor den kunne forstyrre Hvids centrum eller brikker; Sort trækker springeren tilbage med Nb8 for at omdirigere den.
• 10. d4 er Hvids gennembrud i centrum, der har til formål at udfordre Sorts bondestruktur.

Husk, dette er blot en af mange gyldige trækrækkefølger i Ruy Lopez. Varianter som Åben Ruy Lopez eller andre linjer i Lukket Ruy Lopez kan afvige efter træk 4 eller senere. Men sekvensen ovenfor er en velkendt vej, som mange spillere følger i klassisk skakteori.

Evaluering af DeepSeek og OpenAI O3 Mini på agentbaseret adfærd

Vi har evalueret ræsonnement-modellerne på en opgave, der kræver 2-3 værktøjer for AI-agenter. Her er opgaven:

Givet firmanavn, søg og find produktets prisside og foreslå forbedringer.
Tag også screenshot af prissiden.
Send derefter en e-mail til mig med resultaterne.

Opgaven kræver forbindelse til Google-søgning for at finde prissiden, crawle prissiden og sende en detaljeret rapport via e-mail.

Opgaven blev med vilje ikke beskrevet detaljeret for at teste modellerne nævnte ræsonnementsevner.

Brug af DeepSeek som AI-agent

Deepseek var ikke i stand til at sende e-mail. Samlet set viser vores erfaring, at Deepseek ikke er lige så nøjagtig i værktøjskald sammenlignet med OpenAI GPT4o eller OpenAI O3 Mini modeller. Dette er rapporten genereret fra DeepSeek, der analyserer FlowHunts prisside. Undervejs er dette DeepSeeks tankeproces:

1. Kald til Google-værktøj:

2. Scrape URL:

Ræsonnementet:

Emne: FlowHunt prisside gennemgang og forslag

Kære [Dit Navn],

Jeg håber denne besked finder dig vel. Herunder er et resumé af FlowHunts prisside samt nogle forslag til forbedringer.

Prisoversigt:

FlowHunt tilbyder fire prisniveauer:

Starter-plan (€10/måned):

• 10 credits
• 5 workflows pr. workspace
• 1 workspace
• 1 teammedlem pr. workspace
• 5 chatbots pr. workspace
• 2 websites pr. workspace
• 5 dokumenter pr. workspace
• 50 FAQ pr. workspace
• Adgang til alle nyeste OpenAI LLMs, inkl. custom fine-tuned modeller
• Alle integrationer
• E-mail support

Pro-plan (€50/måned):

• 55 credits (inkluderer 10% rabat på credits)
• 20 workflows pr. workspace
• 5 workspaces
• 10 teammedlemmer pr. workspace
• 20 chatbots pr. workspace
• 10 websites pr. workspace
• 50 dokumenter pr. workspace
• 100 FAQ pr. workspace
• Adgang til alle nyeste OpenAI LLMs, inkl. custom fine-tuned modeller
• Pro support
• API-nøgle adgang
• Basale analyser (kommer snart)
• Alle integrationer

Premium-plan (€500/måned):

• 600 credits (inkluderer 20% rabat på credits)
• 50 workflows pr. workspace
• 10 workspaces
• 100 teammedlemmer pr. workspace
• 50 chatbots pr. workspace
• 30 websites pr. workspace
• 100 dokumenter pr. workspace
• 200 FAQ pr. workspace
• Adgang til alle nyeste OpenAI LLMs, inkl. custom fine-tuned modeller
• Prioriteret support
• API-nøgle adgang
• Avancerede analyser (kommer snart)
• Indledende workflow-konsultation
• Indledende workflow-træningssupport
• Alle integrationer

Enterprise-plan (tilpasset pris fra €1500/måned):

• Kontraktbaserede tokens (Bring Your Own Key – BYOK)
• Ubegrænsede workflows
• Ubegrænsede workspaces
• Ubegrænsede brugere
• Ubegrænsede chatbots
• Ubegrænsede tidsplaner
• Ubegrænsede dokumenter
• Ubegrænsede spørgsmål og svar
• Ubegrænset chat-historik
• Adgang til alle nyeste OpenAI LLMs, inkl. custom fine-tuned modeller
• Dedikeret prioriteret support
• API-nøgle adgang
• Avancerede analyser (kommer snart)
• Tilpasselige workflow-moduler
• Valgfri træningssupport
• Avanceret sikkerhed og on-premises-implementering

Foreslåede forbedringer:

• Feature-sammenligningstabel: Lav en side-om-side-tabel, der fremhæver funktionerne i hver plan. Det vil gøre det lettere for brugere hurtigt at se forskelle mellem planerne.
• Kundeudtalelser/case studies: Tilføj udtalelser eller cases fra eksisterende kunder for at opbygge tillid og troværdighed.
• Prisberegner: Implementér en interaktiv prisberegner, hvor brugere kan estimere deres omkostninger ud fra deres specifikke behov, især til Enterprise-planen.
• Gratis prøveperiode fremhævet: Gør muligheden for gratis prøveperiode mere synlig på siden, så brugere opfordres til at prøve tjenesten før køb.
• Detaljeret dokumentation/vejledninger: Giv links til detaljeret dokumentation eller guides, så brugere kan forstå, hvordan de får mest ud af planernes funktioner.

Brug af OpenAI O3 Mini som AI-agent

På den anden side var OpenAI O3 Mini modellen i stand til at gennemskue den præcise proces med denne sparsomme beskrivelse:

1. Google-søgning

2. Scrape URL

3. E-mailsending

Dette er den e-mail, jeg modtog:

Hej,

Nedenfor finder du resultaterne af gennemgangen af FlowHunts prisside samt nogle foreslåede forbedringer:

Prisside-URL: https://www.flowhunt.io/pricing/

Screenshot: Et screenshot af prissiden blev taget. (Se venligst vedhæftede screenshot i dit system.)

Opsummering af prissiden:

Prissiden viser tydeligt fire planer: Starter (€10/måned), Pro (€50/måned), Premium (€500/måned) og Enterprise (fra €1500/måned). Hver plan viser credits, workflow- og teamgrænser, kernefunktioner og yderligere supportmuligheder. Siden indeholder både et overblik og en detaljeret sammenligning med tabel, hvilket hjælper potentielle kunder med at sammenligne funktionerne på tværs af planer.

Foreslåede forbedringer:

• Interaktiv prisberegner: Overvej at tilføje en interaktiv prisberegner, hvor brugere kan justere parametre (fx antal workflows, teammedlemmer) for at se et dynamisk estimat af deres månedlige pris.
• Visuelle forbedringer og UX-optimering: Indfør flere iøjnefaldende visuelle elementer (fx ikoner eller infografik) for yderligere at differentiere funktionerne i hver plan. Tilføj diskrete animationer ved mouse-over på plan-detaljer for at forbedre brugerinteraktionen.
• Valutakonverter: Da priserne er i euro, bør der tilføjes en valutaomregner for at imødekomme internationale brugere og give en bedre lokaliseret oplevelse.
• Tydeligere Call-to-Action (CTA): Gør CTA-knapperne mere fremtrædende og overvej at tilføje en sekundær CTA (fx “Læs mere” om planfordele) for brugere, der har brug for mere information før tilmelding.
• Udvidet FAQ-sektion: Udvid FAQ-sektionen med mere detaljerede svar omkring credits-system, eventuelle overforbrug og almindelige kundescenarier. Overvej at bruge fold-ud sektioner for at holde siden overskuelig, men stadig give adgang til yderligere information.
• Social proof og udtalelser: Indsæt kundeudtalelser eller succeshistorier nær prissektionen for at opbygge troværdighed.
• Mobiloptimering: Sikr at pristabellen og alle interaktive elementer vises optimalt på mobile enheder.
• Chatsupport-integration: Tilføj integreret live chat eller chatbot-support på prissiden for straks at besvare spørgsmål om priser eller plan-detaljer.

Ved at implementere disse forbedringer kan FlowHunt tilbyde en mere engagerende og brugervenlig oplevelse, hvilket potentielt kan øge konverteringsraten.

Med venlig hilsen
[Dit Navn]

(P.S. Denne e-mail indeholder resultaterne og forslag til FlowHunts prisside samt oplysninger om det optagede screenshot.)