AI-agenten: Hoe GPT-4o Denkt

Een Evaluatie van LLM-modellen

Inleiding

AI-agenten vormen de voorhoede van kunstmatige intelligentie, opererend als autonome systemen die kunnen redeneren, leren en handelen op basis van gebruikersinput en contextuele data. Door het nabootsen van mensachtige besluitvormingsprocessen brengen ze ongekende efficiëntie en aanpasbaarheid naar uiteenlopende taken.

Deze blog richt zich op het evalueren van GPT-4o’s prestaties op verschillende taken met behulp van gedetailleerde prompts en meetmethoden. Ons doel is te begrijpen hoe deze AI-agent “denkt” en zijn prestaties te beoordelen aan de hand van zowel kwantitatieve als kwalitatieve criteria.

Evaluatiecriteria

De vergelijking is gestructureerd rond de volgende dimensies:

1. Inputverwerking: Hoe goed het model diverse prompts interpreteert en zich aanpast.
2. Contentgeneratie: De helderheid, relevantie en creativiteit van de gegenereerde output.
3. Redeneren en Probleemoplossing: Het vermogen van het model om logisch te redeneren en meerstapsproblemen op te lossen.
4. Kwantitatieve Maatstaven: Leesbaarheidscores zoals ARI en Flesch-Kincaid, evenals responstijden.
5. Efficiëntie: Responstijd en algemeen gebruik van computercapaciteit.

Elk criterium weerspiegelt een essentieel aspect van hoe dit model functioneert, zodat we inzicht krijgen in zijn “denkprocessen”.

Analyse en Vergelijking

Taak 1: Contentgeneratie over EV-milieueffecten

Prompt

“-Contentgeneratie: Schrijf een uitgebreid, informatief artikel over de basisprincipes van projectmanagement, met specifieke focus op het definiëren van doelstellingen, scope en delegatie.”

Output (Fragment)

Om taken voor ons nieuwe project effectief te managen en te delegeren, is het cruciaal de volgende kernaspecten te begrijpen:

Projectscope

Doelstellingen: Het doel van projectmanagement is het opleveren van een compleet project dat voldoet aan de doelstellingen van de klant. Deze doelstellingen moeten specifiek, meetbaar, haalbaar, relevant en tijdgebonden (SMART) zijn. Duidelijk gedefinieerde doelstellingen sturen alle beslissingen gedurende het project en zorgen ervoor dat het project aansluit bij de algehele missie van de organisatie….

Maatstaven

• Benodigde tijd: 53 seconden
• Leesbaarheid:
  • Flesch-Kincaid-leesniveau: 12
  • Flesch-Kincaid-score: 12,08

Denkproces van de AI-agent

• (0:09) Google-zoekopdracht: “Zoeken naar projectmanagement richtlijnen doelen scope delegatie in Google…”

  • Gedachte: Informatie verzamelen over de specifieke taak om een volledig antwoord te geven over doelstellingen, scope en relevante details. Start met zoeken naar algemene projectmanagementrichtlijnen.
  • Tool: google_serper

• (0:17) Systeem: “1 url(s) bekijken… URL bekijken”

• (0:25) Agent:

  • Gedachte: Bruikbare links gevonden over projectmanagement, delegatie en doelstellingen. Het meest relevante artikel wordt gecrawld voor details.
  • Tool: url_crawl_tool

• (0:27) Google-zoekopdracht: “Zoeken naar hoe projectdoelstellingen en scope te definiëren in projectmanagement in Google…”

• (0:29) Agent:

  • Gedachte: Fout opgetreden bij de URL-crawltool; probeer een andere Google-zoekopdracht gericht op het definiëren van doelstellingen en het delegeren van taken.
  • Tool: google_serper

• (0:31) Systeem: “1 url(s) bekijken… URL bekijken”

• (0:38) Agent:

  • Gedachte: Relevante artikelen gevonden; crawl het meest relevante link.
  • Tool: url_crawl_tool

• (0:44) Agent:

  • Gedachte: Kan geen inhoud ophalen van de vorige links vanwege fouten. Verzamel informatie rechtstreeks van Wikipedia over projectmanagement.
  • Tool: wikipedia

• (0:53) Agent:

  • Gedachte: Omdat het ophalen van content is mislukt, probeer ik Wikipedia voor projectmanagementinformatie.
  • Tool: wikipedia

Analyse

• Doelgericht gedrag: Behield het doel om projectmanagementprincipes uit te leggen ondanks fouten, wat wijst op een interne taakrepresentatie.
• Adaptieve probleemoplossing: Wisselde van strategie (naar Wikipedia) toen eerdere pogingen faalden.
• Toolintegratie: Gebruikte Google Search, URL-crawling en Wikipedia als tools.
• Metacognitie: Gaf “gedachte”-verklaringen, wat introspectie en erkenning van fouten laat zien.

Sterke punten:

• Duidelijke structuur, relevante informatie, gebalanceerde voor- en nadelen, feitelijke juistheid.

Zwakke punten:

• Enige herhaling, wat de beknoptheid vermindert.

Score: 9/10

Taak 2: Probleemoplossing voor omzetberekeningen

Prompt

“Een bedrijf verkoopt Product A voor $50 (kost $30) en Product B voor $70 (kost $40). Ze verkochten 120 stuks van A en 80 van B. Bereken omzet, winst en benodigde verkoop voor 10% omzetgroei.”

Output (Fragment)

“Om het probleem op te lossen: De totale omzet van beide producten vorige maand was $11.600…”

Maatstaven

• Benodigde tijd: 31 seconden
• Leesbaarheid: Flesch-Kincaid-leesniveau: 16 (Postdoctoraal)
• Antwoordopbouw:
  • Omzet Product A: 120 * $50 = $6.000
  • Omzet Product B: 80 * $70 = $5.600
  • Totale winst: $4.800 (na kosten van $6.800)
  • Strategieën voor omzetgroei: Verhogen door 18 eenheden A en 4 eenheden B te verkopen, of 9 eenheden A en 10 eenheden B.

Denkproces van de AI-agent

• (0:01) Agent:
  • Gedachte: Relevante numerieke gegevens uit de prompt en datasets halen voor berekeningen.
• (0:03) Data-extractie:
  • Gedachte: Hoeveelheden en prijzen voor beide producten geëxtraheerd.
• (0:05 - 0:19) Berekeningen:
  • Stapsgewijze berekening van omzet en winst per product en in totaal.
• (0:20 - 0:24) Groeiberekening:
  • 10% omzetverhoging berekend, extra benodigde eenheden bepaald.
• (0:26) Antwoordformulering:
  • Duidelijk, beknopt eindantwoord geformuleerd.

Analyse

• Laat zien hoe problemen worden opgedeeld in beheersbare stappen.
• Extraheert en verwerkt data, past de juiste regels toe en formuleert antwoorden.
• Gaat verder dan simpele Q&A naar meerstaps probleemoplossing.

Taak 3: Samenvatting van kernbevindingen

Prompt

“Vat de belangrijkste bevindingen uit het vorige artikel samen in 100 woorden, met focus op de meest significante secties.”

Output (Fragment)

“Het artikel gaat in op AI-redeneren, met nadruk op de rol ervan bij het mogelijk maken van besluitvorming en probleemoplossing door machines. Diverse typen komen aan bod, met nadruk op formeel en natuurlijk taalredeneren…”

Uiteenzetting Denkproces AI-agent

• Lezen & Begrijpen: Identificeert hoofdonderwerp en kernthema’s van het artikel (typen AI-redeneren, historische ontwikkeling, toepassingen).
• Focussen: Benadrukt het OpenAI o1-model en de opvallende kenmerken.
• Samenvattingsstrategie: Plant een beknopte samenvatting van 100 woorden.
• Opstellen: Structureert de samenvatting met inleiding, typen, mijlpalen, modelkenmerken, toepassingen.
• Finalisatie: Controleert op woordenaantal en leesbaarheid.

Analyse

• Begrip: Begrijpt complexe tekst en argumenten.
• Kerninformatie: Vindt kritische aspecten (redeneringstypen, modellen, toepassingen).
• Logische structuur: Ordent informatie samenhangend.
• Prioritering: Benadrukt belangrijkste bevindingen.
• Beperkingen: Houdt zich aan limiet en controleert leesbaarheid.

Maatstaven

• Benodigde tijd: 12 seconden
• Leesbaarheid: Flesch-Kincaid-leesniveau: 16, Score: 16,39
• Samenvattingslengte: 100 woorden
• Score: 8/10

Taak 4: Creatief Schrijven – Futuristisch Verhaal

Prompt

“Schrijf een futuristisch verhaal (500 woorden) in een wereld waar elektrische voertuigen volledig de traditionele voertuigen met verbrandingsmotor hebben vervangen. Beschrijf de milieuwijzigingen en maatschappelijke impact.”

Denkproces van de AI-agent

• Brainstormen: Milieueffect (schonere lucht, biodiversiteit), infrastructuur (laadstations, hernieuwbare energie), economie (nieuwe industrieën, minder olieafhankelijkheid), maatschappij (servicegericht eigendom, openbaar vervoer), verhaal (rustige steden, harmonie technologie-natuur).
• Structureren: Ordent het verhaal op milieutechnische, infrastructurele, economische, maatschappelijke veranderingen; sluit af met transformatie.
• Opstellen: Begint met een scène in 2050, beschrijft voordelen en veranderingen, eindigt hoopvol.
• Review: Controleert op samenhang, betrokkenheid, grammatica en leesbaarheid.

Bot Output Fragment:

“In het jaar 2050 stond de wereld aan de vooravond van een nieuw tijdperk, waarin elektrische voertuigen (EV’s) volledig het enige vervoermiddel waren geworden. Deze ingrijpende verandering had niet alleen de manier van reizen getransformeerd, maar ook het weefsel van de samenleving en het milieu zelf.

De lucht was helderder dan in meer dan een eeuw het geval was geweest. Door de eliminatie van voertuigen met verbrandingsmotor was de vroeger alomtegenwoordige smog in grote steden verdwenen. De luchtkwaliteit was zo sterk verbeterd dat aandoeningen aan de luchtwegen door vervuiling aanzienlijk waren afgenomen. Mensen haalden diep adem van de schone lucht, een simpel genoegen dat nu normaal was. De milieueffecten waren diepgaand; ecosystemen herstelden zich, stedelijke gebieden zagen een terugkeer van biodiversiteit. Parken waren vol leven, en stadsbewoners genoten van de hernieuwde band met de natuur.”

Benodigde tijd: 39 seconden
Leesbaarheid: Flesch-Kincaid-leesniveau: 13, Score: 13,2
Samenvattingslengte: 493 woorden

Analyse

• Sterke punten: Levendige beeldspraak, boeiend verhaal, evenwichtige focus op milieu en samenleving.
• Zwakke punten: Kan meer technische details bevatten.
• Score: 9,5/10

Taak 5: Vergelijkingsdoelstellingen

Prompt

Vergelijk de milieueffecten van elektrische voertuigen met die van waterstofauto’s. Neem factoren mee als energieproductie, levenscyclus en uitstoot.

Denkproces van de AI-agent

• (0:01) Begrijpen van de prompt: Focus op vergelijking energieproductie.
• (0:03) Start onderzoek: Verzamelt data over elektriciteits- en waterstofproductie.
• (0:06) Raamwerk opzetten: Vergelijkt op basis van energiebron, productiemethode.
• (0:08-0:14) Analyse: CO₂-uitstoot, efficiëntie, hernieuwbaar versus fossiel, waterstof uit stoomreforming versus elektrolyse.
• (0:18) Levenscyclusanalyse: Productie, onderhoud, afdanking voor beide typen.
• (0:44-0:54) Uitstoot: Onderscheid tussen directe (uitlaat) en indirecte (productie) uitstoot voor zowel EV’s als waterstofauto’s.

Analyse

• Onderzoeksgericht: Zoekt externe informatie.
• Gestructureerde aanpak: Splitst op in componenten (energie, levenscyclus, uitstoot).
• Adaptief: Past aan op basis van bevindingen en gebruikersvragen.
• Synthese: Combineert bronnen tot een volledig antwoord.
• Responsief: Verfijnt analyse op verzoek.

Vergelijking met Traditionele LLM’s

De GPT-4o AI-agent toont een uniek vermogen om “te denken” voorbij traditionele LLM’s door:

1. Adaptief redeneren: Integreert context uit prompts en data en genereert meerdere strategieën in plaats van vaste antwoorden.
2. Multimodaal gebruik van bronnen: Gebruikt tools zoals zoekmachines voor realtime kennis, wat de output verbetert.
3. Veelzijdigheid in stijl: Wisselt moeiteloos tussen formele en creatieve toon terwijl samenhang behouden blijft.
4. Besluitvorming: Toont keten-van-gedachten-redenering vergelijkbaar met menselijke besluitvorming, inclusief ethische overwegingen en alternatieven.

Belangrijkste Observaties

• GPT-4o AI-agent is veelzijdig, accuraat en kan verschillende taken aan.
• Leesbaarheidsstatistieken zijn geschikt voor gevorderde gebruikers bij technische taken.
• Verbeterpunten:
  • Verminder herhaling in lange outputs.
  • Maak technische inhoud toegankelijker voor een breder publiek.

Conclusie

Onze analyse van de GPT-4o AI-agent laat robuuste capaciteiten zien in contentgeneratie, probleemoplossing en samenvatten. GPT-4o’s adaptieve redenering en multimodale integraties betekenen een belangrijke sprong vooruit ten opzichte van traditionele LLM’s. Door inzicht te krijgen in de prestatiestatistieken kunnen gebruikers prompts verfijnen en de sterke punten benutten in uiteenlopende workflows. De inzet van GPT-4o op het gebied van onderzoek, onderwijs en industrie blijft de grenzen verleggen van wat AI-agenten kunnen bereiken.

Voor meer inzichten in AI-agenten en hun toepassingen, houd onze blog in de gaten.