OpenAI O3 Mini vs DeepSeek agenttikäytössä

31. tammikuuta OpenAI julkaisi uuden sukupolven päättelymallinsa O3 Mini -mallin. Kaiken kaikkiaan OpenAI O3 Mini -malli on noin 15 kertaa edullisempi lähes samalla tarkkuudella kuin O1-malli, joka oli OpenAI:n aiempi päättelymallien sukupolvi. Uusi OpenAI O3 Mini -malli on nyt saatavilla FlowHuntissa alle vuorokauden kuluttua OpenAI:n julkaisusta. Tässä blogissa sukellamme syvälle mallin kyvykkyyksiin ja vertaamme sitä DeepSeekiin.

Arviointikriteerit: OpenAI O3 Mini vs DeepSeek

Tässä arvioinnissa hyödynsin yksinkertaista mutta tehokasta työnkulkua: chat-syöte, chat-vastaus sekä AI-selitys, joiden avulla selitettiin selkeästi Ruy Lopez -avauslinja shakkissa. Vertailin DeepSeekin ja O3 Minin suorituksia arvioidakseni, miten kumpikin järjestelmä käsittelee avainmuuvien (kuten 1. e4 e5, 2. Nf3 Nc6, 3. Bb5 a6, 4. Ba4 Nf6 ja 5. O-O Be7) esittämistä ja niiden kehitystä. Tämä vertailu osoittaa paitsi näiden AI-työkalujen kyvyt käsitellä ja välittää monimutkaisia shakkistrategioita, myös yksinkertaisen keskusteluflow’n arvon luettavuuden ja käytännön arvioinnin kannalta.

Tässä työnkulku:

DeepSeekin tulokset

Kysyin mallilta seuraavaa:
“Give me first 10 moves of Ruy Lopez.”
Tulos on seuraava. Tässä DeepSeekin ajatteluprosessi:

o3 mini vs deepseek Istunnon uudelleenkäynnistys Odota hetki give me first 10 moves of ruy lopez
Okei, yritän selvittää Ruy Lopez -avauksen kymmenen ensimmäistä siirtoa. Muistan, että Ruy Lopez on yksi vanhimmista ja suosituimmista avauksista, alkaen siirroilla 1.e4 e5. Sitten valkea pelaa 2.Nf3, kehittää ratsua ja pyrkii hallitsemaan keskustaa. Seuraavaksi 2…Nc6, jossa musta kehittää ratsunsa ja tukee e5-sotilasta. Nyt varsinainen Ruy Lopez alkaa siirrolla 3.Bb5, joka hyökkää c6-ratsua vastaan. Mielestäni tämä on avauksen avainsiirto. Sitten musta yleensä vastaa 3…a6 haastamalla lähetin. Tämän jälkeen valkea siirtää lähetin turvaan 4.Ba4. Nyt minulla on kuusi siirtoa: 1.e4 e5 2.Nf3 Nc6 3.Bb5 a6 4.Ba4. Seuraava mustan siirto on usein 4…Nf6, joka kehittää ratsua ja hyökkää e4-sotilaaseen. Sitten valkea linnoittaa kuningaspuolelle 5.0-0 suojatakseen kuninkaan ja tuodakseen tornin peliin. Nyt ollaan kahdeksassa siirrossa. Seuraavaksi musta voi pelata 5…b5 haastaakseen valkean lähetin a4:ssä ja saadakseen tilaa kuningattaren siivelle. Valkea vastaa 6.c3, tukien d4:n siirtoa ja valmistellen muiden nappuloiden kehitystä. Kymmenes siirto olisi 6…d6, joka vahvistaa e5-sotilasta ja valmistaa tumma-ruutuisen lähettinsä kehitystä varten. En ole kuitenkaan täysin varma pelaako musta aina 5…b5. Joskus voi tulla 5…Be7, mutta luulen, että 5…b5 on yleisempi suljetussa Ruy Lopezissa. Myös 6.c3:n jälkeen musta voi valita 6…d6:n tai 6…b5:n uudelleen, mutta 6…d6 vaikuttaa vakiintuneemmalta e5:n tukemiseksi. Pitäisi tarkistaa järjestys, että en sekoittanut siirtoja. Käyn sen uudelleen: e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 0-0 b5 c3 d6 Kyllä, tämä vaikuttaa oikealta. Eli ensimmäiset kymmenen siirtoa ovat kuten mainitsin. Mielestäni tämä on hyvä perusta, mutta en ole varma voisiko musta valita vaihtoehtoisia linjoja aiemmin, esimerkiksi 3.Bb5 jälkeen 3…g6 3…a6:n sijaan, mutta 3…a6 johtaa Morphy-puolustukseen. Joten pysyn tässä linjassa ensimmäisten kymmenen siirron osalta. Perusta molemmille, valkea tähtää keskustan hallintaan ja nappuloiden kehitykseen, kun taas musta haastaa valkean lähetin ja valmistautuu jatkokehitykseen.

Lopputulos:

Ruy Lopez -avauksen kymmenen ensimmäistä siirtoa Morphy-puolustukseen seuraten ovat:
e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 0-0 b5 c3 d6
Tämä järjestys luo vankan perustan sekä valkealle että mustalle; valkea tähtää keskustan hallintaan ja nappuloiden kehitykseen, kun taas musta haastaa valkean lähetin ja valmistautuu jatkokehitykseen.

OpenAI O3 Mini -tulokset

O3 voittaa. O3 Minin vastaus on ymmärrettävämpi ja oikeampi.

Ruy Lopez (tai espanjalainen peli) on monipuolinen avaus, jossa on lukuisia muunnelmia. Yksi yleisimmistä tavoista saavuttaa klassinen suljettu Ruy Lopez on seuraavin siirroin:
e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 O-O Be7 Re1 b5 Bb3 d6 c3 O-O h3 Nb8 d4

Tässä lyhyt selitys siirtojen taustalla olevista ideoista:

• 1. e4 e5 luo klassisen keskustataistelun.
• 2. Nf3 kehittää ratsun ja hyökkää e5-sotilaaseen; musta puolustaa Nc6:lla.
• 3. Bb5 sitoo c6-ratsun (joka puolustaa e5:tä) ja lisää painetta keskustaan; musta haastaa a6:lla.
• 4. Ba4 vetäytyy pitäen sidonnan; musta kehittää toisen nappulan Nf6:lla.
• 5. O-O turvaa valkean kuninkaan; musta pelaa Be7 valmistellen linnoitusta.
• 6. Re1 vahvistaa e4-sotilasta; mustan b5 ajaa lähetin ja antaa tilaa kuningattaren siivelle.
• 7. Bb3 säilyttää lähetin diagonaalin; musta vahvistaa keskustaa d6:lla.
• 8. c3 valmistaa d4-siirtoa ja mahdollistaa lähetin vetäytymisen tarvittaessa, ja musta linnoittaa O-O:lla.
• 9. h3 estää nappuloita (kuten ratsu tai lähettiläs) tulemasta g4:ään, jossa ne voisivat kiusata valkean keskustaa tai nappuloita; musta vetää ratsun Nb8:aan uudelleenreititystä varten.
• 10. d4 on valkean keskusta-avaus, tarkoituksena haastaa mustan sotilasrakenne.

Huomioi, että tämä on vain yksi monista mahdollisista siirtojärjestyksistä Ruy Lopezissa. Esimerkiksi avoimen Ruy Lopezin tai muiden suljetun Ruy Lopezin linjojen siirrot voivat poiketa jo neljännen siirron jälkeen. Yllä oleva sarja on kuitenkin tunnettu polku klassisessa shakkiteoriassa.

DeepSeekin ja OpenAI O3 Minin arviointi agenttimaisessa käyttäytymisessä

Arvioimme päättelymalleja tehtävässä, joka vaatii 2–3 työkalua AI-agenteilta. Tässä tehtävä:

Saatuaan yrityksen nimen, etsi ja löydä tuotteen hinnoittelusivu ja ehdota parannuksia.
Ota lisäksi kuvakaappaus hinnoittelusivusta.
Lähetä sen jälkeen sähköposti minulle tuloksista.

Tehtävä vaatii yhteyden Google-hakuun hinnoittelusivun löytämiseksi, hinnoittelusivun kaapimisen ja yksityiskohtaisen raportin lähettämisen sähköpostiin.

Tehtävän kuvaus jätettiin tarkoituksella epätarkaksi mallien päättelykykyjen testaamiseksi.

DeepSeek AI-agenttina

Deepseek ei onnistunut lähettämään sähköpostia. Kokemuksemme mukaan Deepseek ei ole yhtä tarkka työkalujen käytössä verrattuna OpenAI GPT4o:hon tai OpenAI O3 Mini -malleihin. Tässä on DeepSeekin tuottama raportti FlowHuntin hinnoittelusivun analysoinnista. Ohessa DeepSeekin ajatusprosessi:

1. Google-työkalun kutsu:

2. URL:n kaapiminen:

Päättely:

Aihe: FlowHuntin hinnoittelusivun arviointi ja ehdotukset

Hei [Nimesi],

Toivottavasti tämä viesti tavoittaa sinut hyvin. Alla on kooste FlowHuntin hinnoittelusivusta sekä ehdotuksia sen parantamiseksi.

Hinnoittelun yleiskuvaus:

FlowHunt tarjoaa neljä hinnoittelutasoa:

Starter-paketti (10 €/kk):

• 10 krediittiä
• 5 työnkulkua työtilaa kohden
• 1 työtila
• 1 tiimin jäsen työtilaa kohden
• 5 chatbotia työtilaa kohden
• 2 verkkosivustoa työtilaa kohden
• 5 dokumenttia työtilaa kohden
• 50 UKK:ta työtilaa kohden
• Pääsy kaikkiin uusimpiin OpenAI LLM:iin, mukaan lukien mukautetut mallit
• Kaikki integraatiot
• Sähköpostituki

Pro-paketti (50 €/kk):

• 55 krediittiä (sisältää 10 % alennuksen krediiteistä)
• 20 työnkulkua työtilaa kohden
• 5 työtilaa
• 10 tiimin jäsentä työtilaa kohden
• 20 chatbotia työtilaa kohden
• 10 verkkosivustoa työtilaa kohden
• 50 dokumenttia työtilaa kohden
• 100 UKK:ta työtilaa kohden
• Pääsy kaikkiin uusimpiin OpenAI LLM:iin, mukaan lukien mukautetut mallit
• Pro-tuki
• API-avaimen käyttöoikeus
• Perusanalytiikka (tulossa pian)
• Kaikki integraatiot

Premium-paketti (500 €/kk):

• 600 krediittiä (sisältää 20 % alennuksen krediiteistä)
• 50 työnkulkua työtilaa kohden
• 10 työtilaa
• 100 tiimin jäsentä työtilaa kohden
• 50 chatbotia työtilaa kohden
• 30 verkkosivustoa työtilaa kohden
• 100 dokumenttia työtilaa kohden
• 200 UKK:ta työtilaa kohden
• Pääsy kaikkiin uusimpiin OpenAI LLM:iin, mukaan lukien mukautetut mallit
• Prioriteettituki
• API-avaimen käyttöoikeus
• Kehittynyt analytiikka (tulossa pian)
• Alkuperäinen työnkulkujen konsultointi
• Alkuperäinen työnkulkujen koulutustuki
• Kaikki integraatiot

Enterprise-paketti (Mukautettu hinnoittelu alkaen 1500 €/kk):

• Sopimukseen perustuvat tokenit (oma avain – BYOK)
• Rajattomat työnkulut
• Rajattomat työtilat
• Rajattomat käyttäjät
• Rajattomat chatbotit
• Rajattomat aikataulut
• Rajattomat dokumentit
• Rajattomat kysymykset ja vastaukset
• Rajaton keskusteluhistoria
• Pääsy kaikkiin uusimpiin OpenAI LLM:iin, mukaan lukien mukautetut mallit
• Oma prioriteettituki
• API-avaimen käyttöoikeus
• Kehittynyt analytiikka (tulossa pian)
• Mukautettavat työnkulku-moduulit
• Valinnainen koulutustuki
• Kehittynyt tietoturva ja on-premises-asennus

Ehdotetut parannukset:

• Ominaisuuksien vertailutaulukko: Laadi rinnakkainen vertailutaulukko, joka tuo esiin eri pakettien ominaisuudet. Tämä helpottaisi käyttäjiä havaitsemaan erot nopeasti.
• Asiakastarinat / referenssit: Asiakaskokemusten tai referenssien lisääminen vahvistaa luottamusta ja uskottavuutta.
• Hinnoittelulaskuri: Toteuta interaktiivinen hinnoittelulaskuri, jonka avulla käyttäjät voivat arvioida kustannuksiaan tarpeidensa mukaan, erityisesti Enterprise-paketille.
• Ilmainen kokeilu näkyvämmin: Tee ilmainen kokeilu näkyvämmäksi sivulla, jotta käyttäjiä rohkaistaan kokeilemaan palvelua ennen ostoa.
• Yksityiskohtaiset ohjeet / käyttöoppaat: Tarjoa linkit yksityiskohtaisiin ohjeisiin tai oppaisiin, jotta käyttäjät ymmärtävät paremmin eri pakettien ominaisuudet.

OpenAI O3 Mini agenttina

Sen sijaan, tällä vähäisellä kuvauksella OpenAI O3 Mini -malli pystyi purkamaan oikean prosessin:

1. Google-haku

2. URL:n kaapiminen

3. Sähköpostin lähetys

Tämä on saamani sähköposti:

Hei,

Alla ovat FlowHuntin hinnoittelusivun arvion tulokset sekä ehdotetut parannukset:

Hinnoittelusivun URL: https://www.flowhunt.io/pricing/

Kuvakaappaus: Kuvakaappaus hinnoittelusivusta on otettu. (Katso liitteenä oleva kuvakaappaus järjestelmässäsi.)

Hinnoittelusivun yhteenveto:

Hinnoittelusivu esittelee selkeästi neljä pakettia: Starter (10 €/kk), Pro (50 €/kk), Premium (500 €/kk) ja Enterprise (alkaen 1500 €/kk). Jokainen paketti listaa krediitit, työnkulku- ja tiimirajat, ydinominaisuudet sekä lisätukivaihtoehdot. Sivulla on sekä yleiskatsaus että yksityiskohtainen vertailutaulukko, joka auttaa potentiaalisia asiakkaita vertailemaan pakettien ominaisuuksia.

Ehdotetut parannukset:

• Interaktiivinen hinnoittelulaskuri: Harkitse interaktiivisen hinnoittelulaskurin lisäämistä, jonka avulla käyttäjät voivat säätää parametreja (esim. työnkulkujen määrä, tiimin jäsenet) ja nähdä kuukausikustannuksensa dynaamisesti.
• Visuaaliset parannukset ja UX-kehitys: Ota käyttöön houkuttelevampia visuaaleja (esim. ikonit tai infograafit) korostamaan kunkin paketin ominaisuuksia. Lisää hienovaraisia animaatioita pakettien yksityiskohtien päälle hiiren liikuttaessa käyttökokemuksen parantamiseksi.
• Valuuttamuunnin: Koska hinnoittelu on euroissa, tarjoa mahdollisuus valuutan vaihtoon kansainvälisille käyttäjille paremman lokalisaation takaamiseksi.
• Selkeämmät CTA:t: Tee CTA-painikkeista näkyvämpiä ja harkitse toissijaisen CTA:n (esim. “Lue lisää” pakettien eduista) lisäämistä niille, jotka tarvitsevat lisää tietoa ennen rekisteröitymistä.
• Laajennettu UKK-osio: Laajenna UKK-osiota kattavammilla vastauksilla mm. krediittijärjestelmästä, mahdollisista ylityksistä ja yleisimmistä asiakastilanteista. Käytä tarvittaessa kollapsoituvia osioita, jotta sivu pysyy selkeänä.
• Sosiaalinen todiste ja asiakastarinat: Lisää asiakaspalautteita tai onnistumistarinoita hinnoitteluosion läheisyyteen uskottavuuden kasvattamiseksi.
• Mobiilioptimointi: Varmista, että hinnoittelutaulukko ja kaikki interaktiiviset elementit toimivat optimaalisesti mobiililaitteilla.
• Chat-tuen integrointi: Lisää integroitu live-chat tai chatbot hinnoittelusivulle, jotta mahdolliset kysymykset hinnoittelusta tai paketeista saa nopeasti vastauksen.

Näillä parannuksilla FlowHunt voi tarjota houkuttelevamman ja käyttäjäystävällisemmän kokemuksen, mikä voi lisätä konversioastetta.

Ystävällisin terveisin,
[Nimesi]

(P.S. Tämä sähköposti sisältää FlowHuntin hinnoittelusivun tulokset ja ehdotukset sekä tiedon otetusta kuvakaappauksesta.)