OpenAI O3 Mini kontra DeepSeek w zadaniach agentowych

Na dzień 31 stycznia OpenAI wypuścił swoją nową generację modeli rozumowania — O3 Mini Model. Ogólnie rzecz biorąc, wydaje się, że OpenAI O3 Mini jest 15 razy tańszy przy zbliżonej dokładności do modelu O1, czyli poprzedniej generacji modeli rozumowania OpenAI. Nowy model, OpenAI O3 Mini, jest dostępny w FlowHunt w ciągu niecałej doby od premiery przez OpenAI. W tym wpisie blogowym szczegółowo przyjrzymy się możliwościom modelu i porównamy go z DeepSeek.

Kryteria oceny: OpenAI O3 Mini vs DeepSeek

W tej ocenie wykorzystałem prosty, lecz skuteczny przepływ pracy, obejmujący wejście do czatu, wyjście z czatu i generator AI, by dostarczyć jasnego i zwięzłego wyjaśnienia głównej linii otwarcia Ruy Lopez w szachach. Porównując wydajność DeepSeek z O3 Mini, mogłem ocenić, jak każdy z tych systemów radzi sobie z opisaniem kluczowych ruchów — takich jak 1. e4 e5, 2. Sf3 Sc6, 3. Gb5 a6, 4. Ga4 Sf6, i 5. 0-0 Ge7 — oraz ich dalszego rozwoju. Ta analiza porównawcza nie tylko pokazuje możliwości tych narzędzi AI w przetwarzaniu i przekazywaniu złożonych strategii szachowych, ale również podkreśla wartość prostego, konwersacyjnego przepływu dla czytelności i praktycznych efektów oceny.

Tak wyglądał przepływ:

Wyniki DeepSeek

Zadałem modelowi następujące pytanie:
„Podaj mi pierwsze 10 ruchów otwarcia Ruy Lopez.”
Oto rezultat. Tak wyglądał tok rozumowania DeepSeek:

o3 mini vs deepseek Restarting session Please wait give me first 10 moves of ruy lopez
Ok, więc próbuję ustalić pierwszych 10 ruchów otwarcia Ruy Lopez w szachach. Pamiętam, że Ruy Lopez to jedno z najstarszych i najpopularniejszych otwarć, rozpoczynające się od ruchów 1.e4 e5. Następnie białe grają 2.Sf3, rozwijając skoczka i przygotowując kontrolę centrum. Dalej 2…Sc6, gdzie czarne rozwijają skoczka i wspierają pionka e5. Teraz właściwy Ruy Lopez zaczyna się od 3.Gb5, co atakuje skoczka na c6. Myślę, że to kluczowy ruch definiujący otwarcie. Czarne zazwyczaj odpowiadają 3…a6, wyganiając gońca. Następnie białe grają 4.Ga4, cofając gońca na bezpieczne pole. Mam już sześć ruchów: 1.e4 e5 2.Sf3 Sc6 3.Gb5 a6 4.Ga4. Następny ruch czarnych to często 4…Sf6, rozwijając skoczka i atakując pionka e4. Białe roszują królem z 5.0-0, by zapewnić bezpieczeństwo królowi i wprowadzić wieżę do gry. To już osiem ruchów. Potem czarne mogą zagrać 5…b5, wyganiając gońca białych z a4 i zdobywając przestrzeń na skrzydle hetmańskim. Białe odpowiadają 6.c3, wspierając d4 i przygotowując rozwój pozostałych figur. Dziesiąty ruch to 6…d6, wzmacniający pionka e5 i przygotowujący rozwój czarnopolowego gońca. Chwila, nie jestem do końca pewien, czy czarne zawsze grają 5…b5. Czasem mogą zagrać 5…Ge7, ale myślę, że 5…b5 jest częstsze w zamkniętym Ruy Lopez. Po 6.c3 czarne mogą wybrać między 6…d6 a 6…b5 ponownie, ale 6…d6 wydaje się bardziej standardowe do wsparcia e5. Powinienem jeszcze raz sprawdzić kolejność, żeby upewnić się, że nie pomyliłem żadnego ruchu. Przejdę to jeszcze raz: e4 e5 Sf3 Sc6 Gb5 a6 Ga4 Sf6 0-0 b5 c3 d6 Tak, to się zgadza. Czyli pierwsze dziesięć ruchów jest takie, jak wymieniłem. To solidna podstawa, ale nie jestem pewien, czy nie ma alternatywnych wariantów czarnych, np. po 3.Gb5, może 3…g6 zamiast 3…a6, ale myślę, że 3…a6 to główna linia prowadząca do obrony Morphy’ego. Zostanę więc przy tej kolejności. To fundament zarówno dla białych, jak i czarnych — białe dążą do silnego centrum i rozwoju figur, czarne wyganiają gońca białych i przygotowują dalszy rozwój.

Ostateczny wynik:

Pierwsze dziesięć ruchów otwarcia Ruy Lopez według obrony Morphy’ego to:
e4 e5 Sf3 Sc6 Gb5 a6 Ga4 Sf6 0-0 b5 c3 d6
Ta sekwencja stanowi solidną podstawę zarówno dla białych, jak i czarnych — białe dążą do silnego centrum i rozwoju figur, czarne wyganiają gońca białych i przygotowują dalszy rozwój.

Wyniki OpenAI O3 Mini

Wygrywa O3. Odpowiedź O3 Mini jest bardziej zrozumiała i poprawna.

Ruy Lopez (czyli partia hiszpańska) to bogate otwarcie z wieloma wariantami. Jednym z najczęstszych sposobów dojścia do klasycznego zamkniętego Ruy Lopez jest następująca sekwencja ruchów:
e4 e5 Sf3 Sc6 Gb5 a6 Ga4 Sf6 0-0 Ge7 Wd1 b5 Gb3 d6 c3 0-0 h3 Sb8 d4

Krótkie wyjaśnienie idei tych ruchów:

• 1. e4 e5 to klasyczna walka o centrum.
• 2. Sf3 rozwija skoczka i atakuje pionka e5; czarne bronią pionka ruchem Sc6.
• 3. Gb5 wiąże skoczka na c6 (który broni e5) i zwiększa presję na centrum; czarne odpowiadają a6.
• 4. Ga4 cofa gońca przytrzymując wiązanie; czarne rozwijają kolejną figurę ruchem Sf6.
• 5. 0-0 zapewnia bezpieczeństwo królowi białych; czarne grają Ge7, przygotowując roszadę.
• 6. Wd1 wzmacnia pionka e4; b5 czarnych wygania gońca i zdobywa przestrzeń na skrzydle hetmańskim.
• 7. Gb3 utrzymuje przekątną gońca; czarne wzmacniają centrum ruchem d6.
• 8. c3 przygotowuje wsparcie dla przyszłego d4 i ewentualny odwrót gońca, a czarne roszują 0-0.
• 9. h3 uniemożliwia wejście figurom (jak skoczek lub goniec) na g4, gdzie mogłyby przeszkadzać w centrum lub nękać figury białych; czarne cofają skoczka na b8, by przegrupować.
• 10. d4 to przełamanie białych w centrum, mające na celu wyzwanie strukturze pionkowej czarnych.

Pamiętaj, że to tylko jedna z wielu poprawnych kolejności ruchów w Ruy Lopez. Warianty takie jak otwarty Ruy Lopez lub inne linie zamkniętego Ruy Lopez mogą się różnić już po czwartym ruchu lub później. Jednak powyższa sekwencja to dobrze znana ścieżka często wybierana w klasycznej teorii szachowej.

Ocena DeepSeek i OpenAI O3 Mini pod kątem zachowań agentowych

Przetestowaliśmy modele rozumowania na zadaniu wymagającym użycia 2-3 narzędzi przez agentów AI. Oto zadanie:

Mając podaną nazwę firmy, znajdź stronę z cennikiem produktu i zaproponuj ulepszenia.
Zrób także zrzut ekranu strony z cennikiem.
Następnie wyślij do mnie e-mail z wynikami.

Zadanie wymaga połączenia się z wyszukiwarką Google w celu znalezienia strony z cennikiem, przeanalizowania tej strony oraz przesłania szczegółowego raportu na e-mail.

Opis zadania był celowo nieprecyzyjny, by sprawdzić możliwości rozumowania testowanych modeli.

Użycie DeepSeek jako agenta AI

DeepSeek nie był w stanie wysłać e-maila. Ogólnie nasze doświadczenie pokazuje, że DeepSeek nie jest tak precyzyjny w wywoływaniu narzędzi w porównaniu do OpenAI GPT4o czy OpenAI O3 Mini. Oto raport wygenerowany przez DeepSeek po analizie strony cennika FlowHunt. Oto tok rozumowania DeepSeek:

1. Wywołanie narzędzia Google:

2. Scraping URL:

Tok rozumowania:

Temat: Recenzja strony cennika FlowHunt i propozycje ulepszeń

Witam [Twoje Imię],

Mam nadzieję, że ta wiadomość zastaje Cię w dobrym nastroju. Poniżej znajdziesz podsumowanie strony cennika FlowHunt oraz kilka sugestii dotyczących ulepszeń.

Przegląd cennika:

FlowHunt oferuje cztery poziomy cenowe:

Starter (€10/miesiąc):

• 10 kredytów
• 5 przepływów pracy na workspace
• 1 workspace
• 1 członek zespołu na workspace
• 5 chatbotów na workspace
• 2 strony www na workspace
• 5 dokumentów na workspace
• 50 FAQ na workspace
• Dostęp do wszystkich najnowszych modeli OpenAI LLM, w tym modeli dostrajanych
• Wszystkie integracje
• Wsparcie e-mailowe

Pro (€50/miesiąc):

• 55 kredytów (zawiera 10% rabatu na kredyty)
• 20 przepływów pracy na workspace
• 5 workspace’ów
• 10 członków zespołu na workspace
• 20 chatbotów na workspace
• 10 stron www na workspace
• 50 dokumentów na workspace
• 100 FAQ na workspace
• Dostęp do wszystkich najnowszych modeli OpenAI LLM, w tym modeli dostrajanych
• Wsparcie Pro
• Dostęp do klucza API
• Podstawowa analityka (wkrótce)
• Wszystkie integracje

Premium (€500/miesiąc):

• 600 kredytów (zawiera 20% rabatu na kredyty)
• 50 przepływów pracy na workspace
• 10 workspace’ów
• 100 członków zespołu na workspace
• 50 chatbotów na workspace
• 30 stron www na workspace
• 100 dokumentów na workspace
• 200 FAQ na workspace
• Dostęp do wszystkich najnowszych modeli OpenAI LLM, w tym modeli dostrajanych
• Priorytetowe wsparcie
• Dostęp do klucza API
• Zaawansowana analityka (wkrótce)
• Konsultacja przy wdrożeniu workflow
• Wsparcie w szkoleniu workflow
• Wszystkie integracje

Enterprise (indywidualna wycena od €1500/miesiąc):

• Zamówione tokeny (własny klucz – BYOK)
• Nielimitowane przepływy pracy
• Nielimitowane workspace’y
• Nielimitowani użytkownicy
• Nielimitowane chatboty
• Nielimitowane harmonogramy
• Nielimitowane dokumenty
• Nielimitowane pytania i odpowiedzi
• Nielimitowana historia czatu
• Dostęp do wszystkich najnowszych modeli OpenAI LLM, w tym modeli dostrajanych
• Dedykowane priorytetowe wsparcie
• Dostęp do klucza API
• Zaawansowana analityka (wkrótce)
• Moduły workflow do personalizacji
• Opcjonalne wsparcie szkoleniowe
• Zaawansowane bezpieczeństwo i wdrożenia on-premises

Propozycje ulepszeń:

• Tabela porównawcza funkcji: Utwórz tabelę porównawczą najważniejszych funkcji każdego z planów, by użytkownicy mogli szybko zidentyfikować różnice.
• Opinie klientów/Case studies: Dodanie opinii lub studiów przypadków z realnych wdrożeń zwiększy zaufanie i wiarygodność.
• Kalkulator cenowy: Wprowadź interaktywny kalkulator cen pozwalający użytkownikom wyliczyć koszt na podstawie ich potrzeb, zwłaszcza dla planu Enterprise.
• Wyróżnienie darmowego okresu próbnego: Spraw, by opcja darmowego testowania była bardziej widoczna, zachęcając do wypróbowania usługi przed zakupem.
• Szczegółowa dokumentacja/przewodniki: Dodaj linki do szczegółowej dokumentacji lub przewodników, by użytkownicy mogli lepiej wykorzystać funkcje każdego planu.

Użycie OpenAI O3 Mini jako agenta AI

Z kolei przy tak ogólnym opisie model OpenAI O3 Mini rozpoznał i przeprowadził dokładnie oczekiwany proces:

1. Wyszukiwanie Google

2. Scraping URL

3. Wysyłanie e-maila

Oto e-mail, który otrzymałem:

Cześć,

Poniżej znajdują się wyniki przeglądu strony cennika FlowHunt oraz sugestie dotyczące ulepszeń:

Adres strony cennika: https://www.flowhunt.io/pricing/

Zrzut ekranu: Został wykonany zrzut ekranu strony cennika. (Proszę sprawdzić załącznik w swoim systemie.)

Podsumowanie strony cennika:

Strona cennika jasno prezentuje cztery plany: Starter (€10/miesiąc), Pro (€50/miesiąc), Premium (€500/miesiąc) i Enterprise (od €1500/miesiąc). Każdy plan opisuje liczbę kredytów, limity workflow i zespołów, kluczowe funkcje oraz opcje wsparcia. Na stronie znajduje się zarówno ogólny przegląd, jak i szczegółowa tabela porównawcza, co ułatwia potencjalnym klientom porównanie funkcji poszczególnych planów.

Propozycje ulepszeń:

• Interaktywny kalkulator cen: Warto rozważyć dodanie kalkulatora, w którym użytkownik będzie mógł dostosować parametry (np. liczbę workflow, członków zespołu) i zobaczyć szacunkowy koszt miesięczny na żywo.
• Wizualne i UX-owe ulepszenia: Wprowadź atrakcyjne grafiki (np. ikony lub infografiki), by wyróżnić cechy każdego z planów. Dodaj subtelne animacje przy najechaniu na szczegóły planów dla większej interaktywności.
• Przelicznik walut: Jako że ceny podano w euro, warto dodać opcję przelicznika walut dla użytkowników międzynarodowych.
• Wyraźniejsze CTA: Popraw widoczność przycisków CTA, np. dodając drugorzędne CTA („Dowiedz się więcej” o korzyściach planu) dla użytkowników, którzy potrzebują więcej informacji przed rejestracją.
• Rozbudowana sekcja FAQ: Rozszerz sekcję FAQ o szczegółowe odpowiedzi dotyczące systemu kredytów, możliwych przekroczeń limitów czy typowych scenariuszy klientów. Można zastosować sekcje rozwijane, by zachować porządek na stronie.
• Społeczny dowód i opinie: Umieść opinie klientów lub historie sukcesu blisko sekcji cenowej dla zwiększenia wiarygodności.
• Optymalizacja mobilna: Upewnij się, że tabela cenowa i wszystkie interaktywne elementy dobrze wyświetlają się na urządzeniach mobilnych.
• Integracja czatu: Dodaj zintegrowany czat na żywo lub chatbota na stronie cennika, aby błyskawicznie odpowiadać na pytania dotyczące cen czy szczegółów planów.

Wprowadzając te ulepszenia, FlowHunt może zaoferować bardziej angażujące i przyjazne doświadczenie użytkownika, co potencjalnie zwiększy współczynnik konwersji.

Pozdrawiam,
[Twoje Imię]

(PS. Ten e-mail zawiera wyniki i sugestie dotyczące strony cennika FlowHunt oraz informację o wykonanym zrzucie ekranu.)