Agenci AI: Jak myśli GPT 4o

Ocena modeli LLM

Wstęp

Agenci AI reprezentują najnowsze osiągnięcia sztucznej inteligencji, działając jako autonomiczne systemy zdolne do rozumowania, uczenia się i działania na podstawie danych wejściowych użytkownika oraz danych kontekstowych. Poprzez symulowanie ludzkich procesów decyzyjnych wnoszą bezprecedensową efektywność i elastyczność do wielu zadań.

Ten wpis skupia się na ocenie wydajności GPT-4o w różnych zadaniach, wykorzystując szczegółowe prompt’y i metryki. Naszym celem jest zrozumienie, jak ten agent AI „myśli” i ocena jego działania zarówno na podstawie miar ilościowych, jak i jakościowych.

Kryteria oceny

Porównanie opiera się na następujących wymiarach:

1. Obsługa danych wejściowych: Jak dobrze model interpretuje i dostosowuje się do różnorodnych promptów.
2. Generowanie treści: Jasność, trafność i kreatywność wygenerowanych odpowiedzi.
3. Rozumowanie i rozwiązywanie problemów: Zdolność modelu do przeprowadzania dedukcji logicznych i rozwiązywania wieloetapowych problemów.
4. Metryki ilościowe: Wskaźniki czytelności, takie jak ARI i Flesch-Kincaid, oraz czas odpowiedzi.
5. Efektywność: Czas odpowiedzi i ogólne zużycie zasobów obliczeniowych.

Każde kryterium odzwierciedla istotny aspekt działania modelu, umożliwiając wgląd w jego „procesy myślowe”.

Analiza i porównanie

Zadanie 1: Generowanie treści na temat wpływu pojazdów elektrycznych na środowisko

Prompt

„-Generowanie treści: Napisz kompleksowy, informacyjny artykuł o podstawach zarządzania projektami, ze szczególnym uwzględnieniem definiowania celów, zakresu i delegowania.”

Wynik (fragment)

Aby skutecznie zarządzać i delegować zadania w naszym nowym projekcie, kluczowe jest zrozumienie następujących aspektów:

Zakres projektu

Cele: Celem zarządzania projektami jest dostarczenie kompletnego projektu, który spełnia cele klienta. Cele te powinny być konkretne, mierzalne, osiągalne, istotne i określone w czasie (SMART). Jasno zdefiniowane cele będą kierować wszystkimi decyzjami podejmowanymi w trakcie projektu i pomogą zapewnić, że projekt jest zgodny z ogólną misją organizacji….

Metryki

• Czas realizacji: 53 sekundy
• Czytelność:
  • Flesch Kincaid Grade Level: 12
  • Flesch Kincaid Score: 12,08

Proces myślowy agenta AI

• (0:09) Wyszukiwarka Google: „Wyszukiwanie zasad zarządzania projektami, celów, zakresu, delegowania w Google…”

  • Myśl: Zebrać informacje na temat konkretnego zadania, aby przedstawić kompleksową odpowiedź dotyczącą celów, zakresu i istotnych szczegółów. Zacząć od wyszukania ogólnych wytycznych dotyczących zarządzania projektami.
  • Narzędzie: google_serper

• (0:17) System: „Przeglądanie 1 adresu URL… Przeglądanie URL”

• (0:25) Agent:

  • Myśl: Zebrano przydatne linki dotyczące zarządzania projektami, delegowania i celów. Przejrzę najbardziej odpowiedni artykuł dla szczegółów.
  • Narzędzie: url_crawl_tool

• (0:27) Wyszukiwarka Google: „Wyszukiwanie jak definiować cele i zakres projektu w zarządzaniu projektami w Google…”

• (0:29) Agent:

  • Myśl: Wystąpił błąd narzędzia do przeglądania URL; spróbuję kolejnego wyszukiwania Google skupionego na definiowaniu celów i delegowaniu zadań.
  • Narzędzie: google_serper

• (0:31) System: „Przeglądanie 1 adresu URL… Przeglądanie URL”

• (0:38) Agent:

  • Myśl: Znaleziono odpowiednie artykuły; przeszukam najtrafniejszy link.
  • Narzędzie: url_crawl_tool

• (0:44) Agent:

  • Myśl: Nie udało się pobrać treści z poprzednich linków z powodu błędów. Zbiorę informacje bezpośrednio z Wikipedii na temat zarządzania projektami.
  • Narzędzie: wikipedia

• (0:53) Agent:

  • Myśl: Ponieważ pobieranie treści się nie powiodło, spróbuję Wikipedii dla informacji o zarządzaniu projektami.
  • Narzędzie: wikipedia

Analiza

• Zachowanie ukierunkowane na cel: Utrzymanie celu wyjaśnienia zasad zarządzania projektami mimo błędów, sugerujące wewnętrzną reprezentację zadania.
• Adaptacyjne rozwiązywanie problemów: Zmiana strategii (na Wikipedię) w przypadku niepowodzenia początkowych prób.
• Integracja narzędzi: Użyto Google, przeszukiwania URL i Wikipedii.
• Metapoznanie: „Myśli” agenta oferują wgląd i świadomość błędów.

Mocne strony:

• Jasna struktura, trafne informacje, wyważone plusy/minusy, rzetelność faktów.

Słabości:

• Pewna powtarzalność, zmniejszająca zwięzłość.

Ocena: 9/10

Zadanie 2: Rozwiązywanie problemów – obliczenia przychodów

Prompt

„Firma sprzedaje Produkt A za 50$ (koszt 30$) i Produkt B za 70$ (koszt 40$). Sprzedali 120 sztuk A i 80 sztuk B. Oblicz przychód, zysk oraz wymagane sprzedaże dla 10% wzrostu przychodów.”

Wynik (fragment)

„Aby rozwiązać problem: Całkowity przychód ze sprzedaży obu produktów w ostatnim miesiącu wyniósł 11 600$…”

Metryki

• Czas realizacji: 31 sekund
• Czytelność: Flesch-Kincaid Grade Level: 16 (podyplomowy)
• Podział odpowiedzi:
  • Przychód z Produktu A: 120 * 50$ = 6 000$
  • Przychód z Produktu B: 80 * 70$ = 5 600$
  • Całkowity zysk: 4 800$ (po kosztach 6 800$)
  • Strategie wzrostu przychodów: Zwiększyć sprzedaż o 18 sztuk A i 4 sztuki B, lub 9 sztuk A i 10 sztuk B.

Proces myślowy agenta AI

• (0:01) Agent:
  • Myśl: Wydobycie odpowiednich danych liczbowych z promptu i zbioru danych do obliczeń.
• (0:03) Ekstrakcja danych:
  • Myśl: Wyodrębniono ilości i ceny obu produktów.
• (0:05 - 0:19) Obliczenia:
  • Krok po kroku obliczanie przychodu i zysku dla każdego produktu i łącznie.
• (0:20 - 0:24) Obliczenie wzrostu:
  • Obliczono 10% wzrost przychodu, określono dodatkowe sztuki potrzebne do realizacji celu.
• (0:26) Formułowanie odpowiedzi:
  • Przedstawiono jasną, zwięzłą odpowiedź końcową.

Analiza

• Pokazuje rozbijanie problemu na wykonalne etapy.
• Wydobywa i przetwarza dane, stosuje odpowiednie reguły, formułuje odpowiedzi.
• Przekracza proste Q&A, realizuje wieloetapowe rozwiązywanie problemów.

Zadanie 3: Podsumowanie kluczowych wniosków

Prompt

„Podsumuj kluczowe wnioski z poprzedniego artykułu w 100 słowach, koncentrując się na najważniejszych częściach.”

Wynik (fragment)

„Artykuł zagłębia się w rozumowanie AI, podkreślając jego rolę w umożliwianiu maszynom podejmowania decyzji i rozwiązywania problemów. Omawia różne typy, z naciskiem na formalne i naturalne rozumowanie językowe…”

Rozbicie procesu myślowego agenta AI

• Czytanie i zrozumienie: Identyfikuje główny temat artykułu i kluczowe wątki (typy rozumowania AI, ewolucja historyczna, zastosowania).
• Fokus: Wyróżnia model o1 OpenAI i jego cechy szczególne.
• Strategia podsumowania: Planuje zwięzłe podsumowanie na 100 słów.
• Szkicowanie: Strukturyzuje podsumowanie: wstęp, typy, kamienie milowe, cechy modelu, zastosowania.
• Finalizacja: Sprawdza liczbę słów i czytelność.

Analiza

• Zrozumienie: Rozumie złożony tekst i argumentację.
• Kluczowe informacje: Wskazuje najważniejsze aspekty (typy rozumowania, modele, zastosowania).
• Logiczna struktura: Porządkuje informacje spójnie.
• Priorytetyzacja: Kładzie nacisk na najważniejsze wnioski.
• Ograniczenia: Przestrzega limitu słów i sprawdza czytelność.

Metryki

• Czas realizacji: 12 sekund
• Czytelność: Flesch-Kincaid Grade Level: 16, Score: 16,39
• Długość podsumowania: 100 słów
• Ocena: 8/10

Zadanie 4: Pisanie kreatywne – opowiadanie futurystyczne

Prompt

„Napisz futurystyczną historię (500 słów) osadzoną w świecie, w którym pojazdy elektryczne całkowicie zastąpiły tradycyjne pojazdy spalinowe. Opisz zmiany środowiskowe i wpływ na społeczeństwo.”

Proces myślowy agenta AI

• Burza mózgów: Wpływ na środowisko (czystsze powietrze, bioróżnorodność), infrastruktura (stacje ładowania, odnawialne źródła), ekonomia (nowe branże, zmniejszenie zależności od ropy), społeczeństwo (własność usługowa, transport publiczny), narracja (spokojne miasta, harmonia technologii z naturą).
• Strukturyzacja: Kolejność: zmiany środowiskowe, infrastrukturalne, ekonomiczne, społeczne; zakończenie przemianą.
• Szkicowanie: Rozpoczęcie sceną z 2050 roku, opis korzyści i zmian, zakończenie nadzieją.
• Przegląd: Sprawdzenie płynności, zaangażowania, gramatyki i czytelności.

Fragment odpowiedzi bota:

„W roku 2050 świat stanął u progu nowej ery, w pełni przyjmując pojazdy elektryczne (EV) jako jedyny środek transportu. Ta ogromna zmiana nie tylko przekształciła sposób poruszania się ludzi, ale także odmieniła samą tkankę społeczeństwa i środowiska.

Niebo było jaśniejsze niż przez ponad stulecie. Po wyeliminowaniu pojazdów spalinowych wszechobecny niegdyś smog duszący wielkie miasta zniknął. Jakość powietrza poprawiła się tak bardzo, że choroby układu oddechowego związane z zanieczyszczeniami znacząco spadły. Ludzie brali głębokie oddechy czystego powietrza, prosta przyjemność, która stała się nową normą. Wpływ na środowisko był ogromny; ekosystemy zaczęły się odradzać, a obszary miejskie doświadczyły powrotu bioróżnorodności. Parki tętniły życiem, a mieszkańcy miast cieszyli się nowym połączeniem z naturą.”

Czas realizacji: 39 sekund
Czytelność: Flesch-Kincaid Grade Level: 13, Score: 13,2
Długość podsumowania: 493 słowa

Analiza

• Mocne strony: Plastyczne opisy, wciągająca narracja, zrównoważone uwzględnienie środowiska i społeczeństwa.
• Słabości: Można byłoby dodać więcej szczegółów technicznych.
• Ocena: 9,5/10

Zadanie 5: Cele porównawcze

Prompt

Porównaj wpływ na środowisko pojazdów elektrycznych z samochodami na wodór. Uwzględnij czynniki takie jak produkcja energii, cykl życia pojazdu i emisje.

Proces myślowy agenta AI

• (0:01) Zrozumienie promptu: Skupienie się na porównaniu produkcji energii.
• (0:03) Rozpoczęcie badań: Zebranie danych na temat produkcji energii elektrycznej i wodoru.
• (0:06) Tworzenie ram porównania: Porównanie na podstawie źródła energii, metody produkcji.
• (0:08-0:14) Analiza: Emisje dwutlenku węgla, efektywność, odnawialne vs. paliwa kopalne, wodór z reformingu parowego metanu vs. elektroliza.
• (0:18) Analiza cyklu życia: Produkcja, eksploatacja, utylizacja obu typów pojazdów.
• (0:44-0:54) Emisje: Rozróżnienie emisji bezpośrednich (z rury wydechowej) i pośrednich (produkcja) dla EV i aut wodorowych.

Analiza

• Nastawienie na badania: Poszukiwanie informacji zewnętrznych.
• Strukturalne podejście: Rozbijanie tematu na komponenty (energia, cykl życia, emisje).
• Adaptacyjność: Dostosowanie się do nowych danych i promptów użytkownika.
• Synteza: Łączenie źródeł w całościowe odpowiedzi.
• Responsywność: Dopracowanie analizy na żądanie.

Porównanie z tradycyjnymi LLM

Agent AI GPT-4o wyróżnia się unikalną zdolnością „myślenia” poza schematami tradycyjnych LLM poprzez:

1. Adaptacyjne rozumowanie: Integruje kontekst z promptów i danych, generując wiele strategii zamiast sztywnych odpowiedzi.
2. Multimodalne korzystanie z zasobów: Używa narzędzi, takich jak wyszukiwarki, do pozyskiwania wiedzy w czasie rzeczywistym, wzbogacając odpowiedzi.
3. Wszechstronność stylu: Przełącza się między formalnym a kreatywnym tonem przy zachowaniu spójności.
4. Podejmowanie decyzji: Prezentuje rozumowanie łańcuchowe podobne do ludzkiego, w tym rozważania etyczne i alternatywy.

Kluczowe obserwacje

• Agent AI GPT-4o jest wszechstronny, dokładny i radzi sobie z różnorodnymi zadaniami.
• Wskaźniki czytelności są odpowiednie dla zaawansowanych użytkowników w zadaniach technicznych.
• Obszary do poprawy:
  • Ograniczenie powtarzalności w długich odpowiedziach.
  • Uczynienie treści technicznych bardziej przystępnymi dla szerszego grona odbiorców.

Podsumowanie

Nasza analiza agenta AI GPT-4o ujawnia solidne możliwości w generowaniu treści, rozwiązywaniu problemów i podsumowywaniu. Adaptacyjne rozumowanie i integracje multimodalne GPT-4o stanowią znaczący krok naprzód względem tradycyjnych LLM. Zrozumienie jego metryk wydajności pozwala użytkownikom lepiej dopasować prompt’y i wykorzystać mocne strony modelu w różnych przepływach pracy. Integracja GPT-4o w badaniach, edukacji i przemyśle wciąż przesuwa granice możliwości agentów AI.

Po więcej informacji o agentach AI i ich zastosowaniach zaglądaj na naszego bloga.