Yapay Zeka Ajanları: GPT 4o Nasıl Düşünüyor?

LLM Modellerinin Değerlendirilmesi

Giriş

AI Ajanları, yapay zekâda en ileri noktayı temsil eder ve kullanıcı girdileri ile bağlamsal veriler temelinde akıl yürütebilen, öğrenebilen ve eylem alabilen özerk sistemler olarak işler. İnsan benzeri karar verme süreçlerini simüle ederek çeşitli görevlerde benzersiz verimlilik ve uyarlanabilirlik sağlarlar.

Bu blogda, GPT-4o’nun farklı görevlerdeki performansını detaylı istemler ve metriklerle değerlendiriyoruz. Amacımız, bu AI Ajanının nasıl “düşündüğünü” anlamak ve hem nicel hem nitel ölçütlerle değerlendirmektir.

Değerlendirme Kriterleri

Karşılaştırma şu boyutlar etrafında yapılandırılmıştır:

1. Girdi İşleme: Modelin çeşitli istemleri ne kadar iyi yorumlayıp uyarladığı.
2. İçerik Üretimi: Üretilen çıktıların açıklığı, ilgisi ve yaratıcılığı.
3. Akıl Yürütme ve Problem Çözme: Modelin mantıksal çıkarımlar yapma ve çok adımlı problemleri çözme becerisi.
4. Nicel Metrikler: ARI ve Flesch-Kincaid gibi okunabilirlik puanları ile yanıt süreleri.
5. Verimlilik: Yanıt süresi ve genel hesaplama kaynak kullanımı.

Her kriter, modelin işleyişinin temel bir yönünü yansıtır ve “düşünce süreçleri” hakkında içgörü kazanmamıza olanak tanır.

Analiz ve Karşılaştırma

Görev 1: EV Çevresel Etkileri Üzerine İçerik Üretimi

İstem

“-İçerik Üretimi: Proje yönetimi temelleri hakkında, özellikle hedeflerin, kapsamın ve yetki devrinin tanımlanmasına odaklanan kapsamlı ve bilgilendirici bir makale yazın.”

Çıktı (Alıntı)

Yeni projemizde görevlerin etkili bir şekilde yönetilip devredilmesi için aşağıdaki temel unsurların anlaşılması kritik önemdedir:

Proje kapsamı

Hedefler: Proje yönetiminin amacı, müşterinin hedeflerini karşılayan eksiksiz bir projeyi teslim etmektir. Bu hedefler belirli, ölçülebilir, ulaşılabilir, ilgili ve zamana bağlı (SMART) olmalıdır. Açıkça tanımlanmış hedefler, proje boyunca alınan tüm kararları yönlendirir ve projenin kurumun genel misyonuyla uyumlu olmasını sağlar….

Metrikler

• Geçen Süre: 53 saniye
• Okunabilirlik:
  • Flesch Kincaid Sınıf Düzeyi: 12
  • Flesch Kincaid Puanı: 12,08

AI Ajanı Düşünce Süreci

• (0:09) Google Arama: “Google’da proje yönetimi yönergeleri hedefler kapsam yetki devri araması yapılıyor…”

  • Düşünce: Hedefler, kapsam ve ilgili ayrıntılar hakkında kapsamlı bir yanıt vermek için konuya dair bilgi toplanıyor. Genel proje yönetimi yönergeleriyle başlanıyor.
  • Araç: google_serper

• (0:17) Sistem: “1 url inceleniyor… URL’ye bakılıyor”

• (0:25) Ajan:

  • Düşünce: Proje yönetimi, yetki devri ve hedeflerle ilgili faydalı bağlantılar toplandı. En alakalı makale ayrıntılar için taranacak.
  • Araç: url_crawl_tool

• (0:27) Google Arama: “Google’da proje yönetiminde hedefler ve kapsam nasıl tanımlanır aranıyor…”

• (0:29) Ajan:

  • Düşünce: URL tarama aracında hata oluştu; hedeflerin tanımlanması ve görevlerin devri odaklı yeni bir Google araması yapılacak.
  • Araç: google_serper

• (0:31) Sistem: “1 url inceleniyor… URL’ye bakılıyor”

• (0:38) Ajan:

  • Düşünce: Alakalı makaleler bulundu; en alakalı bağlantı taranacak.
  • Araç: url_crawl_tool

• (0:44) Ajan:

  • Düşünce: Önceki bağlantılardan içerik alınamadı. Bilgiler doğrudan Wikipedia’dan toplanacak.
  • Araç: wikipedia

• (0:53) Ajan:

  • Düşünce: İçerik alınamadığı için proje yönetimi bilgisi için Wikipedia deneniyor.
  • Araç: wikipedia

Analiz

• Hedef Odaklı Davranış: Hatalara rağmen proje yönetimi ilkelerini açıklama hedefini korudu, bu da içsel bir görev temsili olduğunu gösteriyor.
• Uyarlanabilir Problem Çözme: İlk denemeler başarısız olunca (Wikipedia’ya geçerek) strateji değiştirdi.
• Araç Entegrasyonu: Google Arama, URL tarama ve Wikipedia araçlarını kullandı.
• Üstbiliş: “Düşünce” ifadeleriyle iç gözlem ve hata farkındalığı sundu.

Güçlü Yanlar:

• Açık yapı, ilgili bilgiler, dengeli artı/eksi yönler, gerçeklere dayalı doğruluk.

Zayıf Yanlar:

• Bazı tekrarlar nedeniyle kısalık azalıyor.

Puan: 9/10

Görev 2: Gelir Hesaplamaları Üzerine Problem Çözme

İstem

“Bir şirket, A Ürünü’nü 50$’a (maliyet 30$) ve B Ürünü’nü 70$’a (maliyet 40$) satıyor. A’dan 120 adet, B’den 80 adet sattılar. Geliri, kârı ve %10 gelir artışı için gereken satışı hesaplayın.”

Çıktı (Alıntı)

“Sorunun çözümü: Her iki ürünün geçen ayki toplam satış geliri 11.600$ idi…”

Metrikler

• Geçen Süre: 31 saniye
• Okunabilirlik: Flesch-Kincaid Sınıf Düzeyi: 16 (Lisansüstü)
• Yanıt Dağılımı:
  • A Ürünü Geliri: 120 * 50$ = 6.000$
  • B Ürünü Geliri: 80 * 70$ = 5.600$
  • Toplam Kâr: 4.800$ (6.800$ maliyetten sonra)
  • Gelir Artışı Stratejileri: 18 A ve 4 B daha satmak veya 9 A ve 10 B satmak.

AI Ajanı Düşünce Süreci

• (0:01) Ajan:
  • Düşünce: Hesaplamalar için istemdeki ve veri kümesindeki sayısal veriler çıkarılıyor.
• (0:03) Veri Çıkarma:
  • Düşünce: Her iki ürünün miktar ve fiyatları çıkarıldı.
• (0:05 - 0:19) Hesaplamalar:
  • Her ürün ve toplam için gelir ve kâr adım adım hesaplandı.
• (0:20 - 0:24) Büyüme Hesabı:
  • %10 gelir artışı hesaplandı, ek ünite gereksinimi belirlendi.
• (0:26) Yanıt Oluşumu:
  • Açık, öz bir nihai yanıt sunuldu.

Analiz

• Sorunları yönetilebilir adımlara ayırma yeteneği gösteriyor.
• Verileri çıkarıyor ve işliyor, uygun kuralları uyguluyor ve yanıtı formüle ediyor.
• Sadece soru-cevap değil, çoklu adım problem çözme gerçekleştiriyor.

Görev 3: Temel Bulguların Özeti

İstem

“Önceki makaledeki temel bulguları en önemli bölümlere odaklanarak 100 kelimeyle özetleyin.”

Çıktı (Alıntı)

“Makale, makinelerin karar vermesini ve sorun çözmesini sağlayan AI akıl yürütmesinin rolünü inceliyor. Farklı türlerini ele alıyor, özellikle biçimsel ve doğal dil akıl yürütmesini vurguluyor…”

AI Ajanı Düşünce Süreci Özeti

• Okuma & Anlama: Makalenin ana konusu ve ana temaları (AI akıl yürütme türleri, tarihsel evrim, uygulamalar) belirleniyor.
• Odaklanma: OpenAI’nin o1 modeli ve öne çıkan özellikleri vurgulanıyor.
• Özetleme Stratejisi: Öz ve 100 kelimelik bir özet planlanıyor.
• Taslak: Özet; giriş, türler, kilometre taşları, model özellikleri, uygulamalar şeklinde yapılandırılıyor.
• Son Kontrol: Kelime sayısı ve okunabilirlik kontrol ediliyor.

Analiz

• Anlama: Karmaşık metin ve argümanları kavrıyor.
• Kilit Bilgiler: Kritik noktaları (akıl yürütme türleri, modeller, uygulamalar) saptıyor.
• Mantıksal Yapı: Bilgiyi tutarlı şekilde sıralıyor.
• Önceliklendirme: En önemli bulguları öne çıkarıyor.
• Kısıtlar: Kelime sınırı ve okunabilirlik kontrolüne uyuyor.

Metrikler

• Geçen Süre: 12 saniye
• Okunabilirlik: Flesch-Kincaid Sınıf Düzeyi: 16, Puan: 16,39
• Özet Uzunluğu: 100 kelime
• Puan: 8/10

Görev 4: Yaratıcı Yazım – Gelecek Hikayesi

İstem

“Elektrikli araçların geleneksel içten yanmalı araçların yerini tamamen aldığı bir dünyada geçen (500 kelimelik) bir gelecek hikayesi yazın. Çevresel değişiklikleri ve toplumsal etkileri anlatın.”

AI Ajanı Düşünce Süreci

• Beyin Fırtınası: Çevresel etki (temiz hava, biyolojik çeşitlilik), altyapı (şarj istasyonları, yenilenebilir enerji), ekonomi (yeni endüstriler, azalan petrol bağımlılığı), toplum (hizmet odaklı sahiplik, toplu taşıma), anlatı (huzurlu şehirler, teknoloji-doğa uyumu).
• Yapılandırma: Hikaye; çevresel, altyapısal, ekonomik, toplumsal değişikliklere göre sıralanıyor; dönüşümle sonlanıyor.
• Taslak: 2050 sahnesiyle başlıyor, kazanımları ve değişimleri detaylandırıyor, umutla bitiriyor.
• Gözden Geçirme: Akış, ilgi çekicilik, dilbilgisi ve okunabilirlik kontrol ediliyor.

Bot Çıktısı Alıntısı:

“2050 yılında, dünya yeni bir çağın eşiğindeydi; elektrikli araçlar (EV’ler) artık tek ulaşım aracı halini almıştı. Bu büyük değişim, insanların hareket biçimini değiştirmekle kalmamış, toplumun ve çevrenin dokusunu da yeniden şekillendirmişti.

Gökyüzü, yüzyıldan uzun bir süredir hiç olmadığı kadar temizdi. İçten yanmalı araçların ortadan kalkmasıyla, büyük şehirleri boğan sürekli pus kaybolmuştu. Hava kalitesi o kadar iyileşti ki, kirliliğe bağlı solunum hastalıklarında belirgin bir azalma görüldü. İnsanlar, temiz havayı derin derin solumanın yeni bir norm haline geldiği bu basit zevke tekrar kavuştu. Çevresel etki büyüktü; ekosistemler toparlanmaya başladı, kentsel alanlarda biyolojik çeşitlilik yeniden canlandı. Parklar hayat doluydu ve şehir sakinleri doğayla kurdukları yeni bağın tadını çıkarıyorlardı.”

Geçen Süre: 39 saniye
Okunabilirlik: Flesch-Kincaid Sınıf Düzeyi: 13, Puan: 13,2
Özet Uzunluğu: 493 kelime

Analiz

• Güçlü Yanlar: Canlı betimlemeler, ilgi çekici anlatı, çevresel ve toplumsal odak dengesi.
• Zayıf Yanlar: Daha fazla teknik detay eklenebilir.
• Puan: 9,5/10

Görev 5: Karşılaştırma Hedefleri

İstem

Elektrikli araçların çevresel etkisini hidrojenle çalışan arabalarla karşılaştırın. Enerji üretimi, araç yaşam döngüsü ve emisyonlar gibi faktörleri dahil edin.

AI Ajanı Düşünce Süreci

• (0:01) İstem Anlamı: Enerji üretimi karşılaştırmasına odaklanılıyor.
• (0:03) Araştırma Başlangıcı: Elektrik ve hidrojen üretimi hakkında veri toplanıyor.
• (0:06) Çerçeve Oluşturma: Enerji kaynağı, üretim yöntemi temelinde karşılaştırma yapılıyor.
• (0:08-0:14) Analiz: Karbon emisyonları, verimlilik, yenilenebilirler vs. fosil yakıtlar, hidrojenin buhar metan reformasyonu ve elektrolizle üretimi.
• (0:18) Yaşam Döngüsü Analizi: Her iki türde üretim, bakım ve bertaraf süreçleri.
• (0:44-0:54) Emisyonlar: Hem doğrudan (egzoz) hem dolaylı (üretim) emisyonlar EV’ler ve hidrojenli araçlar için ayırt ediliyor.

Analiz

• Araştırma Odaklı: Harici bilgi arayışı var.
• Yapısal Yaklaşım: Bileşen bazında (enerji, yaşam döngüsü, emisyonlar) bölümlere ayrılıyor.
• Uyarlanabilir: Bulgulara ve kullanıcı istemlerine göre ayarlama yapıyor.
• Sentetik: Kaynakları bütüncül yanıtlara dönüştürüyor.
• Tepkisel: Analizi isteğe göre geliştiriyor.

Geleneksel LLM’lerle Karşılaştırma

GPT-4o AI Ajanı, geleneksel LLM’lerden “daha fazlasını düşünebilen” benzersiz yetenekler sergiler:

1. Uyarlanabilir Akıl Yürütme: İstem ve verilerden bağlam entegre ederek sabit cevaplar yerine çoklu strateji üretir.
2. Çok Modlu Kaynak Kullanımı: Gerçek zamanlı bilgi için arama motorları gibi araçları kullanarak çıktıyı zenginleştirir.
3. Stil Çok Yönlülüğü: Resmi ve yaratıcı tonlar arasında tutarlılığı koruyarak geçiş yapar.
4. Karar Verme: İnsan karar verme zinciri gibi akıl yürütme, etik değerlendirmeler ve alternatifler sunar.

Temel Gözlemler

• GPT-4o AI Ajanı çok yönlü, doğru ve çeşitli görevleri yönetebilir.
• Okunabilirlik metrikleri, teknik görevlerde ileri düzey kullanıcılar için uygundur.
• Geliştirilebilecek Alanlar:
  • Uzun çıktılarda tekrarlar azaltılmalı.
  • Teknik içerik daha geniş kitlelere erişebilir kılınmalı.

Sonuç

GPT-4o AI Ajanı’nın analizimiz, içerik üretimi, problem çözme ve özetlemede sağlam beceriler sergilediğini gösteriyor. GPT-4o’nun uyarlanabilir akıl yürütmesi ve çok modlu entegrasyonları, onu geleneksel LLM’lerin ötesine taşıyor. Performans metriklerini anlamak, kullanıcıların istemlerini özelleştirip güçlü yanlarından iş akışlarında faydalanmasına olanak tanır. GPT-4o’nun araştırma, eğitim ve endüstrideki entegrasyonu, AI Ajanlarının neler başarabileceğinin sınırlarını zorlamaya devam ediyor.

AI Ajanları ve uygulamaları hakkında daha fazla bilgi için blogumuzu takipte kalın.