Yapay Zekâ Ajan Modellerinin Şifresini Çözmek: Nihai Karşılaştırmalı Analiz

Metodoloji

20 farklı yapay zekâ ajan modelini, her biri farklı yetenekleri ölçmeyi amaçlayan beş temel görevde test ettik:

• İçerik Üretimi: Proje yönetimi temelleri hakkında ayrıntılı bir makale üretmek.
• Problem Çözme: Gelir ve kâr ile ilgili hesaplamalar yapmak.
• Özetleme: Karmaşık bir makalenin temel bulgularını özetlemek.
• Karşılaştırma: Elektrikli ve hidrojenle çalışan araçların çevresel etkilerini analiz etmek.
• Yaratıcı Yazarlık: Elektrikli araçlar merkezli, geleceğe yönelik bir hikâye oluşturmak.

Analizimiz, çıktının kalitesinin yanı sıra, ajanın düşünce sürecine de odaklandı; planlama, akıl yürütme, uyum sağlama ve mevcut araçları etkin kullanma yeteneği değerlendirildi. Modelleri bir yapay zekâ ajanı olarak gösterdikleri performansa göre sıraladık; düşünce süreçlerine ve stratejilerine daha fazla önem verdik.

Yapay Zekâ Ajan Model Performansı – Görev Bazında Analiz

Görev 1: İçerik Üretimi

Tüm yirmi model, yüksek kaliteli ve bilgilendirici makaleler üretme konusunda güçlü bir yetenek gösterdi. Ancak aşağıdaki sıralı liste, her ajanın içsel düşünce süreçlerini ve nihai çıktıya nasıl ulaştıklarını dikkate almaktadır:

1. Gemini 1.5 Pro: Talimatı güçlü şekilde kavradı, araştırmaya stratejik yaklaştı ve çıktısı iyi organize edildi.
2. Claude 3.5 Sonnet: Net ve erişilebilir, planlaması güçlü bir çıktı sundu.
3. Mistral 8x7B: Araç seçiminde başarılı, çıktısı açık ve iyi yapılandırılmış.
4. Mistral 7B: Stratejik araştırma ve iyi formatlanmış bir final çıktı.
5. GPT-4o AI Agent (Original): Araç seçiminde başarılı ve araştırmaya uyumlu bir yaklaşım sergiledi.
6. Gemini 1.5 Flash 8B: Yüksek kaliteli çıktı ancak iç süreçlerde şeffaflık eksikliği var.
7. Claude 3 Haiku: Güçlü performans, talimatı iyi kavradı.
8. GPT-4 Vision Preview AI Agent: Başarılı performans, yüksek kaliteli çıktı.
9. GPT-o1 Mini AI Agent: Uyumlu ve yinelemeli, araçları iyi kullandı.
10. Llama 3.2 3B: Yaratıcı yazarlığı iyi ve ayrıntılı çıktı, ancak içsel süreç gösterilmedi.
11. Claude 3: Talimatlara uyum sağlarken yinelemeli yaklaşım ortaya koydu, ama iç düşünceler gösterilmedi.
12. Claude 2: Yazma becerileri iyi, talimatı kavradığını gösterdi.
13. GPT-3.5 Turbo AI Agent: Talimatları izledi, biçimlendirme kurallarına uydu, ancak iç süreç eksikti.
14. Gemini 2.0 Flash Experimental: Model iyi yazılmış bir çıktı üretti, fakat yinelemeli süreç gösterdi.
15. Grok Beta AI Agent: Stratejik araç kullanımı, fakat tekrarlayan döngülerde zorlandı.
16. Gemini 1.5 Flash AI Agent: Mantıklı bir yaklaşım kullandı ama tekrarlayan düşünce süreci vardı.
17. Mistral Large AI Agent: Çıktı iyi yapılandırıldı, fakat iç düşünceler şeffaf değildi.
18. o1 Preview AI Agent: Model iyi performans gösterdi fakat düşünce süreçlerinde şeffaflık yoktu.
19. GPT 4o mini AI Agent: Çıktısı iyi olsa da iç süreçler gösterilmedi.
20. Llama 3.2 1B: Model iyi performans gösterdi fakat iç süreçlerde içgörü eksikliği ve özgün bir yaklaşım göstermedi.

Görev 2: Problem Çözme ve Hesaplama

Modellerin matematiksel yetenekleri ve problem çözme stratejileri değerlendirildi:

1. Claude 3.5 Sonnet: Yüksek doğruluk, stratejik düşünme ve iyi açıklanan bir çözüm.
2. Mistral 7B: Açık ve doğru çözümler, stratejik düşünme sergiledi.
3. GPT-4 Vision Preview AI Agent: Doğru anlama ve doğru hesaplamalar.
4. Claude 3 Haiku: Etkili hesaplama ve net açıklamalar.
5. o1 Preview AI Agent: Hesaplamaları çoklu adımlara ayırabildiğini gösterdi.
6. Mistral Large AI Agent: Doğru hesaplamalar ve iyi sunulan final cevapları.
7. o1 mini: Stratejik düşünme ve gerekli matematiği iyi anlama.
8. Gemini 1.5 Pro: Ayrıntılı ve doğru hesaplamalar, ayrıca iyi formatlandı.
9. Llama 3.2 1B: Hesaplamaları iyi ayırdı, fakat biçimlendirme hataları vardı.
10. GPT-4o AI Agent (Original): Hesaplamaların çoğunu iyi yaptı, ayrıca görevi açık ve mantıklı şekilde parçaladı.
11. GPT-4o Mini AI Agent: Hesaplamaları yaptı, ancak nihai yanıtlarda hata ve çıktı biçimlendirmede zorluk yaşadı.
12. Claude 3: Hesaplamaya açık yaklaşım, ancak fazlası yok.
13. Gemini 2.0 Flash Experimental: Temel hesaplamalar doğru, ancak final çıktı hataları var.
14. GPT-3.5 Turbo AI Agent: Temel hesaplamalar doğruydu, fakat strateji ve nihai cevapların doğruluğunda sorunlar vardı.
15. Gemini 1.5 Flash AI Agent: Ekstra birimlerle ilgili hesaplama hataları vardı.
16. Mistral 8x7B: Çoğunlukla doğru hesaplamalar, ancak farklı olasılıkları tam olarak araştırmadı.
17. Claude 2: Başlangıç hesaplamaları doğru, ancak stratejik sorunlar ve final çözümde hatalar vardı.
18. Gemini 1.5 Flash 8B: Nihai çözümde bazı hatalar var.
19. Grok Beta AI Agent: Görevi tam olarak tamamlayamadı ve tam bir çıktı sunamadı.
20. Llama 3.2 3B: Hesaplama hataları ve sunum da eksikti.

Görev 3: Özetleme

Modellerin ana bilgileri çıkartma ve özlü özetler üretme yetenekleri değerlendirildi:

1. GPT-4o Mini AI Agent: Ana noktaları çok iyi özetledi ve kelime sınırına sadık kaldı.
2. Gemini 1.5 Pro: Verilen metni iyi özetledi ve gereken kelime sınırına uydu.
3. o1 Preview AI Agent: Özlü ve iyi yapılandırılmış özetleme.
4. Claude 3 Haiku: Metni etkili şekilde özetledi, belirlenen parametrelere uydu.
5. Mistral 7B: Doğru özetledi ve kelime sınırına dikkat etti.
6. Mistral 8x7B: Bilgiyi etkili şekilde yoğunlaştırdı, belirlenen parametrelere uydu.
7. GPT-4 Vision Preview AI Agent: Sağlanan metnin çok doğru bir özetini sundu.
8. GPT-3.5 Turbo AI Agent: Metni iyi özetledi ve önemli tüm noktaları vurguladı.
9. Llama 3.2 1B: Özlü ve iyi yapılandırılmış özet.
10. Claude 3.5 Sonnet: Özlü bir özet ve biçimlendirme taleplerine de uydu.
11. Claude 2: Özlü özet ve verilen metni etkili şekilde anlama.
12. Claude 3: Bilgiyi özlü bir çıktıya yoğunlaştırdı.
13. Mistral Large AI Agent: Metni iyi özetledi, fakat kelime sınırına tam olarak uymadı.