Kısa Versiyon
- Bir modelin istekler arasında hafızası yoktur. Her tur tüm konuşmayı yeniden gönderir, dolayısıyla bağlam penceresi bir kez doldurduğunuz bir yer değil, her çağrıda ödenen bir maliyettir.
- Bu, bir oturumun maliyetini uzunluğunun karesiyle büyütür. Prompt önbellekleme oranı yaklaşık onda bire düşürür ama eğrinin şeklini değiştirmez.
- Çözüm, kasıtlı olarak sıfırlanan daha küçük bir penceredir: büyümesine bir üst sınır koyun, daha sık temizleyin, kullanılmış araç çıktısını düzenleyerek çıkarın ve ağır okuma işlerini bir daha geri dönmeyecekleri dosyalarda ve alt ajanlarda tutun.
Pencere Bir Çekmece Değil, Bir Sayaçtır
Çoğu insan bağlam penceresini bir depolama alanı olarak hayal eder. İçine bir şeyler koyarsınız, model onları görür, daha büyük pencere daha çok şey tutar. Bu resim belirli bir noktada yanlıştır ve bu hata pahalıdır.
Modeller durumsuzdur. Karşı tarafta konuşmanızı tutan bir oturum yoktur. Her istek tüm geçmişi yeniden gönderir: sistem prompt’u, her araç tanımı, ajanın okuduğu her dosya, her araç sonucu, ikinizin yazdığı her mesaj. Model hepsini okur, yanıtlar ve unutur. Bir sonraki mesajınız hepsini yeniden, üstüne yeni kısmı gönderir.
Yani pencere bir çekmece değildir. Bir sayaçtır ve her turdaki göstergesi, o ana kadar biriktirdiğiniz her şeyin boyutudur.
İşinizi büyütmeye hazır mısınız?
Bugün ücretsiz denemenizi başlatın ve günler içinde sonuçları görün.
Kimsenin Baştan Yapmadığı Hesap
Her turda yaklaşık 1.000 token büyüyen ve 300 tur süren bir oturum alın. Bağlamı sıfıra yakın bir yerden 300.000 token’a tırmanır ve ortalama 150.000 olur. Gönderilen toplam giriş: 300 çarpı 150.000, yani 300 turluk iş için 45 milyon token.
Şimdi aynı oturumun üç kat hızlı büyüdüğünü varsayın: 900.000’e çıkar. Ortalama 450.000, toplam 135 milyon, yani tamamen aynı 300 tur için üç kat fatura.
Sorunun şekli budur. Maliyet, aldığınız işi takip etmez. Oturumu ne kadar uzun çalıştırdığınızı, karesiyle takip eder. Eklediğiniz her tur, gelecekteki her turu daha pahalı yapar; bu yüzden uzun bir oturumun son saati ilk dört saatten daha pahalıya gelebilir.
Parayla: Claude Opus 5’in milyon giriş token’ı başına 5 dolarlık liste fiyatıyla ve ilk turdan sonraki her şeyin önbellekten onda bir fiyata sunulmasıyla, sınırlanmış oturum yaklaşık 22 dolar, sınırlanmamış olan ise aynı iş için yaklaşık 68 dolar eder. Bir abonelikte dolar görmezsiniz, haftalık limitin daha erken tükendiğini görürsünüz.
Önbellekleme Hızı Değiştirir, Eğriyi Değil
Uzun ajan oturumlarının hiç mümkün olmasının nedeni prompt önbellekmedir. Sağlayıcı konuşma önekinizi sıcak tutar ve yeniden okumak için çok küçük bir ücret alır.
Anthropic’in API’sinde çarpanlar şöyledir: beş dakikalık önbelleğe yazmak için temel giriş fiyatının 1,25 katı, bir saatlik önbellek için 2 katı ve okumak için yaklaşık 0,1 katı. Beş dakikalık bir önbellek yazımı ikinci istekte kendini amorti eder. Her ciddi ajan altyapısı bunu otomatik yapar ve işe yarar: kendi oturumlarımın beş haftası boyunca tüm giriş token’larının %98’i önbellek okumasıydı.
Önbelleklemenin neyi düzelttiğine ve neyi düzeltmediğine dikkatle bakın. Geçmişinizin maliyetini kabaca onda bire indirdi. Geçmişin büyümesini durdurmadı ve her turda onu yeniden okumanızı da engellemedi. 900.000 token’ın onda biri, yirmi token’la sorabileceğiniz bir soru için 90.000 token faturalı giriş demektir.
Önbellekleme, sorunu atlatılabilir kılan şeydir. Aynı zamanda onu görünmez kılan şeydir, çünkü kullanım panelinizdeki sayı, gerçekte hareket eden token sayısı kadar endişe verici görünmez.
Bültenimize katılın
En son ipuçlarını, trendleri ve teklifleri ücretsiz alın.
İçinde Aslında Ne Var
Bir oturum büyüdüğünde insanlar bunun konuşma olduğunu varsayar. Genellikle değildir. Çalışan bir ajan oturumunda ağırlık dört yerde oturur.
Araç tanımları. Ajanın çağırabileceği her araç bir ad, bir açıklama ve tam bir parametre şeması taşır; hepsi ajan daha hiçbir şey yapmadan yüklenir. Her biri 25 araçlı altı MCP sunucusu bağlarsanız, ilk turda pencerede 150 şema olur ve bunların çoğu hiç çağrılmaz.
Dosya okumaları. 2.000 satırlık bir kaynak dosyasını okuyan bir ajan, oturumun gelecekteki her turuna yaklaşık 25.000 token eklemiş olur. Dosyaya bir kez ihtiyaç duymuştu. Onu sonsuza dek taşır.
Araç çıktısı. 200 sonuç döndüren bir arama, tüm logunu basan bir test çalıştırması, tam bir doküman döndüren bir API çağrısı. Ajan genellikle bunun tek bir satırına ihtiyaç duymuştu. Tamamı kalır.
Konuşmanın kendisi. Ajanın bir çıkmazı keşfettiği, kendini düzelttiği ve devam ettiği kısımlar dahil. O token’lar hâlâ pencerede, hâlâ yeniden okunuyor, hâlâ bir sonraki yanıtı şekillendiriyor.
Son nokta maliyetin ötesinde önemlidir. Terk edilmiş denemeler ve bayat dosya içerikleriyle dolu bir pencere, aynı zamanda ilgili ayrıntının bulunmasının daha zor olduğu bir penceredir. Bağlam aynı anda hem bir bütçe hem bir dikkat sorunudur.
Onu Küçültmenin Üç Yolu
Temizleme. Yeni bir oturum başlatın. Başka bir yere yazdığınız her şey hayatta kalır; geri kalan her şey gider. Bu en kaba araçtır ve çoğu zaman doğru olanıdır. Bir oturumu “projeyi biliyor” diye bütün gün açık tutmak, en pahalıya mal olan alışkanlıktır.
Bağlam düzenleme. Belirli malzemeyi çıkarın ve geri kalanı kelimesi kelimesine koruyun; genellikle kullanıldıktan sonra eski araç sonuçlarını. Anthropic’in API’si bunu doğrudan bir bağlam yönetimi stratejisi olarak sunar. Hassastır ve kalanı çarpıtmaz; bu yüzden ağırlık uzun bir konuşma değil de hacimli araç çıktısı olduğunda ilk başvurulacak şeydir.
Sıkıştırma. Geçmişi özetleyin ve özetten devam edin. Çoğu kodlama ajanının pencere dolduğunda otomatik olarak yaptığı şey budur ve bir oturumun büyümesini sona erdirmeden sınırlayan tek seçenektir. Çok şey düşürür.
Bunlar kendi oturumlarımdaki 67 gerçek sıkıştırmanın medyanları. Her biri yaklaşık üç dakika sürdü ve sonrasında ajan daha önce gördüğü dosyaları önceki hızın neredeyse iki katı oranında yeniden okudu, özetin kaybettiğini yeniden inşa etti. Takas buna değer. Yine de bir takastır.
Dördüncü Seçenek Üçünden de İyi
Onu baştan pencereye koymayın.
Kalıcı durumu konuşmada değil, ajanın istediğinde yeniden okuyabileceği dosyalarda tutun. Okuma ağırlıklı işleri kendi kısa ömürlü bağlamı olan bir alt ajana gönderin; böylece okuduğu yirmi dosya ana oturuma hiç dokunmaz. Araçları baştan hepsini değil, ihtiyaç duyulduğunda yükleyin.
Hiç eklenmeyen token, asla yeniden okumadığınız tokendır. Bu sayfadaki diğer her şey, eklenmiş token’lar için hasar kontrolüdür.
Eşik Nerede Olmalı
Ajanınız otomatik sıkıştırma yapıyorsa bir eşiği vardır ve varsayılan genellikle modelin tam penceresine yakındır. Bu varsayılan pahalı ayardır, çünkü oturumunuzun en verimli saatlerini mümkün olan en büyük geçmişi taşıyarak geçirmesine izin verir.
Daha düşük ayarlamak yardımcı olur ama bir taban vardır. Çok istekli sıkıştırırsanız üç dakikalık beklemeyi ve yeniden yapılan işi tekrar tekrar ödersiniz. 1M bağlamlı bir modelde 250.000 eşiği uzun oturumlarımın %36’sında sıkıştırmayı zorunlu kıldı; 350.000 ise yalnızca %12’sinde tetiklendi ve aynı tasarrufun neredeyse tamamını yakaladı. Beş haftalık oturumlarda sonuç, aynı sayıda prompt için %17 daha az önbellek ağırlıklı token ve sınırın gerçekten devreye girdiği uzun oturumlarda maliyetin yaklaşık yarısı oldu. Verilerin tamamı eşlik eden yazıda .
İşe yarar bir kural: sınırı modelinizin penceresinin kabaca üçte birine koyun ve oradan ayarlayın. Hiçbir oturumun saatlerce tavanın yakınında harcamayacağı kadar düşük, sıradan işlerin bir özetle kesintiye uğramadan biteceği kadar yüksek.
Kendinizinkini Ölçün
Bunların hiçbiri yeni bir ölçümleme gerektirmez. Her API yanıtı dört alanlı bir usage nesnesi taşır: input_tokens, cache_creation_input_tokens, cache_read_input_tokens ve output_tokens. Çoğu ajan altyapısı bunları zaten diskte bir oturum loguna yazar.
İki sayı size neredeyse her şeyi söyler.
Çağrı başına önbellek ağırlıklı giriş. Alanları maliyetlerine göre ağırlıklandırın: taze giriş 1, önbellek yazımları 1,25 veya 2, önbellek okumaları 0,1. İş yükünüz sabitken bu haftadan haftaya tırmanıyorsa oturumlarınız büyüyor ve bunun bedelini ödüyorsunuz demektir.
Oturum başına tepe bağlam. Her oturumdaki en büyük tek çağrı. Tepeler modelinizin penceresine yakınsa faturanızı buldunuz.
Ham haftalık toplamlar sizi yanıltır, çünkü neyi değiştirirseniz değiştirin yoğun bir hafta sakin bir haftayı yener. Her zaman işi temsil eden bir şeye bölün: tamamlanmış bir görev, bir prompt, bir API çağrısı.
Sırada Ne Var
Bağlam penceresi, içine koyduğunuz her şey için her turda alınan tekrar eden bir ücrettir. Önbellekleme oranı yaklaşık yüzde doksan düşürür ve eğilimi gizler. Çözüm, kasıtlı olarak sıfırlanan daha küçük bir penceredir.
Ölçülmüş hâli için, beş haftalık oturum verisi ve tasarrufun çoğunu üreten tek ayarla birlikte, ajan token kullanımını %17 azaltma hakkındaki eşlik eden yazıyı okuyun.
