Makine Öğreniminde Duyarlılık (Recall)

Makine Öğreniminde Duyarlılık (Recall) Nedir?

Makine öğrenimi alanında, özellikle sınıflandırma problemlerinde, bir modelin performansını değerlendirmek çok önemlidir. Bir modelin pozitif örnekleri doğru şekilde tespit etme becerisini değerlendirmek için kullanılan temel metriklerden biri Duyarlılıktır (Recall). Bu metrik, pozitif bir örneğin gözden kaçmasının (yanlış negatif) ciddi sonuçlar doğurduğu senaryolarda hayati rol oynar. Bu kapsamlı rehberde, duyarlılığın ne olduğu, makine öğreniminde nasıl kullanıldığı, detaylı örnekler ve kullanım alanlarıyla birlikte, yapay zekâ, yapay zekâ otomasyonu ve sohbet botlarındaki önemini bulacaksınız.

Duyarlılığı Anlamak

Duyarlılığın Tanımı

Duyarlılık, diğer adıyla sensitivity (duyarlılık) veya doğru pozitif oranı, makine öğrenimi modelinin gerçek pozitif örneklerin ne kadarını doğru şekilde tespit ettiğini ölçen bir metriktir. Modelin, veri kümesindeki tüm ilgili örnekleri bulma konusundaki başarısını gösterir.

Matematiksel olarak duyarlılık şöyle tanımlanır:

Duyarlılık = Doğru Pozitifler / (Doğru Pozitifler + Yanlış Negatifler)

Burada:

• Doğru Pozitifler (TP): Modelin doğru şekilde pozitif olarak sınıflandırdığı pozitif örnek sayısı.
• Yanlış Negatifler (FN): Modelin yanlışlıkla negatif olarak sınıflandırdığı pozitif örnek sayısı.

Sınıflandırma Metriklerinde Duyarlılığın Rolü

Duyarlılık, özellikle ikili sınıflandırma problemlerinde, modellerin başarısını değerlendirmek için kullanılan çeşitli sınıflandırma metriklerinden biridir. Modelin tüm pozitif örnekleri bulma becerisine odaklanır ve pozitif bir örneğin atlanmasının yüksek maliyetli olduğu senaryolarda büyük önem taşır.

Duyarlılık, kesinlik ve doğruluk gibi diğer sınıflandırma metrikleriyle yakından ilişkilidir. Model performansını kapsamlı değerlendirmek için bu metrikler arasındaki ilişkiyi anlamak gerekir.

Karışıklık Matrisi Açıklaması

Duyarlılık kavramını tam olarak kavrayabilmek için, bir modelin performansını ayrıntılı olarak gösteren karışıklık matrisini anlamak önemlidir.

Karışıklık Matrisinin Yapısı

Karışıklık matrisi, bir sınıflandırma modelinin performansını özetleyen ve doğru pozitifler, yanlış pozitifler, doğru negatifler ve yanlış negatiflerin sayılarını gösteren bir tablodur. Şöyledir:

• Doğru Pozitif (TP): Doğru şekilde pozitif olarak tahmin edilen örnekler.
• Yanlış Pozitif (FP): Yanlışlıkla pozitif olarak tahmin edilen negatif örnekler (Tip I Hata).
• Yanlış Negatif (FN): Yanlışlıkla negatif olarak tahmin edilen pozitif örnekler (Tip II Hata).
• Doğru Negatif (TN): Doğru şekilde negatif olarak tahmin edilen örnekler.

Karışıklık matrisi, yalnızca doğru tahminlerin sayısını değil, aynı zamanda yanlış pozitif ve yanlış negatif gibi hata türlerini de görmemizi sağlar.

Karışıklık Matrisi ile Duyarlılık Hesaplama

Karışıklık matrisinden duyarlılık şu şekilde hesaplanır:

Duyarlılık = TP / (TP + FN)

Bu formül, modelin doğru şekilde tespit ettiği gerçek pozitiflerin oranını gösterir.

İkili Sınıflandırmada Duyarlılık

İkili sınıflandırma, örneklerin pozitif veya negatif olmak üzere iki sınıftan birine atanmasını içerir. Duyarlılık, özellikle dengesiz veri setleri ile çalışırken büyük önem taşır.

Dengesiz Veri Setleri

Dengesiz bir veri setinde, her bir sınıftaki örneklerin sayısı yaklaşık olarak eşit değildir. Örneğin, dolandırıcılık tespitinde, sahte işlemler (pozitif sınıf) sayıca çok az, yasal işlemler (negatif sınıf) ise çok fazladır. Böyle durumlarda, model doğruluğu yanıltıcı olabilir; çünkü model çoğunluk sınıfını tahmin ederek yüksek doğruluk elde edebilir.

Örnek: Dolandırıcılık Tespiti

10.000 finansal işlemden oluşan bir veri setini düşünelim:

• Gerçek Sahte İşlemler (Pozitif Sınıf): 100
• Gerçek Yasal İşlemler (Negatif Sınıf): 9.900

Bir makine öğrenimi modeli şu tahminleri yapıyor olsun:

• Tahmin Edilen Sahte İşlemler:
  • Doğru Pozitifler (TP): 70 (doğru tespit edilen sahte işlemler)
  • Yanlış Pozitifler (FP): 10 (yanlışlıkla sahte denilen yasal işlemler)
• Tahmin Edilen Yasal İşlemler:
  • Doğru Negatifler (TN): 9.890 (doğru tespit edilen yasal işlemler)
  • Yanlış Negatifler (FN): 30 (sahte olup yasal denilen işlemler)

Duyarlılık hesaplaması:

Duyarlılık = TP / (TP + FN)
Duyarlılık = 70 / (70 + 30)
Duyarlılık = 70 / 100
Duyarlılık = 0.7

Duyarlılık %70’tir, yani model sahte işlemlerin %70’ini tespit etmiştir. Dolandırıcılık tespitinde, sahte işlemlerin (yanlış negatiflerin) gözden kaçması maliyetli olabileceğinden, yüksek duyarlılık tercih edilir.

Kesinlik ve Duyarlılık Karşılaştırması

Kesinliği Anlamak

Kesinlik, pozitif olarak tahmin edilen örneklerin ne kadarının gerçekten pozitif olduğunu ölçer. “Pozitif olarak tahmin edilenlerin kaçı gerçekten pozitif?” sorusunun cevabıdır.

Kesinlik formülü:

Kesinlik = TP / (TP + FP)

• Doğru Pozitifler (TP): Doğru şekilde pozitif olarak tahmin edilen örnekler.
• Yanlış Pozitifler (FP): Yanlışlıkla pozitif olarak tahmin edilen negatif örnekler.

Kesinlik ve Duyarlılık Arasındaki Denge

Kesinlik ve duyarlılık arasında genellikle bir denge vardır:

• Yüksek Duyarlılık, Düşük Kesinlik: Model çoğu pozitif örneği bulur (az yanlış negatif), ama birçok negatif örneği de yanlışlıkla pozitif olarak etiketler (çok yanlış pozitif).
• Yüksek Kesinlik, Düşük Duyarlılık: Model, pozitif olarak tahmin ettiklerinin çoğunu doğru tespit eder ancak birçok gerçek pozitif örneği gözden kaçırır (çok yanlış negatif).

Kesinlik ve duyarlılık arasındaki denge, uygulamanın ihtiyaçlarına göre belirlenir.

Örnek: E-posta Spam Tespiti

E-posta spam filtrelemede:

• Yüksek Duyarlılık: Çoğu spam e-posta yakalanır, ancak bazı yasal e-postalar da yanlışlıkla spam kutusuna düşebilir (yanlış pozitif).
• Yüksek Kesinlik: Yasal e-postaların yanlışlıkla spam’a düşme olasılığı azalır, fakat bazı spam e-postalar gelen kutusuna düşebilir (yanlış negatif).

Buradaki ideal denge, gereksinime göre spam’ı engellemenin mi yoksa yasal e-postaların kaçırılmamasının mı daha önemli olduğuna göre değişir.

Duyarlılığın Kritik Olduğu Kullanım Senaryoları

1. Tıbbi Teşhis

Hastalık tespitinde, pozitif bir vakayı (hasta gerçekten hasta ama tespit edilmedi) atlamak ciddi sonuçlara yol açabilir.

• Amaç: Tüm potansiyel vakaları tespit edebilmek için duyarlılığı maksimize etmek.
• Örnek: Kanser taramasında tanının atlanması tedavinin gecikmesine yol açabilir.

2. Dolandırıcılık Tespiti

Finansal işlemlerde sahtecilik tespiti.

• Amaç: Mümkün olduğunca çok sahte işlemi tespit ederek duyarlılığı artırmak.
• Dikkat: Yanlış pozitifler (yasal işlemlerin sahte olarak işaretlenmesi) rahatsız edici olabilir ama sahte işlemlerin kaçırılması kadar maliyetli değildir.

3. Güvenlik Sistemleri

İzinsiz giriş veya yetkisiz erişim tespiti.

• Amaç: Tüm güvenlik ihlallerini yakalamak için yüksek duyarlılık sağlamak.
• Yaklaşım: Gerçek tehditleri kaçırmamak için bazı yanlış alarmlar kabul edilebilir.

4. Sohbet Botları ve AI Otomasyonu

Yapay zekâ destekli sohbet botlarında, kullanıcı niyetlerinin doğru anlaşılması ve yanıtlanması kritik önemdedir.

• Amaç: Mümkün olduğunca çok kullanıcı isteğini tanımlayabilmek için yüksek duyarlılık.
• Uygulama: Müşteri hizmetlerinde, kullanıcıların farklı şekillerde yardım isteyebileceği durumlarda sohbet botları.

5. Üretimde Hata Tespiti

Ürünlerde hata veya arıza tespiti.

• Amaç: Müşteriye kusurlu ürün ulaşmasını engellemek için duyarlılığı maksimize etmek.
• Etkisi: Yüksek duyarlılık kalite kontrol ve müşteri memnuniyetini sağlar.

Duyarlılık Hesaplama: Bir Örnek

Müşteri kaybını (churn) tahmin eden ikili bir sınıflandırma problemi için bir veri setimiz olsun:

• Toplam Müşteri: 1.000
• Gerçek Kaybedilen Müşteri (Pozitif Sınıf): 200
• Gerçek Kaybedilmeyen Müşteri (Negatif Sınıf): 800

Makine öğrenimi modeli sonucunda elde edilen karışıklık matrisi:

Duyarlılık hesaplaması:

Duyarlılık = TP / (TP + FN)
Duyarlılık = 160 / (160 + 40)
Duyarlılık = 160 / 200
Duyarlılık = 0.8

Duyarlılık %80’dir, yani model kaybedilecek müşterilerin %80’ini doğru tespit etmiştir.

Makine Öğrenimi Modellerinde Duyarlılığı Artırmak

Duyarlılığı geliştirmek için şu stratejiler uygulanabilir:

Veri Düzeyinde Yöntemler

• Daha Fazla Veri Toplama: Özellikle pozitif sınıf için daha fazla veri toplanarak modelin öğrenmesi güçlendirilebilir.
• Yeniden Örnekleme Teknikleri: SMOTE (Sentetik Azınlık Aşırı Örnekleme Yöntemi) gibi tekniklerle veri seti dengelenebilir.
• Veri Artırma: Azınlık sınıfı için sentetik veri üretilmesi.

Algoritma Düzeyinde Yöntemler

• Sınıflandırma Eşiğini Ayarlama: Daha fazla örneği pozitif olarak sınıflandırmak için eşik değeri düşürülebilir.
• Maliyet Duyarlı Öğrenme: Kayıp fonksiyonunda yanlış negatiflere daha yüksek ceza verilmesi.
• Topluluk (Ensemble) Yöntemleri: Birden fazla modelin birleşimi ile genel performans artırılabilir.

Özellik Mühendisliği

• Yeni Özellikler Oluşturma: Pozitif sınıfın karakteristiğini daha iyi yansıtan özellikler tasarlanabilir.
• Özellik Seçimi: Pozitif sınıf ile en ilişkili özelliklere odaklanmak.

Model Seçimi ve Hiperparametre Ayarı

• Uygun Algoritmalar Seçmek: Bazı algoritmalar dengesiz verilerle daha iyi başa çıkar (ör. Random Forest, XGBoost).
• Hiperparametre Optimizasyonu: Duyarlılığı artırmaya yönelik parametreler optimize edilebilir.

Duyarlılığın Matematiksel Yorumu

Duyarlılığa matematiksel bakış, daha derin bir anlayış sunar.

Bayesian Yorum

Duyarlılık koşullu olasılık olarak şöyle ifade edilir:

Duyarlılık = P(Tahmin Edilen Pozitif | Gerçek Pozitif)

Yani, gerçek sınıfı pozitif olan bir örneğin model tarafından pozitif olarak tahmin edilme olasılığıdır.

Tip II Hata ile İlişkisi

• Tip II Hata Oranı (β): Yanlış negatif olasılığı.
• Duyarlılık: (1 – Tip II Hata Oranı) ile aynıdır.

Yüksek duyarlılık, düşük Tip II hata oranı (az yanlış negatif) anlamına gelir.

ROC Eğrisi ile Bağlantısı

Duyarlılık, Alıcı İşletim Karakteristiği (ROC) eğrisinde kullanılan Doğru Pozitif Oranıdır (TPR) ve ROC, TPR ile Yanlış Pozitif Oranı’nı (FPR) karşılaştırır.

• ROC Eğrisi: Duyarlılık (sensitivity) ile yanlış alarm (1 – özgüllük) arasındaki dengeyi görselleştirir.
• AUC (Eğri Altındaki Alan): Modelin pozitif ve negatif sınıfları ayırt etme yeteneğini temsil eder.

Makine Öğreniminde Duyarlılık Üzerine Araştırmalar

Makine öğrenimi alanında “duyarlılık” kavramı, özellikle sınıflandırma görevlerinde modellerin etkinliğini değerlendirmede kilit rol oynar. İşte makine öğreniminde duyarlılığın farklı yönlerini ele alan bazı önemli araştırma makalelerinin özeti:

1. Show, Recall, and Tell: Görsel Açıklamada Duyarlılık Mekanizması (Yayın Tarihi: 2021-03-12)
   Bu makale, insan bilişini taklit ederek görsel açıklamayı geliştirmeye yönelik yeni bir duyarlılık mekanizması sunar. Önerilen yöntem, ilgili kelimeleri geri çağırmak için bir duyarlılık birimi, bağlamsal rehberlik için semantik bir rehber ve bu kelimeleri başlıklara entegre etmek için duyarlılık-kelime alanları içerir. Metin özetleme tekniklerinden esinlenen yumuşak bir anahtar ile kelime üretim olasılıkları dengelenmiştir. Yaklaşım, MSCOCO veri setinde BLEU-4, CIDEr ve SPICE skorlarını önemli ölçüde artırmış ve mevcut yöntemleri aşmıştır. Sonuçlar, duyarlılık mekanizmalarının görsel açıklamada betimsel doğruluğu artırma potansiyelini vurgulamaktadır. Makaleyi buradan okuyun.

2. Sınırlı Duyarlılıkla Çevrim İçi Öğrenme (Yayın Tarihi: 2024-05-31)
   Bu araştırma, algoritmanın kararlarının geçmiş ödüllerin sınırlı hafızasına dayandığı çevrim içi öğrenmede sınırlı duyarlılık kavramını inceler. Yazarlar, geleneksel ortalama tabanlı “no-regret” algoritmalarının sınırlı duyarlılık ortamında başarısız olduğunu ve tur başına sabit pişmanlıkla sonuçlandığını göstermektedir. Çalışmada, tur başına $\Theta(1/\sqrt{M})$ pişmanlık sağlayan istasyoner bir sınırlı-duyarlılık algoritması önerilmiştir ve bu, sıkı bir alt sınır sunar. Sonuçlar, etkili sınırlı-duyarlılık algoritmalarının geçmiş kayıpların sırasını dikkate alması gerektiğini vurgular. Makaleyi buradan okuyun.

3. Duyarlılık, Sağlamlık ve Leksikografik Değerlendirme (Yayın Tarihi: 2024-03-08)
   Bu makale, sıralama değerlendirmelerinde duyarlılık kullanımını eleştirerek daha resmi bir değerlendirme çerçevesi önerir. Yazarlar, “duyarlılık-odaklılık” kavramını tanımlayarak bunu sıralama sistemlerinde adaletle ilişkilendirir. “Lexirecall” adlı leksikografik bir değerlendirme yöntemi önerilmiş ve geleneksel duyarlılık metriklerine göre daha yüksek duyarlılık ve kararlılık gösterdiği belirtilmiştir. Farklı öneri ve geri getirme görevlerinde yapılan ampirik analizlerle, lexirecall’un daha hassas ayrım gücüne sahip olduğu doğrulanmış ve daha incelikli sıralama değerlendirmeleri için uygunluğu öne çıkarılmıştır. Makaleyi buradan okuyun.