Karmaşıklık Matrisi

Karmaşıklık matrisi, makine öğreniminde bir sınıflandırma modelinin performansını değerlendirmek için kullanılan bir araçtır. Tipik olarak gözetimli öğrenme algoritmalarının performansını görselleştirmeye olanak tanıyan özgün bir tablo düzenidir. Karmaşıklık matrisinde, her bir satır gerçek sınıftaki örnekleri, her bir sütun ise tahmin edilen sınıftaki örnekleri temsil eder. Bu matris, bir modelin yaptığı doğru pozitif, doğru negatif, yanlış pozitif ve yanlış negatif tahminleri anlamada özellikle faydalıdır.

Karmaşıklık matrisi, bir sınıflandırma modelinin öngördüğü performansın sınıf bazında dağılımını sunar. Bu düzenli eşleme, modelin nerede hata yaptığını gösteren daha kapsamlı bir değerlendirme sağlar. Basit doğruluk oranının aksine, özellikle dengesiz veri kümelerinde yanıltıcı olabilen doğruluk oranı yerine, karmaşıklık matrisi model performansına daha incelikli bir bakış sunar.

Karmaşıklık Matrisinin Bileşenleri

1. Doğru Pozitif (TP): Modelin pozitif sınıfı doğru şekilde tahmin ettiği durumlar. Örneğin, bir hastalığın saptanmasına yönelik bir testte, testin gerçekten hasta olan bir kişiyi doğru şekilde hasta olarak tanıması doğru pozitif olur.
2. Doğru Negatif (TN): Modelin negatif sınıfı doğru şekilde tahmin ettiği durumlar. Örneğin, testin sağlıklı birini doğru şekilde hasta olmadığını saptaması.
3. Yanlış Pozitif (FP): Modelin pozitif sınıfı yanlış şekilde tahmin ettiği durumlar. Hastalık testi örneğinde, sağlıklı birinin yanlışlıkla hasta olarak tanımlanması (Tip I Hata).
4. Yanlış Negatif (FN): Modelin negatif sınıfı yanlış şekilde tahmin ettiği durumlar. Örneğimizde, hasta birinin yanlışlıkla sağlıklı olarak tanımlanması (Tip II Hata).

Karmaşıklık Matrisinin Önemi

Karmaşıklık matrisi, model performansını basit doğruluk oranından çok daha kapsamlı anlamanızı sağlar. Modelin iki sınıfı birbirine karıştırıp karıştırmadığını ortaya koyar; bu, bir sınıfın diğerine göre çok fazla olduğu dengesiz veri kümelerinde özellikle önemlidir. Kesinlik, Duyarlılık ve F1 Skoru gibi diğer önemli metriklerin hesaplanmasında da gereklidir.

Karmaşıklık matrisi, bir sınıflandırıcının genel veya sınıf bazlı doğruluk oranını hesaplamanın yanı sıra, geliştiricilerin modellerini değerlendirmek için sıkça kullandığı diğer önemli metrikleri de hesaplamaya yardımcı olur. Ayrıca, farklı sınıflandırıcıların göreli güçlü ve zayıf yönlerini karşılaştırmaya yardımcı olabilir.

Karmaşıklık Matrisinden Türetilen Temel Metrikler

• Doğruluk (Accuracy): Doğru tahmin edilen örneklerin (hem doğru pozitif hem doğru negatif) toplam örnek sayısına oranı. Doğruluk, modelin genel performansı hakkında bilgi verir ancak dengesiz veri kümelerinde yanıltıcı olabilir.

• Kesinlik (Precision - Pozitif Tahmin Değeri): Doğru pozitif tahminlerin toplam pozitif tahminlere oranı. Yanlış pozitiflerin maliyetinin yüksek olduğu durumlarda kesinlik kritiktir.

  $$ \text{Precision} = \frac{TP}{TP + FP} $$

• Duyarlılık (Recall - Duyarlılık veya Doğru Pozitif Oranı): Doğru pozitif tahminlerin toplam gerçek pozitiflere oranı. Pozitif bir durumu kaçırmanın maliyetli olduğu senaryolarda duyarlılık önemlidir.

  $$ \text{Recall} = \frac{TP}{TP + FN} $$

• F1 Skoru: Kesinlik ve Duyarlılığın harmonik ortalamasıdır. İki metriğin dengelenmesini sağlar ve hem yanlış pozitif hem de yanlış negatiflerin önemli olduğu durumlarda özellikle faydalıdır.

  $$ \text{F1 Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} $$

• Özgüllük (Specificity - Doğru Negatif Oranı): Doğru negatif tahminlerin toplam gerçek negatiflere oranı. Negatif sınıfın doğru şekilde tanımlanmasının önemli olduğu durumlarda kullanılır.

  $$ \text{Specificity} = \frac{TN}{TN + FP} $$

Karmaşıklık Matrisinin Kullanım Alanları

1. Tıbbi Teşhis: Hastalık tahmini gibi durumlarda, tüm hastalık vakalarının saptanması (yüksek duyarlılık) önemli olup, bazı sağlıklı kişilerin hasta olarak tanımlanması (düşük kesinlik) tolere edilebilir.
2. Spam Tespiti: Yanlış pozitiflerin (spam olmayan e-postaların yanlışlıkla spam olarak işaretlenmesi) en aza indirilmesinin önemli olduğu durumlar.
3. Sahtekarlık Tespiti: Finansal işlemlerde, sahte bir işlemin gözden kaçırılması (yanlış negatif) genellikle, gerçek bir işlemin yanlışlıkla sahte olarak işaretlenmesinden (yanlış pozitif) daha maliyetlidir.
4. Görüntü Tanıma: Örneğin, görüntülerde farklı hayvan türlerinin tanınması; burada her tür farklı bir sınıfı temsil eder.

Çok Sınıflı Sınıflandırmada Karmaşıklık Matrisi

Çok sınıflı sınıflandırmada, karmaşıklık matrisi N x N boyutuna çıkar; burada N, sınıf sayısıdır. Matrisin her bir hücresi, satırda belirtilen gerçek sınıfın, sütunda belirtilen tahmin edilen sınıfa kaç kere eşleştiğini gösterir. Bu genişletilmiş yapı, çoklu sınıflar arasındaki yanlış sınıflandırmaları anlamayı sağlar.

Python’da Karmaşıklık Matrisi Uygulaması

Python’un scikit-learn gibi araçları, confusion_matrix() ve classification_report() gibi fonksiyonlarla karmaşıklık matrislerinin kolayca hesaplanmasını ve görselleştirilmesini sağlar. Aşağıda, ikili sınıflandırma problemi için karmaşıklık matrisi oluşturma örneği verilmiştir:

from sklearn.metrics import confusion_matrix, classification_report

# Gerçek ve tahmin edilen değerler
actual = ['Dog', 'Dog', 'Cat', 'Dog', 'Cat']
predicted = ['Dog', 'Cat', 'Cat', 'Dog', 'Cat']

# Karmaşıklık matrisi oluştur
cm = confusion_matrix(actual, predicted, labels=['Dog', 'Cat'])

# Karmaşıklık matrisini göster
print(cm)

# Sınıflandırma raporu üret
print(classification_report(actual, predicted))

Çalışmalar

1. Structural Health Monitoring Alanında Edge-AI Entegrasyonu
   Anoop Mishra ve arkadaşlarının (2023) çalışmasında, köprülerin gerçek zamanlı denetimi için yapısal sağlık izleme (SHM) alanında edge-AI entegrasyonu incelenmiştir. Çalışmada, bir edge AI çerçevesi önerilmiş ve gerçek zamanlı çatlak sınıflandırması yapmak üzere edge-AI uyumlu bir derin öğrenme modeli geliştirilmiştir. Modelin etkinliği, doğruluk ve karmaşıklık matrisi gibi çeşitli metriklerle değerlendirilmiş; bu da fiziksel sahalarda gerçek zamanlı çıkarım ve karar vermede yardımcı olmuştur.
   Daha fazla oku

2. CodeCipher: LLM’lere Karşı Kaynak Kodu Obfuscation Yöntemleri
   Yalan Lin ve arkadaşlarının 2024 tarihli çalışmasında, yapay zeka destekli kodlama görevlerinde gizlilik endişelerine odaklanılmıştır. Araştırmacılar, kaynak kodunu gizlerken yapay zeka modeli performansını koruyan CodeCipher yöntemini sunmuştur. Çalışmada, klasik anlamda karmaşıklık matrisi olmasa da, karmaşıklık kavramının yenilikçi bir uygulaması olan token-to-token confusion mapping stratejisi ile gizlilik sağlanırken yapay zeka görev etkinliğinden taviz verilmemiştir.
   Daha fazla oku

3. CNN’ler İnsan Duygularını Doğru Sınıflandırabilir mi? Derin Öğrenme ile Yüz İfadesi Tanıma Çalışması
   Ashley Jisue Hong ve arkadaşlarının 2023 tarihli çalışmasında, konvolüsyonel sinir ağlarının (CNN) yüz ifadeleri aracılığıyla insan duygularını sınıflandırma yeteneği incelenmiştir. Çalışmada, duyguların pozitif, nötr veya negatif olarak sınıflandırılmasında CNN’in doğruluğunu değerlendirmek için karmaşıklık matrisleri kullanılmış; böylece temel doğruluk oranının ötesinde model performansına dair içgörüler elde edilmiştir. Karmaşıklık matrisi, yanlış sınıflandırma oranlarının analizinde ve modelin farklı duygu sınıflarındaki davranışını anlamada kritik rol oynamıştır.
   Daha fazla oku

Bu makaleler, yapay zekada gerçek zamanlı karar vermeden kodlama gizliliğine ve yüz tanımada duygu sınıflandırmasına kadar karmaşıklık matrisinin çeşitli uygulamalarını ve önemini öne çıkarmaktadır.