F-Skoru (F-Ölçütü, F1 Ölçütü)

F-Skoru Nedir?

F-Skoru, F-Ölçütü veya F1 Skoru olarak da bilinir ve özellikle ikili sınıflandırma problemlerinde bir testin veya modelin doğruluğunu değerlendirmek için kullanılan istatistiksel bir metriktir. Modelin hem doğruluk hem de geri çağırma oranını dengeleyen tek bir skor sunarak performansına kapsamlı bir bakış sağlar.

Doğruluk ve Geri Çağırmayı Anlamak

F-Skoru’na daha derinlemesine geçmeden önce, birleşimini yaptığı iki temel bileşeni anlamak önemlidir:

• Doğruluk: Modelin yaptığı pozitif tahminlerin doğruluğunu ölçer. Gerçek pozitif sayısının, gerçek pozitif ve yanlış pozitif toplamına oranıdır. Yüksek doğruluk, düşük yanlış pozitif hata oranı anlamına gelir.
• Geri Çağırma: Duyarlılık olarak da bilinen geri çağırma, modelin tüm ilgili örnekleri tanımlama yeteneğini ölçer. Gerçek pozitiflerin, gerçek pozitif ve yanlış negatif toplamına oranıdır. Yüksek geri çağırma, düşük yanlış negatif hata oranı anlamına gelir.

Formül

F1 Skoru, doğruluk ve geri çağırmanın harmonik ortalaması olarak hesaplanır:

F1 = 2 × (Doğruluk × Geri Çağırma) / (Doğruluk + Geri Çağırma)

Harmonik ortalama, aritmetik ortalama yerine kullanılır çünkü aşırı değerleri daha fazla cezalandırır. Yani, F1 Skoru ancak hem doğruluk hem de geri çağırma yüksekse yüksek olur.

F-Skoru Nasıl Kullanılır?

Model Performansını Değerlendirme

F-Skoru, makine öğrenmesi modellerinin performansını değerlendirmek için yaygın olarak kullanılır; özellikle sınıf dağılımı dengesiz olduğunda. Böyle durumlarda yalnızca doğruluk yanıltıcı olabilir. Örneğin, örneklerin %95’i bir sınıfa ait olan bir veri kümesinde, tüm örnekleri o sınıfa atayan bir model %95 doğruluk elde eder fakat azınlık sınıfına ait örnekleri hiç bulamaz.

F-Skoru, hem doğruluk hem de geri çağırmayı göz önünde bulundurarak daha ayrıntılı bir değerlendirme sağlar:

• Yüksek Doğruluk, Düşük Geri Çağırma: Model pozitif tahminlerinde temkinlidir, az yanlış pozitif üretir fakat birçok gerçek pozitifi kaçırabilir.
• Düşük Doğruluk, Yüksek Geri Çağırma: Model çoğu gerçek pozitifi yakalar fakat çok fazla yanlış pozitif de üretir.

F1 Skoru, bu iki yönü dengeleyerek, hem doğruluğu hem de geri çağırması yüksek olan modellere yüksek F1 Skoru verilmesini sağlar.

Bilgi Erişimi ve Doğal Dil İşlemede Uygulama

Bilgi erişimi ve doğal dil işleme (NLP) gibi alanlarda F-Skoru şu görevler için önemlidir:

• Metin Sınıflandırma: Bir metin dokümanının kategorisini belirleme (ör. e-posta spam tespiti).
• Adlandırılmış Varlık Tanıma: Metindeki varlıkları isim, kurum, yer gibi kategorilere ayırma.
• Duygu Analizi: Metni ifade edilen duyguya göre sınıflandırma.

Bu görevlerde F1 Skoru, modelin ilgili örnekleri doğru şekilde tanımlama performansını ölçmede yardımcı olur (ör. bir e-postayı spam olarak doğru sınıflandırmak ve meşru e-postaları yanlış sınıflandırmamak).

Yapay Zeka Otomasyonu ve Sohbet Botlarında Kullanım

Yapay zeka otomasyonu ve sohbet botlarında F-Skoru önemli bir rol oynar:

• Niyet Tanıma: Sohbet botları, kullanıcı niyetlerini anlamak için modeller kullanır. F1 Skoru, botun kullanıcı isteklerini ne kadar doğru tanımladığını ölçer.
• Varlık Çıkarımı: Kullanıcı girdilerinden ilgili bilgilerin (ör. tarih, isim, yer) çıkarılması bot yanıtları için kritiktir. F1 Skoru bu çıkarım modellerinin başarısını değerlendirir.

Yüksek F1 Skoru hedeflenerek, geliştiriciler sohbet botlarının doğru ve ilgili yanıtlar vermesini sağlar, böylece kullanıcı deneyimini iyileştirir.

Örnekler ve Kullanım Alanları

Örnek 1: Spam Tespiti

Bir e-posta sistemi, e-postaları “Spam” veya “Spam Değil” olarak sınıflandırıyor diyelim. F1 Skoru şöyle uygulanır:

1. Doğruluk: Sistem tarafından “Spam” olarak etiketlenen e-postaların kaçı gerçekten spam? Yüksek doğruluk, spam olarak etiketlenenlerin gerçekten spam olduğunu gösterir.
2. Geri Çağırma: Tüm gerçek spam e-postaların kaçı sistem tarafından doğru şekilde tespit edildi? Yüksek geri çağırma, az spam e-postanın kaçırıldığını gösterir.

F1 Skoru, mümkün olduğunca çok spamı yakalamak (yüksek geri çağırma) ile meşru e-postaları yanlış sınıflandırmamak (yüksek doğruluk) arasındaki dengeyi sağlar.

Örnek 2: Tıbbi Tanı

Bir hastalık için yapılan tıbbi bir testte:

• Gerçek Pozitif (TP): Hastalığı doğru şekilde teşhis edilen hastalar.
• Yanlış Pozitif (FP): Hastalığı olmadığı halde teşhis edilen hastalar.
• Yanlış Negatif (FN): Hastalığı olduğu halde test tarafından belirlenemeyen hastalar.

F1 Skoru, hem doğruluğu (belirlenen vakaların ne kadarının doğru olduğu) hem de geri çağırmayı (testin kaç vakayı kaçırdığı) dikkate alarak testin etkinliğini değerlendirir.

Örnek 3: Sohbet Botu Niyet Tespiti

Bir yapay zeka sohbet botu, uygun yanıtlar verebilmek için kullanıcı niyetlerini anlamaya çalışır. Performans şu şekilde değerlendirilebilir:

• Doğruluk: Botun tahmin ettiği tüm niyetlerin kaçı doğru? Yüksek doğruluk, kullanıcılara ilgili yanıtlar verilmesini sağlar.
• Geri Çağırma: Tüm kullanıcı niyetlerinin kaçı bot tarafından doğru şekilde tanındı? Yüksek geri çağırma, botun çoğu kullanıcı isteğini anladığını gösterir.

F1 Skoru hesaplanarak, geliştiriciler sohbet botunun dil anlama modellerini doğruluk ve geri çağırma açısından optimize edebilir ve daha etkili bir konuşma ajanı elde edebilir.

Genişletilmiş Metrikler: Fβ Skoru

F1 Skoru, doğruluk ve geri çağırmaya eşit ağırlık verirken bazı durumlarda biri diğerinden daha önemli olabilir. Fβ Skoru, doğruluk ve geri çağırmaya farklı ağırlıklar vererek F1 Skoru’nu genelleştirir.

Formül

Fβ = (1 + β²) × (Doğruluk × Geri Çağırma) / (β² × Doğruluk + Geri Çağırma)

Burada β ağırlığı belirler:

• β > 1: Geri çağırma daha fazla ağırlıklandırılır.
• β < 1: Doğruluk daha fazla ağırlıklandırılır.

Kullanım Alanları

• Tıbbi Testler: Bir hastalığın teşhisinin kaçırılması (yanlış negatif) yanlış alarmlardan daha kritik olabilir. Bu durumda geri çağırma daha önemli olur ve daha yüksek bir β (ör. 2) seçilir.
• Dolandırıcılık Tespiti: Sahtecilik vakalarının tespit edilememesi ciddi sonuçlar doğurabilir. Geri çağırma öncelikli olur ve çoğu dolandırıcılık vakası yakalanır.
• Spam Filtreleri: Meşru e-postaların spam olarak işaretlenmesi (yanlış pozitif) kullanıcıyı rahatsız edebilir. Doğruluk öncelikli olursa (β < 1) bu hatalar azaltılır.

Örnek: β Değerinin Ayarlanması

Bir dolandırıcılık tespit sistemi düşünelim:

• Yüksek Geri Çağırma Önceliği: F2 Skoru (β = 2) kullanılarak geri çağırma önceliklendirilebilir, böylece çoğu sahte işlem işaretlenir.
• Hesaplama: F2 = (1 + 2²) × (Doğruluk × Geri Çağırma) / (2² × Doğruluk + Geri Çağırma)

β ayarlanarak model değerlendirmesi iş ihtiyaçlarıyla uyumlu hale getirilir.

Çoklu Sınıf Sınıflandırma ve Ortalama Alma Yöntemleri

İkiden fazla sınıfla çalışırken doğruluk, geri çağırma ve F1 Skoru hesaplamaları daha karmaşık hale gelir. Bu metrikleri genişletmek için birkaç yöntem vardır:

Birine Karşı Tümü (OvR) Yaklaşımı

Her bir sınıf pozitif olarak ele alınır ve diğer tüm sınıflar negatif olarak kabul edilir. Her sınıf için ayrı F1 Skoru hesaplanır.

Ortalama Alma Yöntemleri

• Makro-Ortalama: Her bir sınıf için F1 Skoru bağımsız olarak hesaplanır ve ağırlıksız ortalaması alınır. Bu yöntem, örnek sayısı ne olursa olsun tüm sınıflara eşit ağırlık verir.
• Mikro-Ortalama: Tüm sınıfların katkıları toplanarak ortalama metrik hesaplanır. Dengesiz veri setlerinde çoğunluk sınıfından daha çok etkilenir.
• Ağırlıklı Ortalama: Her sınıf için F1 Skoru hesaplanır ve sınıfın örnek sayısına göre ağırlıklı ortalama alınır.

Uygulama Örneği

Birden fazla niyet yöneten yapay zeka sohbet botlarında:

• Niyet Tespiti: Her kullanıcı niyeti bir sınıftır. Ağırlıklı ortalama kullanılması, daha yaygın niyetlerin genel F1 Skoru üzerinde daha fazla etkiye sahip olmasını sağlar.

Doğru ortalama yöntemi seçilerek geliştiriciler, farklı sınıfların gerçek dünyadaki önemini yansıtan anlamlı performans metrikleri elde edebilirler.

Zorluklar ve Dikkat Edilmesi Gerekenler

Sınıf Dengesizliği

Bir sınıf diğerlerinden çok daha fazla olduğunda, doğruluk anlamını yitirir. F1 Skoru, doğruluk ve geri çağırma arasındaki dengeye odaklanarak değerli olmaya devam eder.

Örnek: Dolandırıcılık tespitinde, sahte işlemler tüm işlemlerin %1’inden az olabilir. Tüm işlemleri sahte değil olarak tahmin eden bir model %99’dan fazla doğruluk elde eder fakat sahte sınıfı için %0 geri çağırma sağlar.

Doğruluk-Geri Çağırma Dengesi

Doğruluğu artırmak genellikle geri çağırmayı azaltırken geri çağırmayı artırmak da doğruluğu düşürebilir. F1 Skoru denge bulmada yardımcı olur; ancak uygulamaya göre Fβ Skoru ile öncelik ayarlanabilir.

Eşik Ayarlaması

Olasılıksal sınıflandırıcılarda karar eşiğinin ayarlanması doğruluk ve geri çağırmayı etkiler:

• Düşük Eşik: Geri çağırmayı artırır fakat doğruluğu azaltabilir.
• Yüksek Eşik: Doğruluğu artırır fakat geri çağırmayı azaltabilir.

Doğruluk-geri çağırma eğrileri analiz edilerek, geliştiriciler hedeflerine uygun eşikleri seçebilirler.

Yapay Zeka Otomasyonu ve Sohbet Botlarında F1 Skoru

Kullanıcı Deneyimini Artırmak

Yapay zeka sohbet botlarında, kullanıcı girdilerinin doğru anlaşılması esastır:

• Niyet Tanıma: Yüksek F1 Skoru, botun kullanıcı niyetlerini doğru tanımasını ve uygun yanıtlar vermesini sağlar.
• Hata Yönetimi: Yanlış pozitif ve yanlış negatif analiz edilerek botun anlama kapasitesi geliştirilir ve yanlış anlaşılmalar azaltılır.

Sürekli Gelişim

F1 Skorunu temel metrik olarak kullanmak şunları sağlar:

• Kıyaslama: Farklı model veya sürümleri karşılaştırarak en iyi performanslı olanı seçme.
• İzleme: Botun performansını zaman içinde takip ederek iyileşme veya bozulmaları tespit etme.
• A/B Testi: Botun dil modellerindeki değişikliklerin doğruluk, geri çağırma ve F1 Skoru üzerindeki etkisini ölçme.

Özel İhtiyaçlara Göre Özelleştirme

Fβ Skoru’nda β değerini ayarlayarak sohbet botu geliştiricileri performansı özelleştirebilirler:

• Müşteri Hizmetleri Botları: Yanlış bilgi vermemek için doğruluğu önceliklendirebilir.
• Satış Botları: Mümkün olduğunca çok potansiyel müşteriyle etkileşime geçmek için geri çağırmayı önceliklendirebilir.

F-Skorunu Kullanırken Pratik İpuçları

• Bağlamı Anlayın: Uygulamanız için doğruluk, geri çağırma ya da denge mi daha önemli belirleyin.
• Diğer Metriklerle Birlikte Kullanın: F1 Skoru bilgilendiricidir, fakat doğruluk, özgüllük veya ROC-AUC gibi diğer metriklerle birlikte değerlendirmek daha kapsamlı olur.
• Karmaşıklık Matrisi Analizi Yapın: Gerçek pozitif, yanlış pozitif, yanlış negatif ve gerçek negatif dağılımını inceleyerek modelin güçlü ve zayıf yönlerini belirleyin.
• Veri Dağılımını Dikkate Alın: Sınıf dengesizliklerinin farkında olun ve buna göre metrik ve değerlendirme stratejileri seçin.

F-skoru (F-ölçütü, F1 ölçütü) Üzerine Araştırmalar

1. What the F-measure doesn’t measure: Features, Flaws, Fallacies and Fixes - David M. W. Powers (2019): Bu çalışma, F-ölçütünün Bilgi Erişimi, Doğal Dil İşleme ve Makine Öğrenmesi’ndeki yaygın kullanımı üzerine eleştirel bir inceleme sunar. Yazar, F-ölçütünün hatalı varsayımlara dayandığını ve birçok bağlamda uygun olmadığını savunur. Çalışmada, bu alanlarda performansı değerlendirmek için F-ölçütüne alternatiflerin daha üstün olduğu öne sürülür. Daha fazla oku.
2. An accurate IoT Intrusion Detection Framework using Apache Spark - Mohamed Abushwereb ve diğerleri (2022): Bu araştırma, Apache Spark kullanılarak IoT ağları için bir Saldırı Tespit Sistemi (IDS) geliştirmeye odaklanır. F-ölçütü, özellikle dengesiz verilerle başa çıkmada sistemin performansını değerlendirmek için kullanılır. Çalışmada, Rastgele Orman algoritmasının etkili olduğu ve ikili sınıflandırmada ortalama %99,7 F1 skoru elde ettiği gösterilmiştir. Daha fazla oku.
3. Convex Calibrated Surrogates for the Multi-Label F-Measure - Mingyuan Zhang, Harish G. Ramaswamy, Shivani Agarwal (2020): Bu makale, çoklu etiketli sınıflandırma görevlerinde F-ölçütünün optimize edilmesindeki hesaplama zorluklarını ele alır. F-ölçütüne kalibre edilmiş konveks kayıp fonksiyonları önerilerek daha verimli optimizasyon sağlanır. Çalışmada, çoklu etiketli problemi daha basit ikili sınıflandırma görevlerine bölen algoritmalar türetilmiş ve niceliksel bir pişmanlık aktarım sınırı sunulmuştur. Daha fazla oku.