Çapraz Doğrulama

Çapraz doğrulama, makine öğrenimi modellerini değerlendirmek ve karşılaştırmak için verileri birden çok kez eğitim ve doğrulama setlerine bölen istatistiksel bir yöntemdir. Temel fikir, bir modelin sonuçlarının bağımsız bir veri setine nasıl genelleştirileceğini değerlendirmek, böylece modelin sadece eğitim verilerinde değil, aynı zamanda görülmemiş verilerde de iyi performans göstermesini sağlamaktır. Bu teknik, modelin eğitim verilerini çok iyi öğrenip (aşırı öğrenme) yeni verilerde kötü performans göstermesi gibi sorunların önlenmesinde çok önemlidir.

Çapraz Doğrulama Nedir?

Çapraz doğrulama, bir veri setini tamamlayıcı alt kümelere böler; bir alt küme modelin eğitimi için, diğeri doğrulama için kullanılır. Bu işlem, her turda farklı alt kümeler eğitim ve doğrulama için kullanılarak birden çok kez tekrarlanır. Doğrulama sonuçları daha sonra model performansının tek bir tahminini üretmek için ortalanır. Bu yöntem, modelin öngörü performansına tek bir eğitim-test bölmesine göre daha doğru bir ölçüm sağlar.

Çapraz Doğrulama Türleri

1. K-Katlı Çapraz Doğrulama

   • Veri seti ‘k’ eşit katmana bölünür.
   • Her yinelemede bir katman doğrulama seti olurken, kalan ‘k-1’ katman eğitim setini oluşturur.
   • Bu işlem ‘k’ kez tekrarlanır. Sonuçlar ortalanarak nihai performans tahmini elde edilir.
   • ‘k’ için tipik bir seçim 10’dur, ancak değişebilir.

2. Tabakalı K-Katlı Çapraz Doğrulama

   • K-katlıya benzer, fakat tüm katmanlarda aynı sınıf dağılımını korur.
   • Dengesiz veri setleri için yararlıdır.

3. Bırak-Bir-Dışarı Çapraz Doğrulama (LOOCV)

   • Veri setindeki her örnek bir kez doğrulama seti olarak kullanılır; geri kalanı eğitim setini oluşturur.
   • Hesaplama açısından çok maliyetli, fakat küçük veri setleri için kullanışlıdır.

4. Ayırma Yöntemi

   • Veri seti ikiye bölünür: biri eğitim, diğeri test içindir.
   • Basit fakat daha az sağlamdır, çünkü performans bölmeye bağlıdır.

5. Zaman Serisi Çapraz Doğrulama

   • Zaman serisi verileri için tasarlanmıştır.
   • Zamansal sırayı koruyarak erken setlerde eğitimde gelecek veri noktalarının kullanılmamasını sağlar.

6. Bırak-P-Dışarı Çapraz Doğrulama

   • ‘p’ veri noktası doğrulama seti olarak bırakılır, model geri kalanla eğitilir.
   • Her olası ‘p’ alt kümesi için tekrarlanır; kapsamlı fakat hesaplama açısından çok maliyetlidir.
   • Maliyet hakkında daha fazla bilgi

7. Monte Carlo Çapraz Doğrulama (Karıştır-Böl)

   • Verileri birden çok kez rastgele eğitim ve doğrulama setlerine böler.
   • Sonuçları ortalar, k-katlıya göre daha fazla bölme çeşitliliği sağlar.

Makine Öğreniminde Önemi

Çapraz doğrulama, makine öğrenimi modeli değerlendirmesinin kritik bir bileşenidir. Bir modelin görülmemiş verilerde nasıl performans göstereceği konusunda bilgi sağlar ve modeli verinin birden fazla alt kümesinde eğitip doğrulayarak hiperparametre ayarlamasında yardımcı olur. Bu süreç, en iyi performans gösteren modelin ve en uygun hiperparametrelerin seçilmesine rehberlik ederek modelin genelleme yeteneğini artırır.

Aşırı ve Yetersiz Öğrenmeyi Önleme

Çapraz doğrulamanın temel faydalarından biri, aşırı öğrenmeyi tespit etme yeteneğidir. Modeli birden çok veri alt kümesinde doğrulayarak, modelin genelleme performansının daha gerçekçi bir tahminini sunar. Modelin sadece eğitim verisini ezberlememesini, yeni verileri de doğru tahmin etmesini sağlar. Öte yandan, tüm doğrulama setlerinde model kötü performans gösteriyorsa, bu yetersiz öğrenmenin bir göstergesidir ve modelin verideki temel desenleri yakalayamadığını gösterir.

Örnekler ve Kullanım Alanları

Örnek: K-Katlı Çapraz Doğrulama

1000 örnekten oluşan bir veri setini ele alalım. 5 katlı çapraz doğrulamada:

• Veri seti, her biri 200 örnekten oluşan 5 parçaya bölünür.
• İlk turda, ilk 200 doğrulama için, kalan 800 eğitim için kullanılır.
• Bu işlem beş kez tekrarlanır, her katman bir kez doğrulama seti olur.
• Her yinelemeden elde edilen sonuçlar ortalanarak performans tahmini yapılır.

Kullanım Alanı: Hiperparametre Ayarlama

Çapraz doğrulama, hiperparametre ayarlamada çok etkilidir. Örneğin, bir Destek Vektör Makinesi (SVM) eğitirken:

• Çekirdek tipi ve düzenleme parametresi ‘C’ seçimi performansı önemli ölçüde etkiler.
• Çapraz doğrulama ile farklı kombinasyonlar denenerek doğruluk en üst düzeye çıkaracak en uygun yapılandırma belirlenebilir.

Kullanım Alanı: Model Seçimi

Birden fazla modelin uygulamaya aday olduğu durumlarda:

• Rastgele Orman, Artan Güçlendirme ve Sinir Ağları gibi modeller aynı veri setinde çapraz doğrulama ile değerlendirilir.
• Performansları sağlam şekilde karşılaştırılır ve en iyi genelleyen model seçilir.

Kullanım Alanı: Zaman Serisi Tahmini

Zaman serisi verileri için:

• Zaman serisi çapraz doğrulama yöntemi ile geçmiş verilerde eğitim, gelecekte doğrulama yapılır.
• Geçmiş desenler üzerinden sağlam gelecek tahminleri yapılmasını sağlar.

Python’da Uygulama

Python kütüphaneleri, özellikle Scikit-learn, çapraz doğrulama için hazır fonksiyonlar sunar.

Scikit-learn ile k-katlı çapraz doğrulamanın örnek uygulaması:

from sklearn.model_selection import cross_val_score, KFold
from sklearn.svm import SVC
from sklearn.datasets import load_iris

# Veri setini yükle
iris = load_iris()
X, y = iris.data, iris.target

# SVM sınıflandırıcı oluştur
svm_classifier = SVC(kernel='linear')

# Katman sayısını belirle
num_folds = 5
kf = KFold(n_splits=num_folds, shuffle=True, random_state=42)

# Çapraz doğrulama uygula
cross_val_results = cross_val_score(svm_classifier, X, y, cv=kf)

# Değerlendirme metrikleri
print(f'Çapraz Doğrulama Sonuçları (Doğruluk): {cross_val_results}')
print(f'Ortalama Doğruluk: {cross_val_results.mean()}')

Zorluklar ve Dikkat Edilmesi Gerekenler

Hesaplama Maliyeti

• Çapraz doğrulama (özellikle LOOCV), birden fazla model eğitimi gerektirdiğinden hesaplama açısından maliyetli olabilir.
• Büyük veri setleri veya karmaşık modeller, hesaplama yükünü artırır.

Sapma-Varyans Dengesi

• K-katlıda ‘k’ seçimi sapma ve varyansı etkiler.
  • Küçük ‘k’: Daha yüksek varyans, daha düşük sapma
  • Büyük ‘k’: Daha düşük varyans, daha yüksek sapma
• Denge önemlidir.

Dengesiz Veriyle Çalışma

• Dengesiz veri setlerinde, tabakalı çapraz doğrulama, her katmanın genel sınıf dağılımını yansıtmasını sağlar.
• Çoğunluk sınıfına karşı önyargıyı önler.

Çapraz Doğrulama ile İlgili Bilimsel Makaleler

Çapraz doğrulama, makine öğrenimi modellerinin başarımını tahmin etmek için kullanılan istatistiksel bir yöntemdir. Öncelikle uygulamalı makine öğreniminde, bir modelin yeni verilerdeki başarımını tahmin etmek için kullanılır. Çapraz doğrulama, veri setinin tamamlayıcı alt kümelere ayrılmasını, analizlerin bir alt kümede (eğitim seti) yapılmasını ve diğer alt kümede (test seti) doğrulanmasını içerir. Çapraz doğrulamayı daha iyi anlamak için çeşitli bilimsel makalelere başvurulabilir:

1. Approximate Cross-validation: Guarantees for Model Assessment and Selection
   Ashia Wilson, Maximilian Kasy ve Lester Mackey (2020)
   Birçok katmanda çapraz doğrulamanın hesaplama yoğunluğunu tartışır, tek bir Newton adımıyla yaklaşık bir yöntem önerir ve düzgün olmayan tahmin problemlerinde garantiler sunar.
   Buradan daha fazlasını okuyun

2. Counterfactual Cross-Validation: Stable Model Selection Procedure for Causal Inference Models
   Yuta Saito ve Shota Yasui (2020)
   Koşullu ortalama tedavi etkisi tahmininde model seçimine odaklanır, sağlam ve doğru performans sıralaması için yeni bir metrik önerir ve nedensel çıkarımda kullanışlıdır.
   Buradan daha fazlasını okuyun

3. Blocked Cross-Validation: A Precise and Efficient Method for Hyperparameter Tuning
   Giovanni Maria Merola (2023)
   Bloklu çapraz doğrulama (BCV) yöntemini tanıtarak, daha az hesaplama ile daha kesin hata tahminleri sunar ve hiperparametre ayarlama verimliliğini artırır.
   Buradan daha fazlasını okuyun