Bagging

Bagging, Bootstrap Toplama’nın kısaltmasıdır ve yapay zeka ile makine öğreniminde öngörücü modellerin doğruluğunu ve sağlamlığını artırmak için kullanılan temel bir topluluk öğrenme tekniğidir. Bu yöntem, eğitim veri setinden rastgele tekrar seçmeli örnekleme (bootstrapping) ile birden fazla alt küme oluşturarak çalışır. Oluşturulan bu alt kümeler, temel modeller (zayıf öğreniciler olarak da bilinir) üzerinde birbirinden bağımsız olarak eğitilir. Bu modellerin tahminleri, regresyon görevlerinde ortalama alma ya da sınıflandırmada çoğunluk oyu ile birleştirilir ve böylece varyansı azaltılmış, daha kararlı nihai bir tahmin elde edilir.

Temel Kavramlar

1. Topluluk Öğrenme

Topluluk öğrenme, birden fazla model kullanılarak daha güçlü bir genel modelin oluşturulduğu bir makine öğrenimi yaklaşımıdır. Temel fikir, birlikte çalışan modellerin, tek bir modelden daha iyi sonuç verebileceğidir. Bu yöntem, bir uzmanlar ekibinin görüşlerini birleştirerek daha doğru bir tahmine ulaşmasına benzer. Bagging, boosting ve stacking gibi topluluk öğrenme teknikleri, bireysel modellerin güçlü yanlarından faydalanarak varyans veya yanlılık kaynaklı hataları azaltır ve genel performansı artırır. Özellikle tekil modellerin yüksek varyans veya yanlılıktan dolayı aşırı uyum ya da düşük uyum gösterdiği durumlarda oldukça faydalıdır.

2. Bootstrapping

Bootstrapping, bir veri setinden tekrar seçmeli olarak çoklu rastgele örnekler oluşturan istatistiksel bir tekniktir. Bagging bağlamında bootstrapping, her modelin veri setinin biraz farklı bir versiyonunu almasını sağlar ve bu örneklerde aynı veri noktaları birden fazla kez bulunabilir. Eğitim veri kümeleri arasındaki bu çeşitlilik, her modelin verinin farklı yönlerini öğrenmesini sağlayarak aşırı uyum riskini azaltır. Bootstrapping, bagging’de topluluğun oluşturulması için temeldir; böylece modellerin farklı örnekler üzerinde eğitilmesi, genel modelin sağlamlığını ve genelleme yeteneğini artırır.

3. Temel Öğreniciler

Temel öğreniciler, bagging sürecinde farklı veri alt kümeleri üzerinde eğitilen bireysel modellerdir. Bunlar genellikle tek başlarına güçlü tahmin yeteneğine sahip olmayan basit veya zayıf öğrenicilerdir (ör. karar ağaçları). Ancak bir araya geldiklerinde güçlü bir topluluk modeli oluştururlar. Kullanılan temel öğrenici tipi, topluluğun performansını önemli ölçüde etkileyebilir; karar ağaçları, sadelikleri ve doğrusal olmayan ilişkileri yakalama yetenekleri nedeniyle sıklıkla tercih edilir. Temel öğreniciler arasındaki çeşitlilik, farklı bootstrapped veri kümelerine maruz kalmaları sayesinde sağlanır ve bagging’in başarısının anahtarıdır.

4. Toplama (Aggregation)

Toplama, bagging’de son adımdır ve bireysel temel öğrenicilerin tahminlerinin birleştirilerek nihai çıktının oluşturulmasını içerir. Regresyon görevlerinde bu genellikle tahminlerin ortalaması alınarak, sınıflandırma görevlerinde ise çoğunluk oyu ile gerçekleştirilir. Bu toplama işlemi, modelin tahminlerindeki varyansı azaltır ve daha kararlı, doğru sonuçlar sunar. Birden fazla modelin çıktılarının birleştirilmesi, tek bir modelin hatalarının etkisini hafifletir ve daha sağlam bir topluluk tahmini elde edilmesini sağlar.

Bagging Nasıl Çalışır?

Bagging, model performansını artırmak için aşağıdaki adımları izler:

1. Veri Seti Hazırlığı: Temiz ve ön işlenmiş bir veri setiyle başlanır, eğitim ve test setlerine ayrılır.
2. Bootstrap Örnekleme: Eğitim veri setinden tekrar seçmeli rastgele örnekleme ile çoklu bootstrap örnekleri oluşturulur. Her örneğin boyutu, orijinal veri setiyle aynı olmalıdır.
3. Model Eğitimi: Her bootstrap örneği üzerinde bir temel öğrenici bağımsız olarak eğitilir. Modeller paralel olarak eğitilebildiği için çok çekirdekli sistemlerde verimli çalışır.
4. Tahmin Üretimi: Her bir eğitimli model, test veri seti üzerinde tahminler yapar.
5. Tahminlerin Birleştirilmesi: Tüm modellerin tahminleri birleştirilerek nihai tahmin oluşturulur. Regresyon için ortalama alma, sınıflandırma için çoğunluk oyu kullanılır.
6. Değerlendirme: Bagging topluluğunun başarımı, doğruluk, kesinlik, duyarlılık ya da ortalama karesel hata gibi metriklerle ölçülür.

Örnekler ve Kullanım Alanları

Random Forest

Bagging’in en bilinen örneklerinden biri Random Forest algoritmasıdır. Bu algoritmada temel öğreniciler olarak karar ağaçları kullanılır ve her bir ağaç farklı bir bootstrap örneğiyle eğitilir. Nihai tahmin, tüm ağaçların tahminlerinin birleştirilmesiyle oluşturulur. Random Forest, yüksek boyutlu büyük veri setlerinde hem sınıflandırma hem de regresyon görevlerinde aşırı uyuma karşı dayanıklılığı ve güçlü performansıyla yaygın olarak kullanılır.

Sektörlere Göre Uygulamalar

• Sağlık: Bagging, hasta verileriyle hastalık olasılığı gibi tıbbi sonuçların tahmininde modellerin varyansını azaltıp güvenilir tahminler sağlar.
• Finans: Dolandırıcılık tespitinde, farklı işlem alt kümelerinde eğitilen modellerin çıktıları birleştirilerek doğruluk ve sağlamlık artırılır.
• Çevre: Ekolojik tahminlerde, farklı örnekleme senaryolarında eğitilen modeller toplulaştırılarak veri toplama belirsizliklerine karşı çözüm sunulur.
• BT Güvenliği: Ağ saldırı tespit sistemlerinde, ağ trafiğinin farklı yönlerinde eğitilen modellerin çıktıları birleştirilerek doğruluk artırılır ve yanlış pozitifler azaltılır.

Bagging’in Avantajları

• Varyans Azaltma: Bagging, birden fazla modelin çıktısını ortalayarak tahmin varyansını düşürür, modelin kararlılığını artırır ve aşırı uyumu azaltır.
• Daha İyi Genelleme: Temel modeller arasındaki çeşitlilik sayesinde topluluk, yeni veriler üzerinde daha iyi genelleme yapar ve yeni veri kümelerinde tahmin başarımı artar.
• Paralel Çalışma: Temel modellerin bağımsız eğitimi, çok çekirdekli işlemcilerle eğitim sürecinin hızla tamamlanmasını sağlar.

Bagging’in Zorlukları

• Hesaplama Maliyetinin Yüksekliği: Temel model sayısının artmasıyla hesaplama maliyeti ve bellek kullanımı da artar; bu nedenle bagging gerçek zamanlı uygulamalarda daha az tercih edilir.
• Yorumlanabilirliğin Azalması: Topluluk yapısı, bireysel modellerin katkılarını belirsizleştirir ve nihai modelin karar süreçlerinin yorumlanmasını zorlaştırır.
• Kararlı Modellerde Etkisiz: Bagging, en çok yüksek varyanslı modellerde fayda sağlar; zaten kararlı ve düşük varyanslı modellerde önemli bir iyileşme sağlamayabilir.

Python ile Pratik Uygulama

Bagging, Python’da scikit-learn gibi kütüphaneler ile kolayca uygulanabilir. Aşağıda, karar ağacı temel öğreniciyle BaggingClassifier kullanılarak örnek bir uygulama gösterilmektedir:

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score

# Iris veri setini yükle
iris = load_iris()
X = iris.data
y = iris.target

# Veri setini eğitim ve test olarak ayır
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Temel sınıflandırıcıyı başlat
base_classifier = DecisionTreeClassifier(random_state=42)

# BaggingClassifier'ı başlat
bagging_classifier = BaggingClassifier(base_estimator=base_classifier, n_estimators=10, random_state=42)

# BaggingClassifier'ı eğit
bagging_classifier.fit(X_train, y_train)

# Test seti üzerinde tahmin yap
y_pred = bagging_classifier.predict(X_test)

# Doğruluk hesapla
accuracy = accuracy_score(y_test, y_pred)
print("Bagging Classifier'ın doğruluğu:", accuracy)