XGBoost

XGBoost nedir?

XGBoost, toplu öğrenme kategorisine ait, özellikle gradyan artırma çerçevesine dahil olan bir makine öğrenimi algoritmasıdır. Temel öğrenici olarak karar ağaçlarını kullanır ve model genelleştirmesini artırmak için düzenlileştirme teknikleri uygular. Washington Üniversitesi’nden araştırmacılar tarafından geliştirilen XGBoost, C++ ile uygulanmıştır ve Python, R gibi diğer programlama dillerini de destekler.

XGBoost’un Amacı

XGBoost’un temel amacı, makine öğrenimi görevleri için son derece verimli ve ölçeklenebilir bir çözüm sunmaktır. Büyük veri kümelerini işleyebilecek şekilde tasarlanmış olup, regresyon, sınıflandırma ve sıralama dahil birçok uygulamada en güncel performansı sağlar. XGBoost bunu şu yollarla başarır:

• Eksik değerlerin verimli şekilde işlenmesi
• Paralel işleme yetenekleri
• Aşırı öğrenmeyi önlemek için düzenlileştirme

XGBoost’un Temelleri

Gradyan Artırma

XGBoost, gradyan artırma yönteminin bir uygulamasıdır; bu, birçok zayıf modelin tahminlerinin birleştirilerek daha güçlü bir model oluşturulması metodudur. Bu teknikte, modeller birbirini takip eden şekilde eğitilir ve her yeni model, öncekilerin yaptığı hataları düzeltir.

Karar Ağaçları

XGBoost’un temelinde karar ağaçları vardır. Karar ağacı, her bir iç düğümün bir özelliğe göre testi, her dalın bu testin bir sonucunu ve her yaprak düğümünün bir sınıf etiketini temsil ettiği akış diyagramı benzeri bir yapıdır.

Düzenlileştirme

XGBoost, aşırı öğrenmeyi kontrol etmek için L1 (Lasso) ve L2 (Ridge) düzenlileştirme tekniklerini içerir. Düzenlileştirme, karmaşık modelleri cezalandırarak modelin genelleştirme kabiliyetini artırır.

XGBoost’un Temel Özellikleri

• Hız ve Performans: XGBoost, hızlı çalışması ve yüksek doğruluğuyla, büyük ölçekli makine öğrenimi görevleri için uygundur.
• Eksik Değerlerle Başa Çıkma: Algoritma, eksik değer içeren veri kümelerini kapsamlı bir ön işleme gerektirmeden verimli şekilde işler.
• Paralel İşleme: XGBoost, paralel ve dağıtık hesaplamayı destekler ve böylece büyük veri kümelerini hızlıca işleyebilir.
• Düzenlileştirme: L1 ve L2 düzenlileştirme tekniklerini bütünleştirerek model genelleştirmesini artırır ve aşırı öğrenmeyi önler.
• Disk Tabanlı Hesaplama: Belleğe sığmayan verileri, disk tabanlı veri yapıları kullanarak işleyebilir.