Geriye Yayılım (Backpropagation)

Geriye yayılım, yapay sinir ağlarını eğitmek için kullanılan bir algoritmadır. Ağırlıkları, tahminlerdeki hatayı en aza indirecek şekilde ayarlayarak sinir ağlarının verimli şekilde öğrenmesini sağlar. Bu sözlük maddesinde, geriye yayılımın ne olduğunu, nasıl çalıştığını ve bir sinir ağının eğitiminde yer alan adımları açıklayacağız.

Geriye Yayılım (Backpropagation) Nedir?

Geriye yayılım, İngilizce adıyla “backward propagation of errors”, yapay sinir ağlarını eğitmek için kullanılan denetimli bir öğrenme algoritmasıdır. Sinir ağının, bir önceki dönemden (iterasyon) elde edilen hata oranına göre ağırlıklarını güncelleme yöntemidir. Amaç, hata oranını en aza indirmek ve ağın tahminlerinin olabildiğince doğru olmasını sağlamaktır.

Geriye Yayılım Nasıl Çalışır?

Geriye yayılım, hatayı ağda geriye doğru yayarak çalışır. İşte adım adım süreç:

1. Öne Doğru Geçiş

• Girdi Katmanı: Girdi verisi ağa beslenir.
• Gizli Katmanlar: Veri, bir veya daha fazla gizli katmandan geçirilir; burada nöronlar ağırlık ve aktivasyon fonksiyonlarını uygular ve çıktılar üretir.
• Çıktı Katmanı: Son çıktı, son gizli katmandan gelen girdilerin ağırlıklı toplamına göre oluşturulur.

2. Kayıp (Hata) Hesaplama

• Hata Hesaplama: Ağın ürettiği çıktı, gerçek hedef değerlerle karşılaştırılarak hata (kayıp) hesaplanır. Sık kullanılan kayıp fonksiyonları arasında Ortalama Kare Hata (MSE) ve Çapraz Entropi Kaybı bulunur.

3. Geriye Doğru Geçiş

• Gradyan Hesaplama: Kayıp fonksiyonunun her bir ağırlığa göre gradyanı, kalkülüsün zincir kuralı kullanılarak hesaplanır. Bu adımda, kaybın her bir ağırlığa göre kısmi türevleri bulunur.
• Ağırlık Güncelleme: Hesaplanan gradyanlar kullanılarak ağırlıklar güncellenir. Öğrenme oranı (learning rate) adı verilen hiperparametre, ağırlık güncelleme adımının büyüklüğünü belirler. Güncelleme kuralı genellikle şu şekildedir:
  w_yeni = w_eski – η ∂L/∂w
  burada η öğrenme oranı, ∂L/∂w ise kaybın (L) ağırlığa (w) göre gradyanıdır.

4. Yineleme

• Tekrar: 1’den 3’e kadar olan adımlar, önceden belirlenmiş sayıda dönem (epoch) boyunca veya kayıp istenen bir eşik değere ulaşana kadar tekrarlanır.

Geriye Yayılım ile Sinir Ağı Eğitimi

Bir sinir ağını eğitmek için temel adımlar şunlardır:

1. Veri Hazırlama

• Veri Seti: Veri setini toplama ve ön işleme.
• Normalizasyon: Tüm giriş özelliklerinin aynı ölçekte olmasını sağlamak için verileri normalize etme.

2. Model Başlatma

• Mimari: Sinir ağının katman ve nöron sayısı gibi mimarisini tanımlama.
• Ağırlıkların Başlatılması: Ağırlıkları genellikle küçük rastgele değerlerle başlatma.

3. Eğitim Döngüsü

• Öne Doğru Geçiş: Ağın çıktısını hesaplama.
• Kayıp Hesaplama: Tahmin edilen ve gerçek çıktılar arasındaki kaybı hesaplama.
• Geriye Doğru Geçiş: Kayıp fonksiyonunun her ağırlığa göre gradyanlarını hesaplama.
• Ağırlıkların Güncellenmesi: Ağırlıkları, gradyanlar ve öğrenme oranı ile güncelleme.
• Dönem: Ağırlıkları iyileştirmek için bu süreci birden fazla dönem boyunca tekrarlama.

4. Değerlendirme

• Doğrulama: Eğitilmiş modeli ayrı bir doğrulama veri setinde test ederek performansını değerlendirme.
• Ayarlamalar: Doğrulama sonuçlarına göre öğrenme oranı, mini-batch boyutu ve dönem sayısı gibi hiperparametreleri ince ayar yapma.

Geriye Yayılımın İlkeleri

• Zincir Kuralı: Çok katmanlı bir ağda gradyanların hesaplanmasını sağlayan temel matematiksel ilke.
• Gradyan İnişi: Kayıp fonksiyonunu en aza indirmek için kullanılan bir optimizasyon algoritması.
• Öğrenme Oranı: Model ağırlıkları her güncellendiğinde tahmini hataya göre modelin ne kadar değişeceğini belirleyen bir hiperparametre.

Kaynaklar:

• GeeksforGeeks – Sinir Ağında Geriye Yayılım
• Vikipedi – Geriye Yayılım
• Neptune.ai – Sinir Ağlarında Geriye Yayılım Algoritmasına Kapsamlı Bir Rehber