BLEU Skoru

BLEU skoru, yani Bilingual Evaluation Understudy, makine çevirisi sistemleri tarafından üretilen metnin kalitesini değerlendirmede kritik bir metriktir. IBM tarafından 2001 yılında geliştirilen bu metrik, çeviri kalitesinin insan değerlendirmeleriyle güçlü bir korelasyon gösteren öncü bir ölçüttü. BLEU skoru, doğal dil işleme (NLP) alanında temel taş olmaya devam etmekte ve makine çeviri sistemlerini değerlendirmede yaygın olarak kullanılmaktadır.

Temelde, BLEU skoru makine tarafından oluşturulan bir çeviri ile bir veya daha fazla insan referans çevirisi arasındaki benzerliği ölçer. Makine çevirisi insan referansına ne kadar yakınsa, BLEU skoru da o kadar yüksek olur ve 0 ile 1 arasında değişir. 1’e yakın skorlar daha büyük benzerlik gösterir; ancak mükemmel skor olan 1 nadirdir ve aşırı öğrenmeyi gösterebilir, bu da istenmeyen bir durumdur.

BLEU Skoru Hesaplamasının Temel Bileşenleri

1. N-gramlar

N-gramlar, bir metin veya konuşma örneğinden ardışık ‘n’ öğeden oluşan dizilerdir ve genellikle kelimelerden oluşur. BLEU’da n-gramlar, makine çevirilerinin referans çevirilerle karşılaştırılmasında kullanılır. Örneğin, “The cat is on the mat” ifadesinde n-gramlar şunlardır:

• 1-gram (unigram): “The,” “cat,” “is,” “on,” “the,” “mat”
• 2-gram (bigram): “The cat,” “cat is,” “is on,” “on the,” “the mat”
• 3-gram (trigram): “The cat is,” “cat is on,” “is on the,” “on the mat”
• 4-gram: “The cat is on,” “cat is on the,” “is on the mat”

BLEU, aday çeviri ile referans çeviriler arasındaki örtüşmeyi değerlendirmek için bu n-gramları kullanarak kesinlik hesaplar.

2. Kesinlik ve Değiştirilmiş Kesinlik

BLEU, kesinliği aday çeviride bulunan n-gramların, referans çevirilerde de yer almasının oranı olarak tanımlar. N-gram tekrarlarını ödüllendirmemek için BLEU “değiştirilmiş kesinlik” kullanır; bu, aday çevirideki her n-gram’ın sayısını, herhangi bir referans çevirideki maksimum tekrar sayısıyla sınırlar.

3. Kısalık Cezası

Kısalık cezası, BLEU’da çok kısa çevirileri cezalandırmak için kritik bir öneme sahiptir. Daha kısa çeviriler, belirsiz metin kısımlarını atlayarak yüksek kesinlik elde edebilir. Bu ceza, aday ve referans çevirilerinin uzunluk oranına göre hesaplanır ve çevirinin referansa göre ne çok kısa ne de çok uzun olmasını sağlar.

4. Kesinlik Puanlarının Geometrik Ortalaması

BLEU, farklı n-gram boyutlarındaki kesinlik puanlarını (genellikle 4-grama kadar) geometrik ortalama ile birleştirir ve bu şekilde çeviride hem yerel hem de daha geniş bağlamı yakalamak hedeflenir.

Matematiksel Çerçeve

BLEU skoru matematiksel olarak şu şekilde ifade edilir:

[ \text{BLEU} = \text{BP} \times \exp\left(\sum_{n=1}^{N} w_n \log(p_n)\right) ]

Burada:

• BP kısalık cezasıdır.
• ( w_n ), n-gram kesinliği için ağırlıktır (genellikle 1/n olarak ayarlanır, burada n n-gram boyutudur).
• ( p_n ), n-gramlar için değiştirilmiş kesinliktir.

Kullanım Alanları ve Uygulamaları

Makine Çevirisi

BLEU, öncelikle makine çevirisi sistemlerini değerlendirmek için kullanılır ve farklı sistemleri karşılaştırmak ve gelişmeleri takip etmek için nicel bir ölçü sağlar. Özellikle çeviri modellerinin etkinliğini test etmek için araştırma ve geliştirmede değerlidir.

Doğal Dil İşleme Görevleri

Başlangıçta çeviri için geliştirilmiş olsa da, BLEU insan referansına benzer metin üretmenin amaçlandığı metin özetleme ve yeniden ifade etme gibi diğer NLP görevlerinde de kullanılabilir.

Yapay Zeka Otomasyonu ve Sohbet Botları

BLEU, otomasyon ve sohbet botlarında yapay zeka modelleri tarafından üretilen yanıtların kalitesini değerlendirmede de kullanılabilir ve çıktının insan yanıtlarına göre tutarlı ve bağlamsal olarak uygun olmasını sağlar.

Eleştiriler ve Sınırlamalar

Yaygın kullanımına rağmen BLEU’nun bazı sınırlamaları vardır:

• Anlamsal Anlayış Eksikliği: BLEU, dize benzerliğine odaklanır, anlamsal anlamı dikkate almaz ve eşanlamlı ya da yeniden ifade edilen durumlarda yanıltıcı skorlar verebilir.
• Referans Çevirilere Duyarlılık: BLEU skorları, referans çevirilerin kalitesi ve sayısına oldukça bağımlıdır; daha fazla referans, daha fazla eşleşme fırsatı nedeniyle genellikle daha yüksek skorlara yol açar.
• Yanıltıcı Yüksek Skorlar: Yüksek BLEU skorları her zaman yüksek kaliteli çevirilere karşılık gelmez, özellikle sistem test setine aşırı uyum sağladıysa.
• Kelime Sırasını Göz Ardı Etme: BLEU, yanlış kelime sırasını yeterince cezalandırmaz ve bu da cümlenin anlamını etkileyebilir.