BLEUスコア

BLEUスコア（Bilingual Evaluation Understudy）は、機械翻訳システムによって生成されたテキストの品質を評価する際に重要な指標です。2001年にIBMによって開発され、人間による翻訳品質の評価と強い相関があることを示した先駆的な指標です。BLEUスコアは自然言語処理（NLP）分野の礎となっており、機械翻訳システムの評価に広く利用されています。

本質的に、BLEUスコアは機械翻訳による訳文と1つまたは複数の人間による参照訳との類似度を測定します。機械訳が参照訳に近いほどBLEUスコアは高くなり、0から1の範囲で表されます。1に近いスコアは高い類似度を示しますが、完全な1は稀であり、過学習を示す場合もあり理想的とは限りません。

BLEUスコア計算の主な構成要素

1. N-gram

n-gramとは、与えられたテキストや音声サンプルから連続して抽出される「n」個の項目（通常は単語）の並びです。BLEUでは、n-gramを用いて機械訳と参照訳を比較します。例えば、「The cat is on the mat」というフレーズの場合、n-gramは以下のようになります：

• 1-gram（ユニグラム）: “The,” “cat,” “is,” “on,” “the,” “mat”
• 2-gram（バイグラム）: “The cat,” “cat is,” “is on,” “on the,” “the mat”
• 3-gram（トライグラム）: “The cat is,” “cat is on,” “is on the,” “on the mat”
• 4-gram: “The cat is on,” “cat is on the,” “is on the mat”

BLEUは、これらのn-gramを用いて候補訳と参照訳の重複部分を調べ、適合率を計算します。

2. 適合率と修正適合率

BLEUは、候補訳中のn-gramのうち、参照訳にも現れるものの割合を「適合率」と定義します。n-gramの繰り返しを過度に評価しないよう、「修正適合率」を採用しており、候補訳内の各n-gramの出現回数を参照訳中の最大出現回数までに制限します。

3. 長さペナルティ

BLEUにおいて長さペナルティは重要で、訳文が短すぎる場合にスコアを下げます。短い訳文は不確かな部分を省略することで高い適合率を得やすいためです。このペナルティは候補訳と参照訳の長さ比に基づいて計算され、適切な長さの訳文になるよう調整します。

4. 適合率の幾何平均

BLEUは、様々なn-gramサイズ（通常は4-gramまで）の適合率を幾何平均で集約し、訳文の局所的および広範な文脈の両方をバランスよく捉えます。

数学的枠組み

BLEUスコアは次のように数学的に表されます：

[ \text{BLEU} = \text{BP} \times \exp\left(\sum_{n=1}^{N} w_n \log(p_n)\right) ]

ここで：

• BP は長さペナルティです。
• ( w_n ) はn-gram適合率の重み（通常はnの逆数）。
• ( p_n ) はn-gramの修正適合率です。

活用事例と用途

機械翻訳

BLEUは主に機械翻訳システムの評価に使われ、異なるシステムの比較や性能向上の測定に定量的な指標を提供します。特に研究開発の現場で翻訳モデルの効果検証に重宝されています。

自然言語処理タスク

もともとは翻訳用ですが、BLEUはテキスト要約や言い換えなど、人の参照訳に近いテキスト生成が求められる他のNLPタスクにも応用されています。

AI自動化およびチャットボット

BLEUは、AI自動化やチャットボットが生成する応答の品質を測る際にも利用でき、人間の応答に対して一貫性や文脈的妥当性を確保します。

批判と限界

広く利用されている一方で、BLEUにはいくつかの限界があります：

• 意味理解の欠如: BLEUは文字列の類似性に着目し、意味的な違いを考慮しないため、同義語や言い換えが使われた場合に誤ったスコアになることがあります。
• 参照訳への感度: BLEUスコアは参照訳の数や品質に大きく依存し、参照訳が多いほど一致の機会が増えスコアが高くなりやすいです。
• 高スコアの誤解: 高いBLEUスコアが必ずしも高品質な翻訳を示すとは限らず、特にテストセットへの過学習が起きている場合は誤解を招きます。
• 語順の無視: BLEUは語順の誤りを十分にペナルティしないため、文の意味に影響を及ぼす場合があります。