BLEU 점수

BLEU 점수(Bilingual Evaluation Understudy)는 기계 번역 시스템이 생성한 텍스트의 품질을 평가하는 데 중요한 지표입니다. 2001년 IBM에서 개발된 이 지표는 번역 품질에 대한 인간 평가와 높은 상관관계를 보인 선구적인 척도였습니다. BLEU 점수는 자연어 처리(NLP) 분야의 핵심 개념으로, 기계 번역 시스템을 평가하는 데 널리 사용되고 있습니다.

BLEU 점수는 기계 번역 결과와 하나 이상의 인간 참조 번역 간의 유사도를 측정합니다. 기계 번역이 인간 참조와 가까울수록 BLEU 점수는 높아지며, 점수는 0에서 1 사이의 값을 가집니다. 1에 가까울수록 유사도가 높음을 의미하지만, 완벽한 1점은 드물며 과적합을 의미할 수 있으므로 반드시 이상적이지는 않습니다.

BLEU 점수 계산의 핵심 구성 요소

1. N-그램

N-그램은 주어진 텍스트나 음성 샘플에서 연속된 ’n’개의 항목(주로 단어) 시퀀스입니다. BLEU에서는 n-그램을 활용하여 기계 번역과 참조 번역을 비교합니다. 예를 들어 “The cat is on the mat.”라는 문장에서 n-그램은 다음과 같습니다:

• 1-그램(유니그램): “The,” “cat,” “is,” “on,” “the,” “mat”
• 2-그램(바이그램): “The cat,” “cat is,” “is on,” “on the,” “the mat”
• 3-그램(트라이그램): “The cat is,” “cat is on,” “is on the,” “on the mat”
• 4-그램: “The cat is on,” “cat is on the,” “is on the mat”

BLEU는 이러한 n-그램을 이용해 후보 번역과 참조 번역 간의 중복 정도(정밀도)를 계산합니다.

2. 정밀도와 수정된 정밀도

BLEU에서 정밀도는 후보 번역의 n-그램 중 참조 번역에도 등장하는 n-그램의 비율입니다. n-그램 반복을 과도하게 보상하는 것을 방지하기 위해 “수정된 정밀도”를 사용하며, 이는 후보 번역의 각 n-그램 개수를 참조 번역 내 최대 등장 횟수로 제한합니다.

3. 간결성 패널티

간결성 패널티는 번역이 너무 짧을 때 점수를 감점하는 요소입니다. 짧은 번역은 불확실한 부분을 생략함으로써 정밀도가 높아질 수 있기 때문입니다. 이 패널티는 후보 번역과 참조 번역의 길이 비율을 바탕으로 계산되어, 번역이 참조에 비해 지나치게 짧거나 길지 않도록 보정합니다.

4. 정밀도 점수의 기하 평균

BLEU는 다양한 n-그램(일반적으로 4-그램까지)에서의 정밀도 점수를 기하 평균으로 통합해, 번역의 국소적·전반적 맥락을 모두 반영합니다.

수학적 프레임워크

BLEU 점수는 수학적으로 다음과 같이 표현됩니다:

[ \text{BLEU} = \text{BP} \times \exp\left(\sum_{n=1}^{N} w_n \log(p_n)\right) ]

여기서:

• BP는 간결성 패널티입니다.
• ( w_n )은 n-그램 정밀도의 가중치(일반적으로 n-그램 크기의 역수)입니다.
• ( p_n )은 n-그램에 대한 수정된 정밀도입니다.

활용 사례 및 적용 분야

기계 번역

BLEU는 주로 기계 번역 시스템을 평가하는 데 사용되며, 다양한 시스템의 성능을 정량적으로 비교하거나 발전 상황을 추적하는 데 유용합니다. 번역 모델의 효과를 실험하고 연구·개발에 널리 활용됩니다.

자연어 처리 작업

원래는 번역을 위해 고안되었으나, BLEU는 텍스트 요약, 패러프레이즈 등 인간 참조와 유사한 텍스트 생성을 요구하는 기타 NLP 작업에도 적용됩니다.

AI 자동화 및 챗봇

BLEU는 자동화 및 챗봇의 AI 모델이 생성한 응답의 품질을 평가하는 데도 사용되어, 출력 결과가 인간 응답과 얼마나 일관되고 적절한지 판단할 수 있게 합니다.

한계점 및 비판

BLEU는 널리 쓰이지만 다음과 같은 한계가 있습니다:

• 의미적 이해 부족: BLEU는 문자열 유사성만 평가하며 의미적 유사성은 반영하지 않으므로, 동의어나 패러프레이즈가 사용된 경우 점수가 왜곡될 수 있습니다.
• 참조 번역의 민감성: BLEU 점수는 참조 번역의 수와 품질에 크게 좌우되며, 참조가 많을수록 일치 가능성이 높아져 점수가 상승할 수 있습니다.
• 오해의 소지가 있는 높은 점수: BLEU 점수는 항상 번역 품질과 정비례하지 않으며, 특히 테스트 데이터에 과적합된 시스템에서는 실제 품질과 무관하게 점수가 높게 나올 수 있습니다.
• 어순 무시: BLEU는 어순 오류에 대해 충분히 감점하지 않아, 문장 의미가 왜곡될 수 있습니다.