ROUGE 점수

ROUGE 점수 이해하기

ROUGE는 후보 요약(자동 생성된 요약)과 기준 요약(대개 사람이 작성) 간의 중첩을 측정하도록 설계되었습니다. 이 지표는 재현율 통계에 중점을 두어, 기준 요약에서 중요한 내용이 후보 요약에 얼마나 담겼는지 평가합니다.

ROUGE의 주요 구성 요소

ROUGE는 단일 지표가 아니라 텍스트 간 유사성의 다양한 측면을 포착하는 여러 지표의 집합입니다. 가장 널리 사용되는 ROUGE 지표는 다음과 같습니다.

1. ROUGE-N: 후보와 기준 요약 간 n-그램 중첩을 측정합니다.
2. ROUGE-L: 후보와 기준 요약 간 최장 공통 부분수열(Longest Common Subsequence, LCS)을 기반으로 합니다.
3. ROUGE-S: 단어 쌍의 불연속적 일치를 허용하는 스킵-바이그램(건너뛰기-바이그램) 동시 발생 통계를 고려합니다.
4. ROUGE-W: 연속된 일치에 더 높은 가중치를 부여하는 ROUGE-L의 가중치 버전입니다.

ROUGE 지표의 자세한 탐구

ROUGE-N

ROUGE-N은 후보와 기준 요약 사이의 n-그램 중첩을 평가합니다. n-그램은 텍스트에서 연속된 ’n’개의 단어 시퀀스입니다. 예를 들어:

• 유니그램(n=1): 단일 단어
• 바이그램(n=2): 연속된 두 단어
• 트라이그램(n=3): 연속된 세 단어

ROUGE-N 작동 방식

ROUGE-N 점수는 다음과 같은 공식으로 계산됩니다.

ROUGE-N = (기준 요약에서 일치하는 n-그램의 합) / (기준 요약의 전체 n-그램 수)

여기서:

• Count_match(n-gram): 후보와 기준 요약 모두에 존재하는 n-그램의 개수
• Count(n-gram): 기준 요약 내 전체 n-그램 개수

예시 계산

예를 들어,

• 후보 요약: “The cat was found under the bed.”
• 기준 요약: “The cat was under the bed.”

유니그램(ROUGE-1) 추출:

• 후보 유니그램: [The, cat, was, found, under, the, bed]
• 기준 유니그램: [The, cat, was, under, the, bed]

중첩된 유니그램 세기:

• 중첩 유니그램: [The, cat, was, under, the, bed]

재현율 계산:

재현율 = 중첩 유니그램 수 / 기준 유니그램 총수 = 6 / 6 = 1.0

정밀도 계산:

정밀도 = 중첩 유니그램 수 / 후보 유니그램 총수 = 6 / 7 ≈ 0.857

F1 점수(ROUGE-1) 계산:

F1 점수 = 2 × (정밀도 × 재현율) / (정밀도 + 재현율) ≈ 0.923

ROUGE-L

ROUGE-L은 후보와 기준 요약 간의 최장 공통 부분수열(LCS)을 사용합니다. n-그램과 달리, LCS는 일치가 연속적일 필요 없이 순서만 동일하면 됩니다.

ROUGE-L 작동 방식

LCS는 후보와 기준 요약 모두에 동일한 순서로 등장하는 가장 긴 단어 시퀀스입니다(반드시 연속일 필요는 없음).

예시 계산

동일한 요약을 사용하여:

• 후보 요약: “The cat was found under the bed.”
• 기준 요약: “The cat was under the bed.”

LCS 찾기:

• LCS: “The cat was under the bed”
• LCS 길이: 6단어

ROUGE-L 재현율 계산:

Recall_LCS = LCS 길이 / 기준 요약 단어 수 = 6 / 6 = 1.0

ROUGE-L 정밀도 계산:

Precision_LCS = LCS 길이 / 후보 요약 단어 수 = 6 / 7 ≈ 0.857

ROUGE-L F1 점수 계산:

F1 Score_LCS = 2 × (Precision_LCS × Recall_LCS) / (Precision_LCS + Recall_LCS) ≈ 0.923

ROUGE-S

ROUGE-S 또는 ROUGE-Skip-Bigram은 후보와 기준 요약에 존재하는 스킵-바이그램 쌍을 고려합니다. 스킵-바이그램이란 등장 순서는 같으나 중간에 단어가 건너뛰어진 임의의 단어 쌍입니다.

ROUGE-S 작동 방식

후보와 기준 요약 간 스킵-바이그램 쌍의 중첩을 측정합니다.

• 후보 스킵-바이그램: (“The cat”, “The was”, “The found”, “The under”, “The the”, “The bed”, “Cat was”, …)
• 기준 스킵-바이그램: (“The cat”, “The was”, “The under”, “The the”, “The bed”, “Cat was”, …)

중첩되는 스킵-바이그램의 수를 세고 ROUGE-N과 동일하게 정밀도, 재현율, F1 점수를 계산합니다.

ROUGE의 활용 방식

ROUGE는 주로 다음 평가에 사용됩니다.

• 자동 텍스트 요약: 기계가 생성한 요약이 원본에서 핵심 정보를 얼마나 잘 담고 있는지 평가
• 기계 번역: 기계 번역 결과가 인간 번역과 얼마나 유사한지 비교
• 텍스트 생성 모델: 패러프레이징, 텍스트 단순화 등 언어 모델의 결과 평가

자동 요약 평가

텍스트 요약에서는 ROUGE가 기준 요약 내용이 생성 요약에 얼마나 포함되어 있는지 측정합니다.

사용 예시

뉴스 기사 요약 AI 알고리즘을 개발한다고 가정해봅니다. 성능 평가 방법은:

1. 기준 요약 생성: 전문가가 기사별 기준 요약 작성
2. AI로 요약 생성: 동일 기사에 대해 AI로 요약 생성
3. ROUGE 점수 계산: AI 생성 요약과 기준 요약을 ROUGE로 비교
4. 결과 분석: ROUGE 점수가 높을수록 AI가 더 많은 핵심 내용을 담음

기계 번역 시스템 평가

기계 번역에서는 ROUGE가 BLEU 등 다른 지표와 함께 재현율 중심으로 평가를 보완합니다.

사용 예시

AI 챗봇이 스페인어를 영어로 번역한다고 가정합니다. 번역 품질 평가는:

1. 기준 번역 수집: 샘플 메시지를 인간이 번역
2. 챗봇 번역 생성: 동일 메시지를 챗봇이 번역
3. ROUGE 점수 계산: 챗봇 번역과 인간 번역을 ROUGE로 비교
4. 성능 평가: ROUGE 점수로 챗봇이 원문 의미를 얼마나 잘 보존했는지 확인

AI, AI 자동화, 챗봇에서의 ROUGE

인공지능, 특히 대형 언어 모델(LLM)과 대화형 에이전트의 부상으로, 생성 텍스트의 품질 평가가 필수적입니다. ROUGE 점수는 다음과 같은 역할을 합니다.

대화형 에이전트 개선

챗봇과 가상 비서는 종종 정보를 요약하거나 사용자 입력을 바꿔 표현해야 합니다.

• 요약: 사용자가 긴 설명이나 질문을 제공할 경우, 챗봇은 이를 요약해 이해를 확인하거나 처리할 수 있습니다.
• 재진술: 챗봇이 사용자 발화를 명확하게 바꾸어 표현할 수 있습니다.

ROUGE로 이러한 기능을 평가하면 챗봇이 본질적 정보를 유지하는지 확인할 수 있습니다.

AI 생성 콘텐츠 향상

자동 뉴스 작성, 보고서 생성 등 AI 콘텐츠 생성 시스템은 ROUGE를 이용해 생성 결과가 기대되는 요약이나 핵심 포인트와 얼마나 일치하는지 평가합니다.

언어 모델 학습 및 미세조정

요약이나 번역 등 작업을 위한 언어 모델 학습 시, ROUGE 점수는 다음에 활용됩니다.

• 모델 선택: 다양한 모델이나 설정 간 성능 비교
• 하이퍼파라미터 튜닝: ROUGE 점수 최적화를 위한 파라미터 조정

ROUGE 지표의 계산 세부사항

정밀도, 재현율, F1 점수

• 정밀도: 후보 요약 내 중첩 단위(n-그램, 단어, 시퀀스)가 전체 후보 요약 단위에서 차지하는 비율

  Precision = 중첩 단위 수 / 후보 요약 전체 단위 수
  

• 재현율: 기준 요약 내 중첩 단위가 전체 기준 요약 단위에서 차지하는 비율

  Recall = 중첩 단위 수 / 기준 요약 전체 단위 수
  

• F1 점수: 정밀도와 재현율의 조화 평균

  F1 Score = 2 × (Precision × Recall) / (Precision + Recall)
  

ROUGE-N 상세

n-그램 길이 ‘n’에 대해, 후보와 기준 요약 간 n-그램 매칭을 통해 ROUGE-N을 계산합니다.

ROUGE-2(바이그램) 예시

앞서 사용한 요약을 기준으로:

• 후보 바이그램: [“The cat”, “cat was”, “was found”, “found under”, “under the”, “the bed”]
• 기준 바이그램: [“The cat”, “cat was”, “was under”, “under the”, “the bed”]

중첩 바이그램 세기:

• 중첩 바이그램: [“The cat”, “cat was”, “under the”, “the bed”] (4개)

재현율 계산:

Recall_ROUGE-2 = 4 / 5 = 0.8

정밀도 계산:

Precision_ROUGE-2 = 4 / 6 ≈ 0.667

F1 점수(ROUGE-2) 계산:

F1 Score_ROUGE-2 = 2 × (0.8 × 0.667) / (0.8 + 0.667) ≈ 0.727

다수의 기준 요약 처리

여러 명의 인간 기준 요약이 있을 경우, 각 기준 요약에 대해 ROUGE 점수를 계산하고 최고 점수를 채택할 수 있습니다. 이는 동일한 내용에 대한 다양한 유효 요약이 존재함을 반영합니다.

AI 및 자동화 분야 활용 사례

요약 도구 개발

문서, 기사, 보고서 등의 AI 기반 요약 도구는 ROUGE로 성능을 평가하고 개선합니다.

• 교육용 도구: 교과서나 논문 요약
• 뉴스 집계 서비스: 기사 간결 요약
• 법률·의료 요약: 복잡한 문서의 핵심 요약

기계 번역 품질 향상

ROUGE는 다른 평가 지표와 함께 번역 품질을 종합적으로 평가하는 데 활용되며, 특히 내용 보존 측면에 초점을 둡니다.

대화 시스템 평가

챗봇 등 AI 어시스턴트가 요약 또는 사용자 입력을 패러프레이즈할 때, ROUGE로 중요한 정보 보존 여부를 평가합니다.

ROUGE의 한계

ROUGE는 널리 사용되지만 다음과 같은 한계가 있습니다.

1. 표면적 일치에 집중: ROUGE는 n-그램 중첩에 의존해, 동일 의미를 가진 다른 단어는 포착하지 못합니다.
2. 동의어·패러프레이징 무시: 의미는 같지만 표현이 다른 경우(동의어, 패러프레이즈 등)는 고려하지 않습니다.
3. 긴 요약 선호 경향: 재현율 중심이므로 기준 내용을 더 많이 담은 긴 요약에 점수가 높게 나올 수 있습니다.
4. 맥락 이해 부족: 요약의 맥락이나 일관성은 평가하지 않습니다.

한계 극복 방안

이러한 문제를 보완하려면:

• 보완 지표 사용: BLEU, METEOR, 인간 평가 등과 함께 사용해 종합 평가
• 의미 기반 평가: 임베딩 기반 코사인 유사도 등 의미 유사성을 고려한 지표 활용
• 인간 평가 추가: 가독성, 일관성, 정보성 등은 인간 평가로 보완

AI 개발 프로세스와의 통합

AI 자동화와 챗봇 개발에서 ROUGE를 개발 주기에 통합하면 다음과 같은 이점이 있습니다.

• 지속적 평가: 모델 업데이트·새 버전 자동 평가
• 벤치마킹: 기준 모델이나 업계 표준과 비교
• 품질 관리: 시간 경과에 따른 성능 저하 탐지

ROUGE 점수에 대한 연구

ROUGE 점수는 자동 요약 및 기계 번역 평가를 위한 지표 세트입니다. 주로 예측 요약과 기준 요약 간의 n-그램 동시발생을 측정합니다. Kavita Ganesan의 논문 “ROUGE 2.0: Updated and Improved Measures for Evaluation of Summarization Tasks”에서는 기존 ROUGE 지표의 한계를 보완하기 위해 동의어 개념과 주제 범위를 포착하는 ROUGE-N+Synonyms, ROUGE-Topic 등 새로운 지표를 소개합니다. 더 알아보기.

“Revisiting Summarization Evaluation for Scientific Articles”에서 Arman Cohan과 Nazli Goharian은 ROUGE가 과학 논문 요약 평가에 적합한지 검토합니다. 이들은 용어 변형과 패러프레이징 등에서 ROUGE의 한계를 지적하며, 수동 평가 점수와 더 잘 상관하는 SERA라는 대안 지표를 제안합니다. 더 알아보기.

Elaheh ShafieiBavani 등은 “A Semantically Motivated Approach to Compute ROUGE Scores”에서 의미 기반 그래프 알고리즘을 도입해 ROUGE 점수에 의미 유사성을 반영하는 방식을 제안합니다. 이 방법은 TAC AESOP 데이터셋에서 추상적 요약의 인간 평가와 더 높은 상관성을 보였습니다. 더 알아보기.

마지막으로, Freek Boutkan 등은 “Point-less: More Abstractive Summarization with Pointer-Generator Networks”에서 추출형이 아닌 생성형 요약 모델의 평가에서 ROUGE의 한계를 언급하며, 보다 정교한 평가 기법의 필요성을 제시합니다. 더 알아보기.