머신러닝에서의 리콜(Recall)

머신러닝에서의 리콜(Recall)이란?

머신러닝, 특히 분류 문제에서 모델의 성능을 평가하는 것은 매우 중요합니다. 모델이 양성 인스턴스를 올바르게 식별하는 능력을 평가하는 핵심 지표 중 하나가 바로 리콜(Recall) 입니다. 리콜은 양성 인스턴스를 놓치는 것(위음성)이 심각한 결과를 초래할 수 있는 상황에서 필수적인 지표입니다. 본 가이드에서는 리콜의 정의, 머신러닝에서의 활용, 구체적인 예시 및 활용 사례, 그리고 AI, AI 자동화, 챗봇에서의 중요성을 자세히 설명합니다.

리콜의 이해

리콜의 정의

리콜(Recall)은 민감도(sensitivity) 또는 진양성 비율(true positive rate) 이라고도 하며, 머신러닝 모델이 실제 양성인 인스턴스 중에서 얼마나 많은 것을 올바르게 식별했는지를 나타내는 지표입니다. 즉, 데이터셋에서 모든 관련 인스턴스를 얼마나 잘 찾아냈는지를 측정합니다.

수식으로 표현하면 다음과 같습니다.

Recall = True Positives / (True Positives + False Negatives)

여기서,

• True Positives (TP, 진양성): 모델이 양성이라고 올바르게 분류한 인스턴스 수
• False Negatives (FN, 위음성): 실제 양성이지만 모델이 음성으로 잘못 분류한 인스턴스 수

분류 지표에서의 리콜 역할

리콜은 이진 분류 문제에서 모델의 성능을 평가할 때 활용되는 여러 분류 지표 중 하나입니다. 리콜은 모델이 모든 양성 인스턴스를 얼마나 잘 식별했는지에 초점을 맞추며, 양성을 놓쳤을 때 발생하는 비용이 큰 상황에서 특히 중요합니다.

리콜은 정밀도(precision) 및 정확도(accuracy) 등 다른 분류 지표와도 밀접한 관련이 있습니다. 이들 지표 간의 관계를 이해하는 것이 모델 성능을 종합적으로 평가하는 데 중요합니다.

혼동 행렬(Confusion Matrix) 설명

리콜 개념을 완전히 이해하려면, 모델의 예측 결과를 상세하게 보여주는 혼동 행렬(confusion matrix) 을 알아야 합니다.

혼동 행렬의 구조

혼동 행렬은 분류 모델의 성능을 진양성, 위양성, 진음성, 위음성의 수로 요약해서 보여주는 표입니다. 형태는 다음과 같습니다.

• 진양성(TP): 올바르게 예측된 양성 인스턴스
• 위양성(FP): 잘못 양성으로 예측된 음성 인스턴스(제1종 오류)
• 위음성(FN): 잘못 음성으로 예측된 양성 인스턴스(제2종 오류)
• 진음성(TN): 올바르게 예측된 음성 인스턴스

혼동 행렬을 통해 단순히 맞춘 개수뿐 아니라, 어떤 유형의 오류가 발생했는지(예: 위양성, 위음성)까지 파악할 수 있습니다.

혼동 행렬을 이용한 리콜 계산

혼동 행렬에서 리콜은 다음과 같이 계산합니다.

Recall = TP / (TP + FN)

실제 양성 중에서 얼마나 많이 올바르게 예측했는지를 나타냅니다.

이진 분류에서의 리콜

이진 분류는 각 인스턴스를 양성 또는 음성 두 클래스 중 하나로 분류하는 문제입니다. 특히 불균형 데이터셋(클래스 분포가 치우친 경우)에서 리콜의 중요성이 더욱 커집니다.

불균형 데이터셋

불균형 데이터셋이란, 각 클래스의 인스턴스 수가 크게 차이 나는 경우입니다. 예를 들어, 사기 거래 탐지에서는 사기 거래(양성)의 수가 정상 거래(음성)에 비해 매우 적습니다. 이럴 때 정확도(accuracy) 만을 보면 모델이 모든 거래를 정상이라고 예측해도 높은 정확도를 보일 수 있으므로, 리콜과 같은 지표가 중요합니다.

예시: 사기 탐지

10,000건의 금융 거래 데이터셋을 예로 들어보겠습니다.

• 실제 사기 거래(양성 클래스): 100건
• 실제 정상 거래(음성 클래스): 9,900건

머신러닝 모델의 예측 결과가 다음과 같다고 가정합니다.

• 예측 사기 거래:
  • 진양성(TP): 70건(올바르게 예측한 사기)
  • 위양성(FP): 10건(정상을 사기로 잘못 예측)
• 예측 정상 거래:
  • 진음성(TN): 9,890건(올바르게 예측한 정상)
  • 위음성(FN): 30건(사기를 정상으로 잘못 예측)

리콜 계산:

Recall = TP / (TP + FN)
Recall = 70 / (70 + 30)
Recall = 70 / 100
Recall = 0.7

리콜이 70%로, 모델이 전체 사기 거래의 70%를 잡아냈다는 의미입니다. 사기 탐지에서는 사기를 놓치는 것(위음성)이 큰 비용을 유발하므로, 높은 리콜이 필요합니다.

정밀도(Precision)와 리콜(Recall) 비교

정밀도(Precision)란?

정밀도는 모델이 양성이라고 예측한 것 중 실제로 양성인 비율을 나타냅니다. 즉, “양성으로 예측된 것 중에서 실제 양성은 얼마나 되는가?”에 답하는 지표입니다.

정밀도 공식:

Precision = TP / (TP + FP)

• 진양성(TP): 올바르게 예측된 양성
• 위양성(FP): 음성을 양성으로 잘못 예측

정밀도와 리콜의 트레이드오프

정밀도와 리콜은 종종 다음과 같이 상충 관계가 있습니다.

• 리콜↑, 정밀도↓: 대부분의 양성을 잡아내지만, 음성을 양성으로 오분류하는 경우도 많음(위양성↑)
• 정밀도↑, 리콜↓: 양성이라고 예측한 것의 정확도는 높지만, 실제 양성 중 많은 수를 놓침(위음성↑)

두 지표 간 균형은 적용 분야의 요구에 따라 달라집니다.

예시: 이메일 스팸 필터링

• 리콜이 높음: 대부분의 스팸 메일을 잡아내지만, 정상 메일까지 스팸으로 오분류(위양성) 가능
• 정밀도가 높음: 정상 메일 오분류는 적지만, 일부 스팸이 놓칠 수 있음(위음성)

스팸함에 스팸이 남아 있는 것이 더 큰 문제인지, 정상 메일이 스팸함에 들어가는 것이 더 큰 문제인지에 따라 균형점을 달리 설정해야 합니다.

리콜이 중요한 활용 사례

1. 의료 진단

질병을 탐지할 때 양성(환자) 사례를 놓치면 심각한 결과를 초래할 수 있습니다.

• 목표: 리콜을 극대화하여 모든 잠재적 환자를 식별
• 예시: 암 검진에서 오진 시 치료 지연이 발생할 수 있음

2. 사기 탐지

금융 거래에서의 사기 행위 탐지

• 목표: 최대한 많은 사기 거래를 잡아냄
• 고려사항: 위양성(정상 거래가 사기로 오분류)은 불편하지만, 사기를 놓치는 것보다 덜 위험

3. 보안 시스템

침입이나 무단 접근 탐지

• 목표: 모든 보안 위협을 놓치지 않도록 높은 리콜 확보
• 접근: 일부 오탐(위양성)을 감수, 위음성 최소화

4. 챗봇 및 AI 자동화

AI 챗봇에서 사용자 의도를 올바르게 파악하고 대응하는 것이 중요

• 목표: 다양한 사용자 요청을 최대한 많이 인식(리콜↑)
• 적용: 고객지원 챗봇이 다양한 요청 방식을 모두 이해해야 함

5. 제조 결함 탐지

제품의 결함·고장 탐지

• 목표: 결함 제품이 출고되지 않도록 리콜 최적화
• 영향: 높은 리콜은 품질 관리와 고객 만족에 직결

리콜 계산 예시

고객 이탈(Churn) 예측 이진 분류 데이터셋을 가정해 보겠습니다.

• 전체 고객: 1,000명
• 실제 이탈(양성): 200명
• 실제 미이탈(음성): 800명

머신러닝 모델 적용 후 혼동 행렬 결과:

리콜 계산:

Recall = TP / (TP + FN)
Recall = 160 / (160 + 40)
Recall = 160 / 200
Recall = 0.8

리콜은 80%로, 모델이 이탈 고객 중 80%를 올바르게 예측했다는 의미입니다.

머신러닝 모델에서 리콜 개선 방법

리콜을 향상시키기 위해 다음 전략을 고려하세요.

데이터 레벨 방법

• 데이터 추가 수집: 양성 클래스의 데이터를 더 확보
• 리샘플링 기법: SMOTE 등 오버샘플링을 활용해 데이터 불균형 해소
• 데이터 증강: 소수 클래스에 대한 합성 데이터 생성

알고리즘 레벨 방법

• 분류 임계값 조정: 더 많은 인스턴스를 양성으로 분류하도록 임계값 낮추기
• 비용 민감 학습: 위음성에 더 큰 비용을 부여하는 손실함수 적용
• 앙상블 기법: 여러 모델 결합으로 성능 개선

특성 엔지니어링

• 새로운 특성 생성: 양성 클래스의 특성을 더 잘 포착하는 변수 추가
• 특성 선택: 양성 클래스에 유의미한 특성에 집중

모델 선택 및 하이퍼파라미터 튜닝

• 적합한 알고리즘 선택: 불균형 데이터에 강한 알고리즘(Random Forest, XGBoost 등) 활용
• 하이퍼파라미터 최적화: 리콜 향상을 위한 파라미터 조정

수학적 관점의 리콜

리콜을 수학적으로 해석하면 더 깊은 이해를 얻을 수 있습니다.

베이즈 관점

리콜은 조건부 확률로 해석할 수 있습니다.

Recall = P(예측 양성 | 실제 양성)

즉, 실제 양성일 때 모델이 양성으로 예측할 확률입니다.

제2종 오류와의 관계

• 제2종 오류율(β): 위음성 확률
• 리콜: (1 – 제2종 오류율)과 같음

리콜이 높을수록 제2종 오류가 적다는 의미입니다.

ROC 곡선과의 연결

리콜은 ROC 곡선에서 진양성 비율(TPR) 을 의미합니다. ROC는 진양성 비율과 위양성 비율의 관계를 시각화합니다.

• ROC 곡선: 민감도(리콜)와 위양성 비율의 트레이드오프를 시각화
• AUC(곡선 아래 면적): 모델의 클래스 구분 능력 평가

머신러닝에서 리콜 관련 연구

머신러닝 분야에서 “리콜”은 특히 분류 작업에서 모델의 효과성을 평가하는 데 중요한 역할을 합니다. 아래는 머신러닝에서 리콜의 다양한 측면을 다룬 연구 논문 요약입니다.

1. Show, Recall, and Tell: Image Captioning with Recall Mechanism (발행일: 2021-03-12)
   이 논문은 인간의 인지 과정을 모방한 새로운 리콜 메커니즘을 이미지 캡셔닝에 적용하는 방법을 제안합니다. 리콜 유닛, 의미 가이드, 리콜 단어 슬롯 등 세 가지 구성 요소로 설계되었으며, 텍스트 요약에서 영감을 받은 소프트 스위치를 통해 단어 생성 확률의 균형을 맞춥니다. 이 접근법은 MSCOCO 데이터셋에서 BLEU-4, CIDEr, SPICE 등 다양한 지표에서 기존 방법을 능가하는 성능을 보였으며, 리콜 메커니즘이 설명 정확도 향상에 효과적임을 보여줍니다.

2. Online Learning with Bounded Recall (발행일: 2024-05-31)
   이 연구는 과거 보상에 대한 기억이 제한된 상황(bounded recall)의 온라인 학습 문제를 다룹니다. 기존의 평균 기반 no-regret 알고리즘은 bounded recall 환경에서 매 라운드마다 일정한 후회(regret)를 발생시킨다는 한계를 보입니다. 논문에서는 per-round regret가 $\Theta(1/\sqrt{M})$인 새로운 알고리즘을 제안하며, 과거 손실의 순차적 구조를 고려해야 bounded recall 상황에서도 효과적인 학습이 가능함을 입증합니다.

3. Recall, Robustness, and Lexicographic Evaluation (발행일: 2024-03-08)
   이 논문은 랭킹 평가에서 리콜의 한계를 비판하며 보다 공식적인 평가 프레임워크 도입을 주장합니다. 저자들은 “리콜 지향성(recall-orientation)” 개념을 도입하고, 순서적 평가 방식인 “lexirecall”을 제안합니다. 실험 결과, lexirecall은 기존 리콜보다 민감도와 안정성이 높았으며, 추천 및 검색 작업에서 더 정교한 평가가 가능함을 보여줍니다.