퓨샷 러닝(Few-Shot Learning)

퓨샷 러닝(Few-Shot Learning)이란?

퓨샷 러닝은 소수의 라벨링된 예시만으로도 모델이 정확한 예측을 할 수 있도록 하는 머신러닝 접근법입니다. 기존의 감독학습 방법은 학습을 위해 대량의 라벨 데이터를 필요로 하지만, 퓨샷 러닝은 제한된 데이터셋으로 모델을 일반화하는 데 집중합니다. 목적은 몇 개의 예시만 보고도 새로운 개념이나 작업을 효율적으로 학습할 수 있는 알고리즘을 개발하는 데 있습니다. 이는 인간의 학습 능력과 유사합니다.

머신러닝에서 “few-shot”은 클래스별 학습 예시 개수를 의미합니다. 예를 들어:

• 원샷 러닝(One-Shot Learning): 클래스마다 단 하나의 예시로 학습합니다.
• 퓨샷 러닝(Few-Shot Learning): 클래스마다 보통 2~5개의 소수 예시로 학습합니다.

퓨샷 러닝은 n-shot 러닝의 한 종류로, 여기서 n은 클래스별 학습 예시 개수입니다. 또한 **메타러닝(learning to learn)**과도 밀접하게 연관되어 있으며, 다양한 작업에 대해 훈련된 모델이 제한된 데이터로 새로운 작업에 빠르게 적응하도록 합니다.

퓨샷 러닝은 어떻게 활용되나요?

퓨샷 러닝은 주로 대량의 라벨 데이터를 확보하기 어렵거나 불가능한 상황에서 사용됩니다. 예를 들면:

• 데이터 희소성: 희귀 사건, 신규 상품 이미지, 독특한 사용자 의도, 드문 의료 질환 등
• 높은 라벨링 비용: 데이터 라벨링에 전문가의 지식이나 많은 시간이 필요한 경우
• 개인정보 보호: 개인정보 보호 규정 등으로 데이터 수집 및 공유가 제한되는 경우

이러한 문제를 해결하기 위해, 퓨샷 러닝은 기존 지식과 다양한 학습 전략을 활용해 최소한의 데이터로도 신뢰도 높은 예측을 가능하게 합니다.

퓨샷 러닝의 핵심 접근법

효과적인 퓨샷 러닝을 위한 다양한 방법론이 개발되었습니다:

1. 메타러닝(학습을 위한 학습)
2. 전이 학습
3. 데이터 증강
4. 메트릭 러닝

1. 메타러닝(학습을 위한 학습)

메타러닝은 다양한 작업에 대해 모델을 훈련시켜, 적은 데이터만으로도 새로운 작업을 빠르게 학습할 수 있도록 합니다. 즉, “학습하는 방법” 자체를 익혀, 적은 예시로도 빠르게 적응할 수 있는 능력을 갖춥니다.

핵심 개념:

• 에피소드: 훈련이 에피소드 구조로 이뤄지며, 각각이 퓨샷 작업을 모방합니다.
• 서포트 셋(Support Set): 모델이 학습에 사용하는 소규모 라벨 데이터셋
• 쿼리 셋(Query Set): 서포트 셋으로 학습한 뒤 예측을 수행하는 데이터셋

주요 메타러닝 알고리즘:

• 모델 불변 메타러닝(MAML): 새로운 작업에 대해 소수의 경사 하강만으로도 좋은 일반화 성능을 내도록 모델 파라미터를 훈련합니다.
• 프로토타입 네트워크(Prototypical Networks): 각 클래스의 대표(프로토타입)와의 거리를 계산해 분류하는 메트릭 공간을 학습합니다.
• 매칭 네트워크(Matching Networks): 서포트 셋 내 임베딩에 주의(attention) 메커니즘을 적용해 예측을 수행합니다.

활용 예시:

자연어처리(NLP) 분야에서 챗봇이 기존에 없던 새로운 사용자 의도를 이해해야 할 때, 메타러닝을 활용하면 소수의 예시만으로도 빠르게 적응해 해당 의도를 인식하고 응답할 수 있습니다.

2. 전이 학습

전이 학습은 한 작업에서 얻은 지식을 유사하지만 다른 작업에 적용하는 방법입니다. 모델을 먼저 대규모 데이터셋으로 사전학습(pre-training)한 뒤, 타겟 퓨샷 작업에 맞게 소수의 데이터로 미세조정(fine-tuning)합니다.

프로세스:

• 사전학습: 대규모, 다양한 데이터셋에서 모델이 일반적인 특징을 학습
• 미세조정: 제한된 데이터를 이용해 새로운 작업에 모델을 적응

장점:

• 타겟 작업에 대량의 라벨 데이터가 없어도 됨
• 사전학습으로 습득한 풍부한 특징을 활용 가능

활용 예시:

컴퓨터 비전 분야에서 ImageNet으로 사전학습한 모델을, 소수의 라벨링된 의료 이미지(희귀 질병 등)에 미세조정해 분류에 활용할 수 있습니다.

3. 데이터 증강

데이터 증강은 제한된 데이터셋에서 추가 학습 데이터를 생성하는 방법입니다. 이는 과적합을 방지하고 모델의 일반화 능력을 높이는 데 도움을 줍니다.

기법:

• 이미지 변환: 회전, 확대/축소, 뒤집기, 자르기 등
• 합성 데이터 생성: GAN(생성적 적대 신경망) 등 생성 모델을 이용해 새로운 샘플 생성
• Mixup, CutMix: 예시 쌍을 조합해 새로운 학습 샘플을 만듦

활용 예시:

음성 인식에서 소수의 음성 샘플에 배경 잡음 추가, 음 높이·속도 변형 등으로 데이터셋을 증강해 더욱 견고한 학습이 가능합니다.

4. 메트릭 러닝

메트릭 러닝은 두 데이터 포인트 간 유사도 또는 차이를 측정하는 거리를 학습합니다. 모델은 데이터를 임베딩 공간에 매핑하여, 유사한 데이터는 가깝게, 다른 데이터는 멀리 위치하도록 만듭니다.

접근법:

• 시암 네트워크(Siamese Networks): 쌍 입력을 동일한 네트워크로 임베딩시켜 거리를 측정
• 트리플릿 손실(Triplet Loss): 앵커(anchor)가 양성(positive) 예시보다 음성(negative) 예시와 더 멀리 떨어지도록 학습
• 대조 학습(Contrastive Learning): 유사/비유사 쌍을 대조해 임베딩을 학습

활용 예시:

안면 인식 분야에서, 메트릭 러닝은 두 이미지가 같은 사람인지 아닌지를 임베딩 기반으로 판별할 수 있게 합니다.

퓨샷 러닝 관련 연구

퓨샷 러닝은 제한된 라벨 데이터로 모델을 학습해야 하는 머신러닝의 난제를 다루는 급속히 발전 중인 분야입니다. 이 섹션에서는 퓨샷 러닝 방법론의 이해와 발전에 기여한 주요 논문을 소개합니다.

주요 논문

1. Deep Optimal Transport: A Practical Algorithm for Photo-realistic Image Restoration

   • 저자: Theo Adrai, Guy Ohayon, Tomer Michaeli, Michael Elad
   • 요약: 이 논문은 퓨샷 러닝 원리를 활용한 혁신적인 이미지 복원 알고리즘을 제안합니다. 소수의 이미지 샘플만으로, 추가 학습 없이 사전학습된 모델의 지각적 품질 또는 MSE(평균 제곱 오차)를 향상시킵니다. 최적 수송(optimal transport) 이론에 기반하여, 변분 오토인코더의 잠재 공간에서 선형 변환을 통해 출력 분포를 원본 데이터와 정렬시킵니다. 연구 결과, 지각 품질 개선과 복원 이미지의 품질-MSE 균형을 위한 보간법을 제시합니다.
   • 자세히 보기

2. Minimax Deviation Strategies for Machine Learning and Recognition with Short Learning Samples

   • 저자: Michail Schlesinger, Evgeniy Vodolazskiy
   • 요약: 이 연구는 머신러닝에서 소규모 학습 샘플의 문제를 다룹니다. 최대우도 및 미니맥스 학습 전략의 한계를 비판하고, 미니맥스 편차 학습(minimax deviation learning)이라는 개념을 제시합니다. 이 새로운 접근법은 기존 방법의 단점을 극복하여 퓨샷 러닝 환경에서 강인한 대안을 제공합니다.
   • 자세히 보기

3. Some Insights into Lifelong Reinforcement Learning Systems

   • 저자: Changjian Li
   • 요약: 주로 평생학습 시스템에 초점을 맞추었으나, 전통적 강화학습 패러다임의 한계를 지적하며 퓨샷 러닝에도 적용 가능한 통찰을 제공합니다. 상호작용을 통해 지속적으로 학습하는 평생학습 시스템이 퓨샷 러닝 모델 개발에 유용한 관점을 제공할 수 있음을 시사합니다.
   • 자세히 보기

4. Dex: Incremental Learning for Complex Environments in Deep Reinforcement Learning

   • 저자: Nick Erickson, Qi Zhao
   • 요약: 이 논문은 점진적 학습(incremental learning)에 초점을 맞춘 연속 학습 방법 훈련 및 평가용 툴킷인 Dex를 소개합니다. 이는 퓨샷 러닝의 한 형태로 볼 수 있으며, 간단한 환경에서 얻은 최적 가중치를 복잡한 환경 학습에 활용합니다. 논문은 점진적 학습이 복잡한 강화학습에서 기존 방법보다 뛰어난 성능을 보일 수 있음을 보여줍니다.
   • 자세히 보기

5. Augmented Q Imitation Learning (AQIL)

   • 저자: Xiao Lei Zhang, Anish Agarwal
   • 요약: 이 논문은 퓨샷 러닝과 밀접하게 연관된 모방 학습과 강화 학습의 교차점을 탐구합니다. AQIL은 두 학습 패러다임을 결합하여 강인한 비지도 학습 프레임워크를 제시하며, 모방 및 피드백 메커니즘을 통해 퓨샷 러닝을 강화할 수 있는 방안을 제공합니다.
   • 자세히 보기