강화 학습

주요 개념과 용어 정리

강화 학습을 이해하려면 여러 기본 개념과 용어를 알아야 합니다.

에이전트

에이전트는 강화 학습에서 의사결정자이자 학습자입니다. 에이전트는 관찰을 통해 환경을 인지하고, 행동을 선택하며, 그 행동의 결과로부터 학습하여 목표를 달성합니다. 에이전트의 목적은 정책(policy)이라고 불리는 전략을 개발하여 장기적으로 누적 보상을 최대화하는 것입니다.

환경

환경은 에이전트 외부의 모든 것으로, 에이전트가 상호작용하는 세계를 의미합니다. 환경은 물리적 공간, 가상 시뮬레이션, 또는 에이전트가 결정을 내리는 어떠한 상황도 될 수 있습니다. 환경은 에이전트의 행동에 따라 관찰 정보와 보상을 제공합니다.

상태

상태는 환경 내에서 에이전트가 처한 현재 상황을 나타내는 표현입니다. 상태는 특정 시점에 의사결정을 내리기 위한 모든 정보를 포함합니다. 상태는 완전히 관찰 가능한 경우(환경의 모든 정보를 아는 경우)와 부분적으로 관찰 가능한 경우(일부 정보가 감춰진 경우)로 나눌 수 있습니다.

행동

행동은 에이전트가 환경에 영향을 미치기 위해 내리는 선택입니다. 에이전트가 주어진 상태에서 취할 수 있는 모든 가능한 행동의 집합을 행동 공간이라 합니다. 행동은 이산적(예: 왼쪽이나 오른쪽으로 이동)일 수도 있고, 연속적(예: 자동차 속도 조절)일 수도 있습니다.

보상

보상은 에이전트의 행동에 대해 환경이 제공하는 스칼라 값입니다. 이는 현재 상태에서 해당 행동을 취했을 때의 즉각적인 이익(또는 벌점)을 정량화합니다. 에이전트의 목적은 시간에 따라 누적되는 보상의 총합을 극대화하는 것입니다.

정책

정책은 에이전트의 행동 방식을 정의하며, 상태를 행동으로 매핑합니다. 정책은 결정적일 수도 있고(각 상태마다 특정 행동 선택), 확률적일 수도 있습니다(확률에 따라 행동 선택). 최적의 정책은 가장 높은 누적 보상을 가져옵니다.

가치 함수

가치 함수는 특정 상태(또는 상태-행동 쌍)에 있을 때, 앞으로 특정 정책을 따를 경우 기대되는 누적 보상을 추정합니다. 이는 에이전트가 단기적인 보상뿐 아니라 장기적인 이익까지 평가하도록 돕습니다.

환경 모델

모델은 에이전트의 행동에 대해 환경이 어떻게 반응할지 예측합니다. 여기에는 상태 간 전이 확률과 기대 보상이 포함됩니다. 모델은 계획 전략에 사용되지만, 강화 학습에서 항상 필요한 것은 아닙니다.

강화 학습의 작동 원리

강화 학습은 시행착오를 통해 에이전트를 훈련시키며, 목표를 달성하기 위한 최적의 행동을 학습하게 합니다. 과정은 다음과 같이 요약할 수 있습니다.

1. 초기화: 에이전트가 환경 내 초기 상태에서 시작합니다.
2. 관찰: 에이전트가 현재 상태를 관찰합니다.
3. 행동 선택: 에이전트가 정책에 따라 행동 공간에서 하나의 행동을 선택합니다.
4. 환경 반응: 환경이 새로운 상태로 전이하고, 선택된 행동에 따라 보상을 제공합니다.
5. 학습: 에이전트가 보상 및 새로운 상태를 기반으로 정책과 가치 함수를 갱신합니다.
6. 반복: 2~5단계를 목표 달성 또는 종료 상태에 도달할 때까지 반복합니다.

마르코프 결정 과정(MDP)

대부분의 강화 학습 문제는 **마르코프 결정 과정(MDP)**을 사용해 공식화됩니다. MDP는 결과가 일부는 무작위적, 일부는 에이전트의 통제 하에 있을 때 의사결정 문제를 수학적으로 모델링하는 틀을 제공합니다. MDP는 다음으로 정의됩니다.

• 상태들의 집합 S
• 행동들의 집합 A
• 전이 함수 P(특정 행동을 취했을 때 한 상태에서 다른 상태로 이동할 확률)
• 보상 함수 R(상태-행동 쌍에 대한 즉각적인 보상)
• 할인 계수 γ(감마, 미래 보상에 대한 중요도를 나타냄)

MDP는 마르코프 성질을 가정하는데, 이는 미래의 상태가 과거의 이력과 무관하게 현재 상태와 행동에만 의존한다는 의미입니다.

탐험 vs 활용의 균형

강화 학습에서 핵심 도전 과제 중 하나는 탐험(새로운 행동을 시도해 효과를 탐색)과 활용(이미 높은 보상을 주는 것으로 알려진 행동을 사용)의 균형입니다. 활용에만 집중하면 더 나은 전략을 발견하지 못할 수 있고, 지나친 탐험은 학습을 느리게 만듭니다.

에이전트는 종종 ε-탐욕(ε-greedy) 전략을 사용합니다. 이는 작은 확률 ε로 무작위 행동을 선택해 탐험하고, 확률 1 – ε로 가장 잘 알려진 행동을 선택해 활용하는 방식입니다.

강화 학습 알고리즘의 유형

강화 학습 알고리즘은 크게 모델 기반과 모델 프리 방식으로 나눌 수 있습니다.

모델 기반 강화 학습

모델 기반 강화 학습에서는 에이전트가 환경의 동적 특성에 대한 내부 모델을 구축합니다. 이 모델은 각 행동에 대한 다음 상태와 기대 보상을 예측합니다. 에이전트는 이 모델을 활용해 누적 보상을 극대화하는 행동을 계획하고 선택합니다.

특징:

• 계획: 에이전트가 모델을 사용해 미래 상태를 시뮬레이션하여 의사결정을 내림
• 샘플 효율성: 모델을 이용해 환경과의 상호작용 횟수를 줄일 수 있음
• 복잡성: 정확한 모델 구축이 어려울 수 있음(특히 복잡한 환경에서는)

예시:

미로를 탐색하는 로봇이 경로, 장애물, 보상(출구, 함정 등)에 대한 지도를 만들고, 이 모델을 활용해 장애물을 피하며 최단 경로를 계획합니다.

모델 프리 강화 학습

모델 프리 강화 학습은 환경의 명시적 모델을 만들지 않고, 에이전트가 환경과의 상호작용 경험만으로 정책 또는 가치 함수를 직접 학습합니다.

특징:

• 시행착오: 직접적인 상호작용을 통해 최적의 정책을 학습
• 유연성: 모델 구축이 어려운 환경에도 적용 가능
• 수렴성: 효과적으로 학습하려면 더 많은 상호작용이 필요할 수 있음

대표적인 모델 프리 알고리즘:

Q-러닝

Q-러닝은 오프 폴리시, 가치 기반 알고리즘으로, 상태 s에서 행동 a를 했을 때 기대되는 누적 보상인 **Q(s, a)**를 학습합니다.

업데이트 규칙:

Q(s, a) ← Q(s, a) + α [ r + γ max Q(s', a') - Q(s, a) ]

• α: 학습률
• γ: 할인 계수
• r: 즉각적인 보상
• s’: 다음 상태
• a’: 다음 행동

장점:

• 구현이 간단함
• 다양한 상황에서 효과적

한계:

• 상태-행동 공간이 클 경우 비효율적
• Q-값을 저장하는 테이블이 고차원일 때 부담이 큼

SARSA(상태-행동-보상-상태-행동)

SARSA는 Q-러닝과 유사한 온 폴리시 알고리즘으로, 현재 정책에 따라 실제로 취한 다음 행동에 기반해 Q-값을 업데이트합니다.

업데이트 규칙:

Q(s, a) ← Q(s, a) + α [ r + γ Q(s', a') - Q(s, a) ]

• a’: 다음 상태에서 현재 정책으로 선택한 행동

Q-러닝과의 차이점:

• SARSA는 실제로 취한 행동(온 폴리시)을 기준으로 업데이트
• Q-러닝은 가능한 최대 보상(오프 폴리시)을 기준으로 업데이트

정책 그래디언트 방법

정책 그래디언트 방법은 정책의 매개변수를 직접 조정하여 기대 보상이 극대화되는 방향으로 최적화합니다.

특징:

• 연속적인 행동 공간 처리 가능
• 확률적 정책 표현 가능
• 정책 매개변수를 경사 상승법으로 업데이트

예시:

• REINFORCE 알고리즘: 정책 매개변수에 대한 기대 보상의 그래디언트를 이용해 정책을 업데이트

액터-크리틱 방법

액터-크리틱 방법은 가치 기반과 정책 기반 접근법을 결합합니다. 두 가지 컴포넌트로 구성됩니다.

• 액터(Actor): 행동을 선택하는 정책 함수
• 크리틱(Critic): 액터의 행동을 평가하는 가치 함수

특징:

• 크리틱이 액터의 정책 업데이트를 안내함
• 정책 그래디언트 추정의 분산을 줄여 효율적인 학습 가능

딥 강화 학습

딥 강화 학습은 딥 러닝과 강화 학습을 결합하여, 고차원 상태 및 행동 공간을 처리할 수 있게 합니다.

딥 Q-네트워크(DQN)

딥 Q-네트워크는 신경망을 활용해 Q-값 함수를 근사화합니다.

주요 특징:

• 함수 근사화: Q-테이블 대신 신경망 사용
• 경험 재현(Experience Replay): 경험을 저장하고 무작위로 샘플링하여 상관관계 제거
• 안정화 기법: 타겟 네트워크 등 학습 안정화 기법 적용

응용 사례:

• 픽셀 입력만으로 아타리 게임에서 인간 수준의 성능 달성

딥 결정적 정책 그래디언트(DDPG)

DDPG는 DQN을 연속적 행동 공간에 확장한 알고리즘입니다.

주요 특징:

• 액터-크리틱 구조: 액터와 크리틱을 위한 별도의 신경망 사용
• 결정적 정책: 행동 선택을 위한 결정적 정책 학습
• 그래디언트 하강법 사용: 정책 그래디언트로 정책 최적화

응용 사례:

• 로봇 제어 등 연속적 행동(예: 토크 제어)이 요구되는 분야

강화 학습의 활용 사례 및 응용 분야

강화 학습은 불확실한 환경에서 복잡한 행동을 학습할 수 있다는 장점을 활용해 다양한 영역에 적용되고 있습니다.

게임

응용 사례:

• 알파고 및 알파제로: 딥마인드가 개발한 에이전트로, 자가 플레이와 강화 학습을 통해 바둑, 체스, 쇼기에서 최고 수준에 도달
• 아타리 게임: DQN 에이전트가 시각 입력만으로 인간 수준의 성능 달성

장점:

• 사전 지식 없이 전략 학습 가능
• 복잡하고 고차원적인 환경 처리 가능

로보틱스

응용 사례:

• 로봇 조작: 로봇이 물체를 집거나 조작하는 등 복잡한 작업 학습
• 네비게이션: 자율 로봇이 복잡한 지형을 탐색하고 장애물을 회피

장점:

• 동적 환경에 대한 적응력
• 행동의 수작업 코딩 필요성 감소

자율주행차

응용 사례:

• 경로 계획: 교통 상황을 고려해 최적 경로 선택
• 의사결정: 타 차량, 보행자와의 상호작용 처리

장점:

• 적응형 의사결정으로 안전성 증대
• 다양한 주행 조건에서 효율성 향상

자연어 처리 및 챗봇

응용 사례:

• 대화 시스템: 시간이 지날수록 더 자연스러운 상호작용을 학습하는 챗봇
• 언어 번역: 장기적 일관성을 고려해 번역 품질 향상

장점:

• 사용자 맞춤형 상호작용
• 사용자 피드백을 통한 지속적 개선

금융

응용 사례:

• 트레이딩 전략: 에이전트가 매수/매도 결정을 학습해 수익 극대화
• 포트폴리오 관리: 위험 대비 수익을 최적화하도록 자산을 배분

장점:

• 시장 변화에 대한 적응력
• 의사결정에서 인간의 편향 감소

헬스케어

응용 사례:

• 치료 계획: 환자의 반응에 기반한 맞춤형 치료 추천
• 자원 할당: 의료 자원의 스케줄링 및 활용 최적화

장점:

• 맞춤 치료를 통한 환자 결과 개선
• 의료 서비스 제공의 효율성 증대

추천 시스템

응용 사례:

• 개인화 추천: 사용자 선호도를 학습해 상품, 영화, 콘텐츠 추천
• 적응형 시스템: 실시간 사용자 상호작용에 따라 추천 조정

장점:

• 사용자 참여도 증가
• 관련성 높은 제안으로 사용자 경험 향상

강화 학습의 도전 과제

강화 학습은 많은 성공 사례에도 불구하고 여러 도전 과제에 직면해 있습니다.

샘플 효율성

• 문제: RL 에이전트가 효과적으로 학습하려면 환경과의 대량 상호작용이 필요함
• 영향: 높은 계산 비용 및 실제 환경에서는 데이터 수집이 비싸거나 시간이 많이 소요되어 비실용적일 수 있음
• 해결 접근법:
  • 모델 기반 방법: 모델을 사용해 경험을 시뮬레이션
  • 전이 학습: 한 작업의 지식을 다른 작업에 적용
  • 계층적 RL: 작업을 하위 작업으로 분해해 학습 단순화

지연된 보상

• 문제: 보상이 즉시 주어지지 않아 에이전트가 행동과 결과의 연관성을 파악하기 어려움
• 영향: 미래 보상에 어떤 행동이 기여했는지 판단(크레딧 할당)이 어려움
• 해결 접근법:
  • 엘리저빌리티 트레이스: 시간에 따라 보상에 기여한 행동에 크레딧 할당
  • 몬테카를로 방법: 에피소드 종료 시점의 총 보상 고려

해석 가능성

• 문제: 특히 딥 뉴럴 네트워크 기반 RL 정책은 불투명할 수 있음
• 영향: 에이전트의 결정을 이해하고 신뢰하기 어려움(고위험 분야에서는 중요)
• 해결 접근법:
  • 정책 시각화: 의사결정 경계 및 정책을 시각화하는 도구
  • 설명 가능한 RL: 에이전트의 추론을 설명하는 연구

안전성과 윤리

• 문제: 특히 인간이 관여하는 환경에서 에이전트가 안전하고 윤리적으로 행동하도록 보장해야 함
• 영향: 의도하지 않은 행동이 유해한 결과로 이어질 수 있음
• 해결 접근법:
  • 보상 설계: 원하는 행동에 맞게 보상 함수를 신중히 설계
  • 제약 조건 부여: 학습 과정에 안전 제약 조건을 반영

AI 자동화 및 챗봇에서의 강화 학습

강화 학습은 AI 자동화의 발전과 챗봇 성능 향상에 중요한 역할을 합니다.

AI 자동화

응용 사례:

• 프로세스 최적화: 제조, 물류 등 산업 현장에서 복잡한 의사결정 자동화
• 에너지 관리: 건물 또는 전력망의 제어를 자동 조정해 에너지 최적화

장점:

• 최적의 제어 정책 학습을 통한 효율성 증가
• 인간의 개입 없이 변화에 실시간 적응

챗봇 및 대화형 AI

응용 사례:

• 대화 관리: 대화 이력을 바탕으로 다음 최적 응답 정책 학습
• 개인화: 사용자 행동 및 선호에 따라 상호작용 방식 적응
• 감정 인식: 사용자 입력의 감정 톤에 따라 응답 조정

장점:

• 더 자연스럽고 몰입감 있는 사용자 경험 제공
• 상호작용을 통해 지속적으로 성능 개선

예시:

고객 서비스 챗봇이 강화 학습을 활용해 문의를 처리합니다. 초기에는 표준 응답을 제공하지만, 시간이 지나며 어떤 응답이 문제 해결에 효과적인지 학습하고, 커뮤니케이션 스타일을 조정하며, 더욱 정확한 솔루션을 제공합니다.

강화 학습의 예시

알파고와 알파제로

• 개발사: 딥마인드
• 성과: 알파고는 세계 바둑 챔피언을 이겼고, 알파제로는 바둑, 체스, 쇼기를 처음부터 독학해 마스터함
• 방법: 강화 학습, 딥 뉴럴 네트워크, 자가 플레이 결합

OpenAI Five

• 개발사: OpenAI
• 성과: 도타2라는 복잡한 온라인 게임에서 프로팀을 이긴 5개의 뉴럴 네트워크 팀
• 방법: 수백만 판의 자가 대전을 통한 전략 강화 학습

로보틱스

• 로봇 팔 조작: 로봇이 블록 쌓기, 부품 조립, 도장 등 작업을 강화 학습으로 습득
• 자율 드론: 장애물 회피 및 공중 기동 학습

자율주행차

• 참여 기업: 테슬라, 웨이모 등
• 응용 분야: 다양한 도로 상황, 보행자, 교통 법규에 대응하는 주행 정책 학습
• 방법: 내비게이션, 안전성 향상을 위한 강화 학습 기반 의사결정

강화 학습 연구

강화 학습(RL)은 에이전트가 환경과의 상호작용을 통해 최적의 행동을 학습하는 방법을 탐구하는 인공지능 분야의 역동적인 연구 영역입니다. 최근 강화 학습의 다양한 측면을 다룬 주요 논문을 소개합니다.

1. Some Insights into Lifelong Reinforcement Learning Systems (저자: Changjian Li, 발표일: 2020-01-27) – 평생 강화 학습(lifelong RL)에 대해 논의하며, 시스템이 평생에 걸쳐 시행착오적 상호작용을 통해 지속적으로 학습할 수 있도록 하는 방법을 제안합니다. 저자는 기존 강화 학습 패러다임이 이러한 학습을 충분히 포착하지 못한다고 주장하며, 평생 강화 학습에 대한 인사이트와 이를 구현한 프로토타입 시스템을 소개합니다. 더 읽어보기
2. Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics (저자: David Boetius, Stefan Leue, 발표일: 2024-05-24) – 본 연구는 강화 학습 시스템의 안전성 확보 문제를 다룹니다. 안전 크리틱과 제약 최적화를 활용해, 이미 학습된 에이전트의 안전하지 않은 행동을 자동으로 수정하는 알고리즘을 제안합니다.