Học Tăng cường

Các Khái niệm và Thuật ngữ Chính

Việc hiểu học tăng cường liên quan đến nhiều khái niệm và thuật ngữ cơ bản:

Tác nhân

Một tác nhân là người ra quyết định hoặc người học trong học tăng cường. Nó nhận thức môi trường thông qua quan sát, thực hiện hành động và học hỏi từ hậu quả của các hành động đó để đạt được mục tiêu của mình. Mục tiêu của tác nhân là phát triển một chiến lược, gọi là chính sách, nhằm tối đa hóa tổng phần thưởng tích lũy theo thời gian.

Môi trường

Môi trường là mọi thứ bên ngoài tác nhân mà tác nhân tương tác. Nó đại diện cho thế giới mà tác nhân hoạt động và có thể bao gồm không gian vật lý, mô phỏng ảo hoặc bất kỳ ngữ cảnh nào mà tác nhân đưa ra quyết định. Môi trường cung cấp cho tác nhân các quan sát và phần thưởng dựa trên các hành động đã thực hiện.

Trạng thái

Trạng thái là biểu diễn tình huống hiện tại của tác nhân trong môi trường. Nó bao gồm tất cả thông tin cần thiết để đưa ra quyết định tại một thời điểm nhất định. Trạng thái có thể quan sát đầy đủ, khi tác nhân có đầy đủ thông tin về môi trường, hoặc quan sát một phần, khi một số thông tin bị ẩn.

Hành động

Hành động là lựa chọn của tác nhân ảnh hưởng đến trạng thái của môi trường. Tập hợp tất cả hành động có thể mà một tác nhân có thể thực hiện trong một trạng thái gọi là không gian hành động. Hành động có thể rời rạc (ví dụ: di chuyển sang trái hoặc phải) hoặc liên tục (ví dụ: điều chỉnh tốc độ xe).

Phần thưởng

Phần thưởng là một giá trị vô hướng mà môi trường cung cấp để đáp lại hành động của tác nhân. Nó định lượng lợi ích (hoặc hình phạt) tức thời của việc thực hiện hành động đó trong trạng thái hiện tại. Mục tiêu của tác nhân là tối đa hóa tổng phần thưởng tích lũy theo thời gian.

Chính sách

Chính sách xác định hành vi của tác nhân, ánh xạ các trạng thái sang hành động. Nó có thể là xác định, khi một hành động cụ thể được chọn cho mỗi trạng thái, hoặc ngẫu nhiên, khi hành động được chọn dựa trên xác suất. Chính sách tối ưu sẽ mang lại phần thưởng tích lũy cao nhất.

Hàm giá trị

Hàm giá trị ước lượng phần thưởng tích lũy kỳ vọng khi ở một trạng thái cụ thể (hoặc cặp trạng thái-hành động) và sau đó tuân theo một chính sách nhất định. Nó giúp tác nhân đánh giá lợi ích lâu dài của các hành động, không chỉ phần thưởng tức thời.

Mô hình của môi trường

Mô hình dự đoán cách môi trường phản hồi với các hành động của tác nhân. Nó bao gồm xác suất chuyển trạng thái và phần thưởng kỳ vọng. Mô hình được sử dụng trong các chiến lược lập kế hoạch nhưng không phải lúc nào cũng cần thiết trong học tăng cường.

Học Tăng cường Hoạt động Như Thế nào

Học tăng cường liên quan đến việc huấn luyện các tác nhân thông qua thử và sai, học các hành vi tối ưu để đạt mục tiêu. Quá trình này có thể tóm tắt qua các bước sau:

1. Khởi tạo: Tác nhân bắt đầu ở một trạng thái ban đầu trong môi trường.
2. Quan sát: Tác nhân quan sát trạng thái hiện tại.
3. Chọn hành động: Dựa trên chính sách, tác nhân chọn một hành động từ không gian hành động.
4. Phản hồi của môi trường: Môi trường chuyển sang trạng thái mới và cấp phần thưởng dựa trên hành động đã thực hiện.
5. Học hỏi: Tác nhân cập nhật chính sách và hàm giá trị dựa trên phần thưởng nhận được và trạng thái mới.
6. Lặp lại: Lặp lại các bước 2–5 cho đến khi tác nhân đạt trạng thái kết thúc hoặc hoàn thành mục tiêu.

Quy trình Quyết định Markov (MDP)

Hầu hết các bài toán học tăng cường được hình thức hóa bằng Quy trình Quyết định Markov (MDP). MDP cung cấp một khuôn khổ toán học để mô hình hóa việc ra quyết định khi kết quả vừa mang tính ngẫu nhiên vừa nằm trong kiểm soát của tác nhân. Một MDP được xác định bởi:

• Một tập các trạng thái S
• Một tập các hành động A
• Một hàm chuyển trạng thái P, xác định xác suất chuyển từ trạng thái này sang trạng thái khác với một hành động cho trước
• Một hàm phần thưởng R, cung cấp phần thưởng tức thì cho từng cặp trạng thái-hành động
• Hệ số chiết khấu γ (gamma), nhấn mạnh tầm quan trọng của phần thưởng tức thì hơn phần thưởng tương lai

MDP giả định tính Markov, nghĩa là trạng thái tương lai chỉ phụ thuộc vào trạng thái và hành động hiện tại, không phụ thuộc vào chuỗi sự kiện trước đó.

Cân bằng Khám phá và Khai thác

Một thách thức quan trọng trong học tăng cường là cân bằng giữa khám phá (thử các hành động mới để phát hiện tác động của chúng) và khai thác (sử dụng các hành động đã biết mang lại phần thưởng cao). Chỉ tập trung vào khai thác có thể ngăn tác nhân tìm ra chiến lược tốt hơn, còn khám phá quá mức có thể làm chậm quá trình học.

Các tác nhân thường sử dụng các chiến lược như ε-greedy, khi đó chúng chọn hành động ngẫu nhiên với xác suất nhỏ ε để khám phá, và chọn hành động tốt nhất đã biết với xác suất 1 – ε.

Các Loại Thuật toán Học Tăng cường

Thuật toán học tăng cường có thể được phân loại rộng rãi thành các phương pháp dựa trên mô hình và không dựa trên mô hình.

Học tăng cường dựa trên mô hình

Trong học tăng cường dựa trên mô hình, tác nhân xây dựng một mô hình nội bộ về động lực học của môi trường. Mô hình này dự đoán trạng thái tiếp theo và phần thưởng kỳ vọng cho mỗi hành động. Tác nhân sử dụng mô hình này để lập kế hoạch và chọn các hành động tối đa hóa tổng phần thưởng.

Đặc điểm:

• Lập kế hoạch: Tác nhân mô phỏng các trạng thái tương lai bằng mô hình để ra quyết định.
• Hiệu quả mẫu: Thường cần ít lần tương tác với môi trường hơn vì sử dụng mô hình để học.
• Độ phức tạp: Việc xây dựng một mô hình chính xác có thể khó, đặc biệt trong môi trường phức tạp.

Ví dụ:

Một robot di chuyển trong mê cung khám phá mê cung và xây dựng bản đồ (mô hình) các lối đi, chướng ngại vật và phần thưởng (ví dụ: các điểm thoát, bẫy), sau đó dùng mô hình này để lập kế hoạch đường đi ngắn nhất đến lối ra, tránh chướng ngại vật.

Học tăng cường không dựa trên mô hình

Học tăng cường không dựa trên mô hình không xây dựng mô hình rõ ràng của môi trường. Thay vào đó, tác nhân học chính sách hoặc hàm giá trị trực tiếp từ trải nghiệm tương tác với môi trường.

Đặc điểm:

• Thử và sai: Tác nhân học chính sách tối ưu thông qua tương tác trực tiếp.
• Linh hoạt: Có thể áp dụng cho môi trường mà việc xây dựng mô hình là không khả thi.
• Hội tụ: Có thể cần nhiều lần tương tác hơn để học hiệu quả.

Các thuật toán không dựa trên mô hình phổ biến:

Q-Learning

Q-Learning là một thuật toán dựa trên giá trị, off-policy, nhằm học hàm giá trị hành động tối ưu Q(s, a), đại diện cho phần thưởng tích lũy kỳ vọng khi thực hiện hành động a ở trạng thái s.

Công thức cập nhật:

Q(s, a) ← Q(s, a) + α [ r + γ max Q(s', a') - Q(s, a) ]

• α: Tốc độ học
• γ: Hệ số chiết khấu
• r: Phần thưởng tức thì
• s’: Trạng thái tiếp theo
• a’: Hành động tiếp theo

Ưu điểm:

• Dễ triển khai
• Hiệu quả trong nhiều trường hợp

Hạn chế:

• Gặp khó khăn với không gian trạng thái-hành động lớn
• Yêu cầu một bảng lưu trữ giá trị Q, điều này trở nên không khả thi khi không gian lớn

SARSA (State-Action-Reward-State-Action)

SARSA là một thuật toán on-policy tương tự Q-Learning nhưng cập nhật hàm giá trị hành động dựa trên hành động thực tế được thực hiện bởi chính sách hiện tại.

Công thức cập nhật:

Q(s, a) ← Q(s, a) + α [ r + γ Q(s', a') - Q(s, a) ]

• a’: Hành động được thực hiện ở trạng thái tiếp theo theo chính sách hiện tại

Khác biệt với Q-Learning:

• SARSA cập nhật dựa trên hành động thực tế đã chọn (on-policy)
• Q-Learning cập nhật dựa trên phần thưởng tối đa có thể đạt được (off-policy)

Phương pháp Policy Gradient

Phương pháp policy gradient tối ưu hóa trực tiếp chính sách bằng cách điều chỉnh các tham số theo hướng tối đa hóa phần thưởng kỳ vọng.

Đặc điểm:

• Xử lý không gian hành động liên tục
• Có thể biểu diễn chính sách ngẫu nhiên
• Sử dụng phương pháp gradient ascent để cập nhật tham số chính sách

Ví dụ:

• Thuật toán REINFORCE: Cập nhật tham số chính sách sử dụng gradient của phần thưởng kỳ vọng theo các tham số chính sách

Phương pháp Actor-Critic

Phương pháp actor-critic kết hợp tiếp cận dựa trên giá trị và dựa trên chính sách. Chúng bao gồm hai thành phần:

• Actor: Hàm chính sách chọn hành động
• Critic: Hàm giá trị đánh giá các hành động do actor thực hiện

Đặc điểm:

• Critic ước lượng hàm giá trị để hướng dẫn cập nhật chính sách của actor
• Học nhanh nhờ giảm phương sai trong ước lượng gradient chính sách

Học tăng cường sâu

Học tăng cường sâu tích hợp học sâu với học tăng cường, giúp tác nhân xử lý các không gian trạng thái và hành động có chiều cao.

Deep Q-Networks (DQN)

Deep Q-Networks sử dụng mạng nơ-ron để xấp xỉ hàm giá trị Q.

Đặc điểm chính:

• Xấp xỉ hàm: Thay thế bảng Q bằng một mạng nơ-ron
• Kinh nghiệm phát lại: Lưu trữ các trải nghiệm và lấy mẫu ngẫu nhiên để phá vỡ sự tương quan
• Kỹ thuật ổn định: Sử dụng các kỹ thuật như mạng mục tiêu để ổn định quá trình huấn luyện

Ứng dụng:

• Đã được sử dụng thành công để chơi các trò chơi Atari trực tiếp từ dữ liệu hình ảnh

Deep Deterministic Policy Gradient (DDPG)

DDPG là một thuật toán mở rộng DQN cho không gian hành động liên tục.

Đặc điểm chính:

• Kiến trúc actor-critic: Sử dụng các mạng riêng biệt cho actor và critic
• Chính sách xác định: Học chính sách xác định để chọn hành động
• Sử dụng gradient descent: Tối ưu hóa chính sách bằng policy gradients

Ứng dụng:

• Các bài toán điều khiển trong robot nơi hành động là liên tục, như điều khiển mô-men xoắn

Các Trường hợp Sử dụng và Ứng dụng của Học Tăng cường

Học tăng cường đã được ứng dụng vào nhiều lĩnh vực, tận dụng khả năng học các hành vi phức tạp trong môi trường bất định.

Trò chơi

Ứng dụng:

• AlphaGo và AlphaZero: Do DeepMind phát triển, các tác nhân này làm chủ các trò chơi như Go, Cờ vua, Cờ Shogi thông qua tự chơi và học tăng cường
• Trò chơi Atari: Các tác nhân DQN đạt hiệu suất ngang người bằng cách học trực tiếp từ hình ảnh

Lợi ích:

• Khả năng học chiến lược mà không cần kiến thức trước
• Xử lý môi trường phức tạp, đa chiều

Robot

Ứng dụng:

• Thao tác robot: Robot học cách cầm nắm, thao tác vật thể và thực hiện các nhiệm vụ phức tạp
• Di chuyển: Robot tự hành học cách di chuyển qua các địa hình phức tạp và tránh chướng ngại vật

Lợi ích:

• Thích ứng với môi trường động
• Giảm nhu cầu lập trình thủ công các hành vi

Phương tiện tự hành

Ứng dụng:

• Lập kế hoạch đường đi: Xe học chọn tuyến đường tối ưu dựa trên điều kiện giao thông
• Ra quyết định: Xử lý tương tác với các xe khác và người đi bộ

Lợi ích:

• Cải thiện an toàn nhờ ra quyết định thích ứng
• Nâng cao hiệu quả trong các điều kiện lái xe thay đổi

Xử lý ngôn ngữ tự nhiên và Chatbots

Ứng dụng:

• Hệ thống hội thoại: Chatbot học cách tương tác tự nhiên hơn với người dùng, ngày càng hoàn thiện
• Dịch ngôn ngữ: Nâng cao chất lượng dịch bằng cách xem xét sự mạch lạc lâu dài

Lợi ích:

• Cá nhân hóa tương tác với người dùng
• Cải thiện liên tục dựa trên phản hồi người dùng

Tài chính

Ứng dụng:

• Chiến lược giao dịch: Tác nhân học cách đưa ra quyết định mua/bán để tối đa hóa lợi nhuận
• Quản lý danh mục đầu tư: Cân đối tài sản để tối ưu hóa lợi nhuận rủi ro

Lợi ích:

• Thích ứng với điều kiện thị trường thay đổi
• Giảm thiên vị của con người trong quá trình ra quyết định

Y tế

Ứng dụng:

• Lập kế hoạch điều trị: Đề xuất liệu trình cá nhân hóa dựa trên phản ứng của bệnh nhân
• Phân bổ nguồn lực: Tối ưu hóa lịch trình và sử dụng tài nguyên y tế

Lợi ích:

• Cải thiện kết quả điều trị nhờ phương án phù hợp từng bệnh nhân
• Nâng cao hiệu quả cung cấp dịch vụ y tế

Hệ thống đề xuất

Ứng dụng:

• Đề xuất cá nhân hóa: Học sở thích người dùng để gợi ý sản phẩm, phim hay nội dung phù hợp
• Hệ thống thích ứng: Điều chỉnh đề xuất dựa trên tương tác thực tế của người dùng

Lợi ích:

• Tăng mức độ gắn kết người dùng
• Cải thiện trải nghiệm nhờ gợi ý phù hợp

Các Thách thức của Học Tăng cường

Dù thành công, học tăng cường vẫn đối mặt với nhiều thách thức:

Hiệu quả mẫu

• Vấn đề: Tác nhân RL thường cần rất nhiều lần tương tác với môi trường để học hiệu quả
• Tác động: Chi phí tính toán cao và không thực tế trong môi trường thực tế nơi việc thu thập dữ liệu tốn kém hoặc mất thời gian
• Cách tiếp cận khắc phục:
  • Phương pháp dựa trên mô hình: Sử dụng mô hình để mô phỏng trải nghiệm
  • Học chuyển giao: Áp dụng kiến thức từ bài toán này sang bài toán khác
  • RL phân cấp: Phân tách nhiệm vụ thành các nhiệm vụ nhỏ để đơn giản hóa việc học

Phần thưởng bị trì hoãn

• Vấn đề: Phần thưởng có thể không xuất hiện ngay, khiến tác nhân khó liên hệ hành động với kết quả
• Tác động: Khó khăn trong việc gán tín dụng, tác nhân phải xác định hành động nào đóng góp vào phần thưởng tương lai
• Cách tiếp cận khắc phục:
  • Dấu vết hợp lệ (eligibility traces): Gán tín dụng cho các hành động dẫn đến phần thưởng theo thời gian
  • Phương pháp Monte Carlo: Xem xét tổng phần thưởng vào cuối mỗi tập

Khả năng diễn giải

• Vấn đề: Chính sách RL, đặc biệt khi dùng mạng nơ-ron sâu, có thể khó hiểu
• Tác động: Khó tin tưởng và hiểu quyết định của tác nhân, đặc biệt trong các ứng dụng quan trọng
• Cách tiếp cận khắc phục:
  • Trực quan hóa chính sách: Công cụ để trực quan hóa ranh giới quyết định và chính sách
  • RL có thể giải thích: Nghiên cứu các phương pháp giúp hiểu lý do của tác nhân

An toàn và đạo đức

• Vấn đề: Đảm bảo tác nhân hành xử an toàn và đạo đức, đặc biệt trong môi trường liên quan đến con người
• Tác động: Có thể dẫn đến hành vi ngoài ý muốn gây hậu quả xấu
• Cách tiếp cận khắc phục:
  • Thiết kế phần thưởng: Thiết kế hàm phần thưởng cẩn thận để phù hợp với hành vi mong muốn
  • Áp đặt ràng buộc: Tích hợp các ràng buộc an toàn vào quá trình học

Học Tăng cường trong Tự động hóa AI và Chatbots

Học tăng cường đóng vai trò quan trọng trong việc thúc đẩy tự động hóa AI và nâng cao khả năng chatbot.

Tự động hóa AI

Ứng dụng:

• Tối ưu hóa quy trình: Tự động hóa quá trình ra quyết định phức tạp trong ngành sản xuất, logistics
• Quản lý năng lượng: Điều chỉnh hệ thống trong tòa nhà hoặc lưới điện để tối ưu hóa tiêu thụ năng lượng

Lợi ích:

• Tăng hiệu quả bằng cách học chính sách kiểm soát tối ưu
• Thích nghi với điều kiện thay đổi mà không cần can thiệp của con người

Chatbots và AI hội thoại

Ứng dụng:

• Quản lý hội thoại: Học chính sách quyết định phản hồi tiếp theo dựa trên lịch sử hội thoại
• Cá nhân hóa: Điều chỉnh tương tác dựa trên hành vi và sở thích từng người dùng
• Nhận diện cảm xúc: Điều chỉnh phản hồi dựa trên cảm xúc phát hiện trong lời nói người dùng

Lợi ích:

• Mang lại trải nghiệm tự nhiên, hấp dẫn hơn cho người dùng
• Cải thiện theo thời gian khi tác nhân học từ tương tác thực tế

Ví dụ:

Một chatbot chăm sóc khách hàng sử dụng học tăng cường để xử lý thắc mắc. Ban đầu, nó có thể cung cấp các phản hồi tiêu chuẩn, nhưng theo thời gian, nó học được những phản hồi nào giải quyết vấn đề hiệu quả, điều chỉnh phong cách giao tiếp và đưa ra giải pháp chính xác hơn.

Ví dụ về Học Tăng cường

AlphaGo và AlphaZero

• Phát triển bởi: DeepMind
• Thành tựu: AlphaGo đánh bại nhà vô địch thế giới môn cờ vây, trong khi AlphaZero tự học làm chủ các trò chơi như cờ vây, cờ vua, cờ shogi từ đầu
• Phương pháp: Kết hợp học tăng cường với mạng nơ-ron sâu và tự chơi

OpenAI Five

• Phát triển bởi: OpenAI
• Thành tựu: Một đội gồm năm mạng nơ-ron chơi Dota 2, một trò chơi trực tuyến phức tạp với nhiều người, và đánh bại các đội tuyển chuyên nghiệp
• Phương pháp: Sử dụng học tăng cường để học chiến lược qua hàng triệu ván tự thi đấu

Robot

• Thao tác cánh tay robot: Robot học thực hiện các nhiệm vụ như xếp khối, lắp ráp bộ phận hoặc sơn phủ thông qua học tăng cường
• Máy bay không người lái tự hành: Drone học cách né tránh chướng ngại vật và thực hiện các động tác trên không

Xe tự lái

• Các công ty tham gia: Tesla, Waymo và nhiều hãng khác
• Ứng dụng: Học chính sách lái xe để xử lý các tình huống giao thông đa dạng, tương tác với người đi bộ, tuân thủ luật giao thông
• Phương pháp: Sử dụng học tăng cường để cải thiện quá trình ra quyết định về điều hướng và an toàn

Nghiên cứu về Học Tăng cường

Học tăng cường (RL) là một lĩnh vực năng động trong nghiên cứu trí tuệ nhân tạo, tập trung vào cách các tác nhân có thể học hành vi tối ưu thông qua tương tác với môi trường. Dưới đây là một số bài báo khoa học gần đây khám phá các khía cạnh khác nhau của học tăng cường:

1. Some Insights into Lifelong Reinforcement Learning Systems của Changjian Li (Xuất bản: 2020-01-27) – Bài báo này thảo luận về học tăng cường suốt đời, cho phép hệ thống học liên tục trong suốt vòng đời thông qua các tương tác thử-sai. Tác giả cho rằng các mô hình học tăng cường truyền thống chưa thực sự nắm bắt được loại học này. Bài báo cung cấp những hiểu biết về học tăng cường suốt đời và giới thiệu một hệ thống nguyên mẫu hiện thực các nguyên lý này. Đọc thêm
2. Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics của David Boetius và Stefan Leue (Xuất bản: 2024-05-24) – Nghiên cứu này giải quyết thách thức đảm bảo an toàn trong hệ thống học tăng cường. Nó đề xuất một thuật toán sửa chữa các hành vi không an toàn của tác nhân đã huấn luyện sẵn bằng cách sử dụng safety critics và tối ưu hóa có ràng buộc