Học Máy Ít Mẫu (Few-Shot Learning)

Học Máy Ít Mẫu (Few-Shot Learning) là gì?

Học Máy Ít Mẫu là một phương pháp học máy cho phép các mô hình đưa ra dự đoán chính xác chỉ từ một số lượng nhỏ các ví dụ đã gán nhãn. Khác với các phương pháp học có giám sát truyền thống yêu cầu lượng lớn dữ liệu gán nhãn để huấn luyện, Học Máy Ít Mẫu tập trung vào huấn luyện mô hình để tổng quát hóa từ một bộ dữ liệu hạn chế. Mục tiêu là phát triển các thuật toán học có thể học hiệu quả những khái niệm hoặc tác vụ mới chỉ từ vài ví dụ, tương tự như khả năng học của con người.

Trong bối cảnh học máy, thuật ngữ “ít mẫu” đề cập tới số lượng ví dụ huấn luyện cho mỗi lớp. Ví dụ:

• One-Shot Learning: Mô hình học từ chỉ một ví dụ cho mỗi lớp.
• Few-Shot Learning: Mô hình học từ một số ít (thường là 2 đến 5) ví dụ cho mỗi lớp.

Học Máy Ít Mẫu nằm trong phạm trù rộng hơn gọi là n-shot learning, nơi n là số ví dụ huấn luyện cho mỗi lớp. Nó có liên quan chặt chẽ tới meta-learning – còn gọi là “học cách học” – trong đó mô hình được huấn luyện trên nhiều tác vụ khác nhau và học cách thích nghi nhanh với các tác vụ mới bằng dữ liệu hạn chế.

Học Máy Ít Mẫu được sử dụng như thế nào?

Học Máy Ít Mẫu chủ yếu được sử dụng trong các tình huống mà việc thu thập bộ dữ liệu lớn đã gán nhãn là không khả thi hoặc không thực tế. Điều này có thể xảy ra do:

• Thiếu dữ liệu: Sự kiện hiếm, hình ảnh sản phẩm mới, ý định người dùng đặc biệt, hoặc bệnh lý y tế không phổ biến.
• Chi phí gán nhãn cao: Việc gán nhãn dữ liệu đòi hỏi kiến thức chuyên môn hoặc tốn nhiều thời gian.
• Vấn đề riêng tư: Việc chia sẻ hoặc thu thập dữ liệu bị hạn chế bởi các quy định về quyền riêng tư.

Để giải quyết các thách thức này, Học Máy Ít Mẫu tận dụng kiến thức sẵn có và các chiến lược học giúp mô hình đưa ra dự đoán tin cậy dù chỉ với dữ liệu tối thiểu.

Các phương pháp cốt lõi trong Học Máy Ít Mẫu

Nhiều phương pháp đã được phát triển để triển khai hiệu quả Học Máy Ít Mẫu:

1. Meta-Learning (Học cách học)
2. Học Chuyển Giao
3. Tăng Cường Dữ Liệu
4. Metric Learning

1. Meta-Learning (Học cách học)

Meta-Learning liên quan tới việc huấn luyện mô hình trên nhiều tác vụ khác nhau sao cho nó có thể học nhanh các tác vụ mới chỉ từ một lượng nhỏ dữ liệu. Mô hình đạt được hiểu biết ở cấp độ meta về cách học, từ đó thích nghi nhanh với các ví dụ hạn chế.

Các khái niệm chính:

• Episodes: Quá trình huấn luyện được tổ chức thành các episode, mỗi episode mô phỏng một bài toán ít mẫu.
• Support Set: Một bộ dữ liệu nhỏ có nhãn mà mô hình dùng để học.
• Query Set: Bộ dữ liệu mà mô hình dự đoán sau khi học từ support set.

Các thuật toán Meta-Learning phổ biến:

• Model-Agnostic Meta-Learning (MAML): Huấn luyện tham số mô hình sao cho chỉ với vài cập nhật gradient là có thể tổng quát hóa tốt cho tác vụ mới.
• Prototypical Networks: Học không gian khoảng cách nơi phân loại được thực hiện bằng cách tính khoảng cách tới vector đại diện (prototype) của từng lớp.
• Matching Networks: Sử dụng cơ chế attention trên embedding đã học của support set để dự đoán.

Ví dụ ứng dụng:

Trong xử lý ngôn ngữ tự nhiên (NLP), một chatbot có thể cần hiểu những ý định người dùng mới chưa xuất hiện trong quá trình huấn luyện ban đầu. Nhờ meta-learning, chatbot có thể nhanh chóng thích nghi nhận biết và phản hồi các ý định mới này chỉ sau khi được cung cấp một vài ví dụ.

2. Học Chuyển Giao

Học Chuyển Giao tận dụng kiến thức thu được từ một tác vụ để cải thiện việc học ở một tác vụ liên quan nhưng khác biệt. Mô hình được huấn luyện trước trên bộ dữ liệu lớn, sau đó tinh chỉnh trên tác vụ Học Máy Ít Mẫu mục tiêu.

Quy trình:

• Huấn luyện trước: Huấn luyện mô hình trên bộ dữ liệu lớn, đa dạng để học các đặc trưng tổng quát.
• Tinh chỉnh: Điều chỉnh mô hình đã huấn luyện trước cho tác vụ mới bằng dữ liệu hạn chế hiện có.

Ưu điểm:

• Giảm nhu cầu về lượng lớn dữ liệu gán nhãn cho tác vụ mục tiêu.
• Tận dụng các đặc trưng phong phú đã học trong quá trình huấn luyện trước.

Ví dụ ứng dụng:

Trong thị giác máy tính, một mô hình được huấn luyện trước trên ImageNet có thể được tinh chỉnh để phân loại ảnh y khoa về bệnh hiếm chỉ với vài ví dụ đã gán nhãn.

3. Tăng Cường Dữ Liệu

Tăng Cường Dữ Liệu là tạo ra dữ liệu huấn luyện bổ sung từ bộ dữ liệu hạn chế hiện có. Điều này giúp giảm overfitting và nâng cao khả năng tổng quát hóa của mô hình.

Các kỹ thuật:

• Biến đổi ảnh: Xoay, thay đổi tỷ lệ, lật, cắt ảnh.
• Sinh dữ liệu tổng hợp: Sử dụng các mô hình sinh như GAN để tạo ra các mẫu dữ liệu mới.
• Mixup và CutMix: Kết hợp các ví dụ để tạo các mẫu huấn luyện mới.

Ví dụ ứng dụng:

Trong nhận diện giọng nói, việc tăng cường vài mẫu âm thanh bằng cách thêm tiếng ồn nền, thay đổi cao độ hoặc tốc độ có thể tạo ra bộ dữ liệu huấn luyện phong phú hơn.

4. Metric Learning

Metric Learning tập trung vào việc học hàm đo khoảng cách để đánh giá mức độ tương đồng hoặc khác biệt giữa hai điểm dữ liệu. Mô hình học cách ánh xạ dữ liệu vào không gian embedding, nơi các mẫu tương tự gần nhau.

Phương pháp:

• Siamese Networks: Sử dụng hai mạng với trọng số chung để tính toán embedding của cặp đầu vào và đo khoảng cách giữa chúng.
• Triplet Loss: Đảm bảo một điểm anchor gần điểm positive hơn điểm negative một khoảng cách nhất định.
• Contrastive Learning: Học embedding bằng cách đối chiếu các cặp tương tự và không tương tự.

Ví dụ ứng dụng:

Trong nhận diện khuôn mặt, metric learning giúp mô hình xác minh hai ảnh có phải cùng một người hay không dựa trên embedding đã học.

Nghiên cứu về Học Máy Ít Mẫu

Học Máy Ít Mẫu là lĩnh vực đang phát triển nhanh trong học máy, giải quyết bài toán huấn luyện mô hình với lượng dữ liệu gán nhãn hạn chế. Phần này giới thiệu một số bài báo khoa học quan trọng góp phần thúc đẩy hiểu biết và phát triển phương pháp học máy ít mẫu.

Một số bài báo khoa học nổi bật

1. Deep Optimal Transport: A Practical Algorithm for Photo-realistic Image Restoration

   • Tác giả: Theo Adrai, Guy Ohayon, Tomer Michaeli, Michael Elad
   • Tóm tắt: Bài báo này trình bày một thuật toán phục hồi ảnh sử dụng nguyên lý học máy ít mẫu. Bằng cách sử dụng một tập nhỏ ảnh, thuật toán nâng cao chất lượng cảm nhận hoặc MSE của các mô hình đã huấn luyện mà không cần huấn luyện thêm. Phương pháp này dựa trên lý thuyết vận chuyển tối ưu, điều chỉnh phân phối đầu ra với dữ liệu nguồn thông qua phép biến đổi tuyến tính trong không gian tiềm ẩn của một auto-encoder biến thiên. Nghiên cứu cho thấy cải thiện chất lượng cảm nhận và đề xuất phương pháp nội suy để cân bằng giữa chất lượng cảm nhận và MSE của ảnh phục hồi.
   • Đọc thêm

2. Minimax Deviation Strategies for Machine Learning and Recognition with Short Learning Samples

   • Tác giả: Michail Schlesinger, Evgeniy Vodolazskiy
   • Tóm tắt: Nghiên cứu này giải quyết thách thức về mẫu học nhỏ trong học máy. Bài báo phê bình các hạn chế của các chiến lược học maximum likelihood và minimax, đồng thời giới thiệu khái niệm minimax deviation learning. Cách tiếp cận mới này nhằm khắc phục các điểm yếu của phương pháp hiện có, đưa ra một lựa chọn vững chắc cho các bài toán học máy ít mẫu.
   • Đọc thêm

3. Some Insights into Lifelong Reinforcement Learning Systems

   • Tác giả: Changjian Li
   • Tóm tắt: Dù chủ yếu tập trung vào hệ thống học tăng cường suốt đời, bài báo này cung cấp các góc nhìn hữu ích cho học máy ít mẫu bằng cách làm rõ những thiếu sót của các phương pháp học tăng cường truyền thống. Tác giả cho rằng các hệ thống học suốt đời, liên tục học qua tương tác, có thể mở ra những hướng đi mới cho phát triển các mô hình học máy ít mẫu.
   • Đọc thêm

4. Dex: Incremental Learning for Complex Environments in Deep Reinforcement Learning

   • Tác giả: Nick Erickson, Qi Zhao
   • Tóm tắt: Dex toolkit được giới thiệu để huấn luyện và đánh giá các phương pháp học liên tục, tập trung vào học tăng dần. Cách tiếp cận này có thể coi là một dạng học máy ít mẫu, nơi khởi tạo trọng số tối ưu được rút ra từ việc giải các môi trường đơn giản hơn. Bài báo cho thấy học tăng dần có thể vượt trội rõ rệt so với các phương pháp truyền thống trong các kịch bản học tăng cường phức tạp.
   • Đọc thêm

5. Augmented Q Imitation Learning (AQIL)

   • Tác giả: Xiao Lei Zhang, Anish Agarwal
   • Tóm tắt: Bài báo này khám phá giao thoa giữa học bắt chước (imitation learning) và học tăng cường (reinforcement learning), hai lĩnh vực liên quan chặt chẽ tới học máy ít mẫu. AQIL kết hợp hai phương pháp này để tạo ra khung học không giám sát vững chắc, gợi mở cách nâng cao học máy ít mẫu thông qua bắt chước và cơ chế phản hồi.
   • Đọc thêm