BERT

BERT là gì?

BERT, viết tắt của Bidirectional Encoder Representations from Transformers, là một framework máy học mã nguồn mở dành cho xử lý ngôn ngữ tự nhiên (NLP). Được phát triển bởi các nhà nghiên cứu tại Google AI Language và ra mắt năm 2018, BERT đã thúc đẩy mạnh mẽ NLP bằng việc giúp máy móc hiểu ngôn ngữ tự nhiên giống con người hơn.

Về bản chất, BERT giúp máy tính diễn giải ý nghĩa của ngôn ngữ mơ hồ hoặc phụ thuộc ngữ cảnh trong văn bản bằng cách xem xét các từ xung quanh trong câu—cả trước và sau từ mục tiêu. Cách tiếp cận hai chiều này cho phép BERT nắm bắt đầy đủ sắc thái ngôn ngữ, khiến nó cực kỳ hiệu quả cho nhiều tác vụ NLP khác nhau.

Bối cảnh và lịch sử của BERT

Sự phát triển của các mô hình ngôn ngữ

Trước BERT, hầu hết các mô hình ngôn ngữ xử lý văn bản theo một chiều (hoặc từ trái sang phải, hoặc từ phải sang trái), điều này hạn chế khả năng nắm bắt ngữ cảnh.

Các mô hình trước như Word2Vec và GloVe tạo ra các embedding từ không phụ thuộc ngữ cảnh, gán một vector duy nhất cho mỗi từ bất kể ngữ cảnh. Cách tiếp cận này gặp khó khăn với các từ đa nghĩa (ví dụ, “bank” nghĩa là ngân hàng hoặc bờ sông).

Sự ra đời của Transformers

Năm 2017, kiến trúc Transformer được giới thiệu trong bài báo “Attention Is All You Need.” Transformer là các mô hình học sâu sử dụng cơ chế self-attention, cho phép chúng đánh giá tầm quan trọng của từng phần trong đầu vào một cách linh hoạt.

Transformers đã cách mạng hóa NLP bằng việc xử lý đồng thời tất cả các từ trong câu, cho phép huấn luyện trên quy mô lớn hơn.

Phát triển BERT

Các nhà nghiên cứu Google đã tận dụng kiến trúc Transformer để phát triển BERT, được giới thiệu trong bài báo năm 2018 “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.” Điểm đổi mới của BERT là huấn luyện hai chiều, xem xét cả ngữ cảnh bên trái và bên phải.

BERT được tiền huấn luyện trên toàn bộ Wikipedia tiếng Anh (2,5 tỷ từ) và BookCorpus (800 triệu từ), giúp nó hiểu sâu về mẫu câu, cú pháp và ngữ nghĩa.

Kiến trúc của BERT

Tổng quan

BERT là một stack encoder của kiến trúc Transformer (chỉ sử dụng encoder, không có decoder). Nó gồm nhiều lớp (12 hoặc 24 block Transformer), mỗi lớp có self-attention và mạng neural feed-forward.

Tokenization và embedding

BERT sử dụng phương pháp token hóa WordPiece, chia nhỏ từ thành các đơn vị con để xử lý các từ hiếm/chưa từng gặp.

Mỗi token đầu vào được biểu diễn bằng tổng của ba loại embedding:

1. Token Embeddings: Các token riêng lẻ (từ hoặc subword).
2. Segment Embeddings: Xác định token thuộc câu A hay B.
3. Position Embeddings: Cung cấp thông tin vị trí cho mỗi token.

Các embedding này giúp BERT hiểu được cả cấu trúc và ý nghĩa.

Cơ chế Self-Attention

Self-attention cho phép BERT đánh giá tầm quan trọng của từng token so với tất cả các token khác trong chuỗi, nắm bắt các phụ thuộc bất kể khoảng cách.

Ví dụ, trong “The bank raised its interest rates,” self-attention giúp BERT liên kết “bank” với “interest rates”, hiểu “bank” là một tổ chức tài chính.

Huấn luyện hai chiều

Huấn luyện hai chiều cho phép BERT nắm bắt ngữ cảnh từ cả hai hướng. Điều này thực hiện qua hai mục tiêu huấn luyện:

1. Masked Language Modeling (MLM): Ngẫu nhiên che đi các token đầu vào rồi huấn luyện BERT dự đoán chúng dựa vào ngữ cảnh.
2. Next Sentence Prediction (NSP): Huấn luyện BERT dự đoán xem câu B có phải tiếp nối câu A không, giúp hiểu mối quan hệ giữa các câu.

Cách hoạt động của BERT

Masked Language Modeling (MLM)

Trong MLM, BERT ngẫu nhiên chọn 15% số token để có thể thay thế:

• 80% bị thay bằng [MASK]
• 10% bị thay bằng một token ngẫu nhiên
• 10% giữ nguyên

Chiến lược này giúp mô hình hiểu ngôn ngữ sâu sắc hơn.

Ví dụ:

• Gốc: “The quick brown fox jumps over the lazy dog.”
• Đã che: “The quick brown [MASK] jumps over the lazy [MASK].”
• Mô hình dự đoán “fox” và “dog.”

Next Sentence Prediction (NSP)

NSP giúp BERT hiểu mối quan hệ giữa các câu.

• 50% thời gian, câu B là câu đúng tiếp theo.
• 50% thời gian, câu B là ngẫu nhiên từ kho dữ liệu.

Ví dụ:

• Câu A: “The rain was pouring down.”
• Câu B: “She took out her umbrella.” → “IsNext”
• Câu B: “I enjoy playing chess.” → “NotNext”

Tinh chỉnh cho các tác vụ cụ thể

Sau khi tiền huấn luyện, BERT được tinh chỉnh cho từng tác vụ NLP cụ thể bằng cách thêm các lớp đầu ra. Việc tinh chỉnh này cần ít dữ liệu và tính toán hơn so với huấn luyện từ đầu.

Ứng dụng của BERT

BERT hỗ trợ nhiều tác vụ NLP, thường đạt kết quả xuất sắc.

Phân tích cảm xúc

BERT có thể phân loại cảm xúc (ví dụ, đánh giá tích cực/tiêu cực) một cách tinh tế.

• Ví dụ: Thương mại điện tử dùng BERT để phân tích phản hồi và cải thiện sản phẩm.

Trả lời câu hỏi

BERT hiểu câu hỏi và trả lời từ ngữ cảnh.

• Ví dụ: Chatbot dùng BERT để trả lời “Chính sách hoàn trả là gì?” bằng cách tham chiếu tài liệu chính sách.

Nhận diện thực thể (NER)

NER xác định và phân loại các thực thể chính (tên người, tổ chức, ngày tháng).

• Ví dụ: Trình tổng hợp tin tức trích xuất thực thể giúp người dùng tra cứu chủ đề cụ thể.

Dịch ngôn ngữ

Dù không được thiết kế cho dịch thuật, sự hiểu ngôn ngữ sâu sắc của BERT hỗ trợ dịch khi kết hợp với các mô hình khác.

Tóm tắt văn bản

BERT có thể tạo bản tóm tắt ngắn gọn bằng cách nhận diện các ý chính.

• Ví dụ: Công ty luật tóm tắt hợp đồng để tra cứu nhanh thông tin.

Sinh và hoàn thành văn bản

BERT dự đoán từ hoặc chuỗi bị che, hỗ trợ việc sinh văn bản.

• Ví dụ: Ứng dụng email gợi ý từ tiếp theo khi người dùng soạn thư.

Ví dụ ứng dụng thực tiễn

Google Search

Năm 2019, Google bắt đầu sử dụng BERT để nâng cao thuật toán tìm kiếm, giúp hiểu rõ hơn ý định và ngữ cảnh truy vấn.

Ví dụ:

• Truy vấn: “Can you get medicine for someone pharmacy?”
• Với BERT: Google hiểu người dùng hỏi về việc lấy thuốc hộ người khác.

Tự động hóa AI và chatbot

BERT là nền tảng cho chatbot, nâng cao khả năng hiểu đầu vào người dùng.

• Ví dụ: Chatbot hỗ trợ khách hàng dùng BERT để xử lý câu hỏi phức tạp mà không cần con người.

Ứng dụng y tế

Các mô hình BERT chuyên biệt như BioBERT xử lý văn bản y sinh.

• Ví dụ: Nhà nghiên cứu dùng BioBERT để phát hiện thuốc mới và phân tích tài liệu.

Phân tích văn bản pháp lý

Chuyên gia pháp lý dùng BERT để phân tích và tóm tắt văn bản pháp luật.

• Ví dụ: Công ty luật xác định nhanh điều khoản trách nhiệm nhờ BERT.

Các biến thể và mở rộng của BERT

Có nhiều phiên bản BERT dành cho hiệu quả hoặc lĩnh vực chuyên biệt:

• DistilBERT: Nhỏ gọn, nhanh, nhẹ, đạt 95% hiệu suất của BERT với 40% số tham số.
  Trường hợp sử dụng: Thiết bị di động.
• TinyBERT: Thậm chí nhỏ gọn hơn, giảm kích thước mô hình và thời gian suy luận.
• RoBERTa: Huấn luyện với batch lớn hơn, nhiều dữ liệu hơn, bỏ NSP, hiệu suất tốt hơn.
• BioBERT: Tiền huấn luyện trên văn bản y sinh cho NLP y học.
• PatentBERT: Tinh chỉnh cho phân loại bằng sáng chế.
• SciBERT: Dành cho văn bản khoa học.
• VideoBERT: Kết hợp dữ liệu hình ảnh và văn bản cho hiểu video.

BERT trong AI, tự động hóa AI và chatbot

Nâng cao ứng dụng AI

Khả năng hiểu ngữ cảnh của BERT thúc đẩy nhiều ứng dụng AI:

• Hiểu ngôn ngữ tốt hơn: Diễn giải văn bản có sắc thái, ngữ cảnh.
• Chuyển giao hiệu quả: Mô hình tiền huấn luyện có thể tinh chỉnh với ít dữ liệu.
• Đa năng: Giảm nhu cầu xây dựng mô hình riêng cho từng tác vụ.

Tác động đến chatbot

BERT đã nâng cao mạnh mẽ chất lượng chatbot và tự động hóa AI.

Ví dụ:

• Hỗ trợ khách hàng: Chatbot hiểu và phản hồi chính xác.
• Trợ lý ảo: Nhận diện lệnh và phản hồi tốt hơn.
• Bot dịch ngôn ngữ: Giữ được ngữ cảnh và độ chính xác.

Tự động hóa AI

BERT cho phép tự động hóa AI trong xử lý khối lượng lớn văn bản mà không cần can thiệp của con người.

Trường hợp sử dụng:

• Xử lý tài liệu: Tự động phân loại, gắn nhãn, tóm tắt.
• Kiểm duyệt nội dung: Nhận diện nội dung không phù hợp.
• Báo cáo tự động: Trích xuất thông tin chính cho báo cáo.

Nghiên cứu về BERT

1. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
   Tác giả: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
   Trình bày kiến trúc BERT và hiệu quả trên nhiều chuẩn đánh giá, cho phép điều kiện hóa chung trên cả ngữ cảnh trái và phải.
   Đọc thêm

2. Multi-Task Bidirectional Transformer Representations for Irony Detection
   Tác giả: Chiyu Zhang, Muhammad Abdul-Mageed
   Ứng dụng BERT vào phát hiện châm biếm, tận dụng học đa nhiệm và tiền huấn luyện cho thích nghi lĩnh vực. Đạt 82.4 macro F1 score.
   Đọc thêm

3. Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt
   Tác giả: Hangyu Lin, Yanwei Fu, Yu-Gang Jiang, Xiangyang Xue
   Giới thiệu Sketch-BERT cho nhận diện và truy xuất bản vẽ, áp dụng học tự giám sát và mạng embedding mới.
   Đọc thêm

4. Transferring BERT Capabilities from High-Resource to Low-Resource Languages Using Vocabulary Matching
   Tác giả: Piotr Rybak
   Đề xuất phương pháp ghép từ vựng để thích nghi BERT với ngôn ngữ ít tài nguyên, góp phần dân chủ hóa công nghệ NLP.
   Đọc thêm