Kiểm Thử Xâm Nhập AI
Kiểm thử xâm nhập AI là một đánh giá bảo mật có cấu trúc đối với các hệ thống AI — bao gồm chatbot LLM, tác nhân tự động và pipeline RAG — sử dụng các cuộc tấn ...
7 phút đọc
AI Penetration Testing
AI Security
+3
Học máy đối kháng là nghiên cứu về các cuộc tấn công khiến các mô hình AI tạo ra kết quả đầu ra không chính xác, không an toàn hoặc ngoài ý muốn bằng cách cố ý thao túng đầu vào của chúng. Nó bao gồm cả các kỹ thuật tấn công khai thác lỗ hổng mô hình và các phương pháp phòng thủ làm cho mô hình mạnh mẽ hơn trước chúng.
Bối Cảnh Học Máy Đối Kháng
Học máy đối kháng xuất hiện từ nghiên cứu thị giác máy tính vào đầu những năm 2010, khi các nhà nghiên cứu phát hiện ra rằng việc thêm nhiễu loạn nhỏ không thể nhận biết được vào hình ảnh có thể khiến các bộ phân loại tiên tiến phân loại sai chúng với độ tin cậy cao. Một con gấu trúc trở thành một con vượn; một biển báo dừng trở thành biển báo giới hạn tốc độ — với những thay đổi pixel vô hình đối với người quan sát.
Khám phá này cho thấy rằng các mạng nơ-ron, mặc dù có hiệu suất ấn tượng, học các mẫu thống kê có thể bị khai thác thay vì hiểu biết ngữ nghĩa vững chắc. Cùng một nguyên lý cơ bản — rằng các mô hình có thể bị đánh lừa một cách có hệ thống bởi các đầu vào được thiết kế cẩn thận — áp dụng cho tất cả các phương thức AI, bao gồm cả các mô hình ngôn ngữ.
Các Cuộc Tấn Công Đối Kháng Theo Danh Mục
Tấn Công Trốn Tránh
Mô hình bị tấn công tại thời điểm suy luận với các đầu vào được thiết kế để gây ra phân loại sai hoặc hành vi bất ngờ. Trong thị giác máy tính, đây là các hình ảnh đối kháng. Trong NLP và LLM, các cuộc tấn công trốn tránh bao gồm:
- Prompt injection : Văn bản được thiết kế ghi đè hướng dẫn hệ thống
- Jailbreaking : Các lời nhắc vượt qua rào cản an toàn
- Token smuggling : Thao túng mã hóa để tránh các bộ lọc nội dung
- Hậu tố đối kháng: Chuỗi được tính toán bằng thuật toán có thể gây ra đầu ra có hại một cách đáng tin cậy
Tấn Công Đầu Độc
Mô hình hoặc nguồn dữ liệu của nó bị tấn công trong quá trình huấn luyện hoặc truy xuất. Các ví dụ bao gồm:
- Đầu độc dữ liệu huấn luyện: Tiêm các ví dụ độc hại vào tập dữ liệu huấn luyện để đưa backdoor hoặc thiên kiến vào
- RAG poisoning : Làm nhiễm cơ sở tri thức truy xuất với nội dung độc hại
- Tấn công tinh chỉnh: Đầu độc tập dữ liệu tinh chỉnh đặc thù theo lĩnh vực
Trích Xuất / Đánh Cắp Mô Hình
Kẻ đối kháng sử dụng các truy vấn lặp đi lặp lại để trích xuất thông tin về ranh giới quyết định của mô hình, tái tạo dữ liệu huấn luyện hoặc sao chép khả năng của mô hình — một mối đe dọa tình báo cạnh tranh đối với các hệ thống AI độc quyền.
Suy Luận Thành Viên
Kẻ tấn công xác định liệu dữ liệu cụ thể có được sử dụng trong huấn luyện hay không, có khả năng phơi bày liệu thông tin cá nhân nhạy cảm có được bao gồm trong tập dữ liệu huấn luyện hay không.
Sẵn sàng phát triển doanh nghiệp của bạn?
Bắt đầu dùng thử miễn phí ngay hôm nay và xem kết quả trong vài ngày.
Tấn Công Đối Kháng Vào LLM: Một Lĩnh Vực Chuyên Biệt
Các mô hình ngôn ngữ lớn đối mặt với các cuộc tấn công đối kháng khác biệt so với các ví dụ đối kháng ML cổ điển:
Tấn công ngôn ngữ tự nhiên có thể đọc được bởi con người. Không giống như nhiễu loạn hình ảnh (thay đổi pixel không thể nhận biết được), các cuộc tấn công đối kháng LLM hiệu quả thường sử dụng ngôn ngữ tự nhiên mạch lạc — làm cho chúng khó phân biệt hơn nhiều so với các đầu vào hợp pháp.
Bề mặt tấn công là giao diện hướng dẫn. LLM được thiết kế để tuân theo hướng dẫn. Các cuộc tấn công đối kháng khai thác điều này bằng cách tạo ra các đầu vào trông giống như hướng dẫn hợp pháp đối với mô hình nhưng đạt được mục tiêu của kẻ tấn công.
Tấn công dựa trên gradient là khả thi. Đối với các mô hình mã nguồn mở hoặc truy cập white-box, kẻ tấn công có thể tính toán các hậu tố đối kháng bằng cách sử dụng gradient descent — cùng kỹ thuật được sử dụng để tìm nhiễu loạn hình ảnh đối kháng. Nghiên cứu đã chứng minh rằng các chuỗi được tính toán này chuyển giao một cách đáng ngạc nhiên tốt sang các mô hình độc quyền.
Tương tự kỹ thuật xã hội. Nhiều cuộc tấn công đối kháng LLM giống với kỹ thuật xã hội hơn là các cuộc tấn công ML cổ điển — khai thác xu hướng của mô hình hướng tới sự hữu ích, tính nhất quán và tuân thủ quyền lực.
Phòng Thủ và Biện Pháp Đối Phó
Huấn Luyện Đối Kháng
Bao gồm các ví dụ đối kháng trong huấn luyện cải thiện khả năng chống chịu. Huấn luyện căn chỉnh an toàn cho LLM kết hợp các ví dụ về prompt injection và các nỗ lực jailbreaking, dạy các mô hình chống lại chúng. Tuy nhiên, động lực cuộc chạy đua vũ trang này có nghĩa là các cuộc tấn công mới thường xuyên xuất hiện vượt qua huấn luyện hiện tại.
Độ Mạnh Mẽ Được Chứng Nhận
Các kỹ thuật xác minh chính thức cung cấp các đảm bảo toán học rằng một mô hình sẽ phân loại chính xác các đầu vào trong một giới hạn nhiễu loạn nhất định. Hiện tại giới hạn ở các mô hình nhỏ hơn và các miền đầu vào đơn giản hơn, nhưng là một lĩnh vực nghiên cứu tích cực.
Tiền Xử Lý và Xác Thực Đầu Vào
Làm sạch đầu vào để loại bỏ hoặc vô hiệu hóa các thành phần đối kháng tiềm năng trước khi chúng đến mô hình. Đối với LLM, điều này bao gồm phát hiện các mẫu injection và cấu trúc đầu vào bất thường.
Phương Pháp Tập Hợp
Sử dụng nhiều mô hình và yêu cầu sự đồng thuận làm giảm khả năng chuyển giao đối kháng. Một cuộc tấn công đánh lừa một mô hình ít có khả năng đánh lừa tất cả các mô hình trong một tập hợp.
Giám Sát và Phát Hiện Bất Thường
Phát hiện các đầu vào đối kháng tại thời gian chạy bằng cách xác định các bất thường thống kê hoặc các mẫu hành vi không nhất quán với việc sử dụng bình thường.
