Adversarial Machine Learning

Adversarial machine learning to dziedzina badająca ataki, które powodują, że modele AI generują nieprawidłowe, niebezpieczne lub niezamierzone wyniki poprzez celową manipulację ich danymi wejściowymi. Obejmuje zarówno techniki ataku, które wykorzystują podatności modeli, jak i podejścia obronne, które czynią modele bardziej odpornymi na nie.

Krajobraz Adversarial Machine Learning

Adversarial ML wyłonił się z badań nad widzeniem komputerowym na początku lat 2010., gdy badacze odkryli, że dodanie niezauważalnie małych perturbacji do obrazów może spowodować, że najnowocześniejsze klasyfikatory błędnie je klasyfikują z wysoką pewnością. Panda staje się gibonem; znak stopu staje się znakiem ograniczenia prędkości — przy zmianach pikseli niewidocznych dla ludzkich obserwatorów.

To odkrycie ujawniło, że sieci neuronowe, pomimo ich imponujących osiągnięć, uczą się wzorców statystycznych, które można wykorzystać, zamiast solidnego zrozumienia semantycznego. Ta sama podstawowa zasada — że modele mogą być systematycznie oszukiwane przez starannie zaprojektowane dane wejściowe — ma zastosowanie do wszystkich modalności AI, w tym modeli językowych.

Ataki Adversarial według kategorii

Ataki Evasion

Model jest atakowany w czasie wnioskowania danymi wejściowymi zaprojektowanymi w celu spowodowania błędnej klasyfikacji lub nieoczekiwanego zachowania. W widzeniu komputerowym są to obrazy adversarial. W NLP i LLM ataki evasion obejmują:

• Prompt injection : Spreparowany tekst, który nadpisuje instrukcje systemowe
• Jailbreaking : Prompty, które omijają zabezpieczenia
• Token smuggling : Manipulacje kodowaniem, które unikają filtrów treści
• Sufiksy adversarial: Algorytmicznie obliczone ciągi znaków, które niezawodnie powodują szkodliwe wyniki

Ataki Poisoning

Model lub jego źródła danych są atakowane podczas treningu lub pobierania. Przykłady obejmują:

• Zatruwanie danych treningowych: Wstrzykiwanie złośliwych przykładów do zbiorów treningowych w celu wprowadzenia backdoorów lub błędów systematycznych
• RAG poisoning : Zanieczyszczanie baz wiedzy pobierania złośliwą treścią
• Ataki fine-tuning: Zatruwanie zbiorów danych do dostrajania specyficznego dla domeny

Ekstrakcja / Kradzież Modelu

Przeciwnicy używają powtarzających się zapytań do wydobycia informacji o granicach decyzyjnych modelu, rekonstrukcji danych treningowych lub replikacji możliwości modelu — zagrożenie dla wywiadu konkurencyjnego w przypadku zastrzeżonych systemów AI.

Wnioskowanie o Przynależności

Atakujący określają, czy określone dane zostały użyte w treningu, potencjalnie ujawniając, czy wrażliwe informacje osobiste zostały włączone do zbiorów treningowych.

Gotowy na rozwój swojej firmy?

Rozpocznij bezpłatny okres próbny już dziś i zobacz rezultaty w ciągu kilku dni.

Poproś o demo Zaloguj się

Ataki Adversarial na LLM: Wyspecjalizowana Domena

Duże modele językowe są narażone na ataki adversarial, które różnią się od klasycznych przykładów adversarial ML:

Ataki w języku naturalnym są czytelne dla człowieka. W przeciwieństwie do perturbacji obrazów (niezauważalne zmiany pikseli), skuteczne ataki adversarial LLM często używają spójnego języka naturalnego — co sprawia, że są znacznie trudniejsze do odróżnienia od legalnych danych wejściowych.

Powierzchnią ataku jest interfejs instrukcji. LLM są zaprojektowane do wykonywania instrukcji. Ataki adversarial wykorzystują to, tworząc dane wejściowe, które wyglądają jak legalne instrukcje dla modelu, ale osiągają cele atakującego.

Ataki oparte na gradiencie są wykonalne. W przypadku modeli open-source lub z dostępem white-box atakujący mogą obliczać sufiksy adversarial przy użyciu zejścia gradientowego — tej samej techniki używanej do znajdowania perturbacji obrazów adversarial. Badania wykazały, że te obliczone ciągi znaków przenoszą się zaskakująco dobrze na modele zastrzeżone.

Analogia do inżynierii społecznej. Wiele ataków adversarial LLM przypomina bardziej inżynierię społeczną niż klasyczne ataki ML — wykorzystując tendencje modelu do pomocności, spójności i zgodności z autorytetem.

Obrony i Środki Zaradcze

Trening Adversarial

Włączenie przykładów adversarial do treningu poprawia odporność. Trening wyrównania bezpieczeństwa dla LLM zawiera przykłady prób prompt injection i jailbreaking, ucząc modele, aby im się opierały. Jednak ta dynamika wyścigu zbrojeń oznacza, że regularnie pojawiają się nowe ataki, które omijają obecny trening.

Certyfikowana Odporność

Techniki formalnej weryfikacji zapewniają matematyczne gwarancje, że model będzie prawidłowo klasyfikował dane wejściowe w określonych granicach perturbacji. Obecnie ograniczone do mniejszych modeli i prostszych domen wejściowych, ale jest to aktywny obszar badań.

Przetwarzanie Wstępne i Walidacja Danych Wejściowych

Oczyszczanie danych wejściowych w celu usunięcia lub neutralizacji potencjalnych komponentów adversarial, zanim dotrą do modelu. W przypadku LLM obejmuje to wykrywanie wzorców injection i anomalnych struktur wejściowych.

Metody Ensemble

Użycie wielu modeli i wymaganie zgodności zmniejsza transferowalność adversarial. Atak, który oszukuje jeden model, jest mniej prawdopodobny, że oszuka wszystkie modele w ensemble.

Monitorowanie i Wykrywanie Anomalii

Wykrywanie danych wejściowych adversarial w czasie wykonywania poprzez identyfikację anomalii statystycznych lub wzorców zachowań niespójnych z normalnym użyciem.

Dołącz do naszego newslettera

Otrzymuj najnowsze wskazówki, trendy i oferty za darmo.

Adres e-mail

Zapisz się

Zastosowanie do Bezpieczeństwa Chatbotów AI

Dla organizacji wdrażających chatboty AI zasady adversarial ML informują o:

• AI red teaming : Systematyczne testowanie adversarial systemów AI
• Ocena odporności: Testowanie, czy zachowania bezpieczeństwa utrzymują się w warunkach adversarial
• Projektowanie walidacji danych wejściowych: Zrozumienie, jakie klasy danych wejściowych adversarial istnieją, informuje o tym, co należy walidować
• Głębokość obrony: Żadna pojedyncza obrona nie jest odporna; wymagane są wielowarstwowe kontrole

Powiązane Terminy

• Prompt Injection — ataki adversarial celujące w wykonywanie instrukcji przez LLM
• Jailbreaking AI — adversarial omijanie zabezpieczeń
• Token Smuggling — adversarial unikanie filtrów oparte na kodowaniu
• AI Red Teaming — systematyczne testowanie bezpieczeństwa adversarial
• LLM Security — kompleksowe praktyki bezpieczeństwa AI