Adversarial Machine Learning

Adversarial machine learning je studium útoků, které způsobují, že AI modely produkují nesprávné, nebezpečné nebo nezamýšlené výstupy záměrnou manipulací jejich vstupů. Zahrnuje jak útočné techniky, které využívají zranitelnosti modelů, tak obranné přístupy, které činí modely vůči nim robustnějšími.

Prostředí Adversarial Machine Learning

Adversarial ML vzniklo z výzkumu počítačového vidění na počátku roku 2010, kdy výzkumníci objevili, že přidání nepostřehnutelně malých perturbací k obrázkům může způsobit, že špičkové klasifikátory je chybně klasifikují s vysokou jistotou. Panda se stává gibonem; značka stop se stává značkou rychlostního omezení — se změnami pixelů neviditelnými pro lidské pozorovatele.

Tento objev odhalil, že neuronové sítě, navzdory jejich působivému výkonu, se učí statistické vzorce, které mohou být zneužity, spíše než robustní sémantické porozumění. Stejný základní princip — že modely mohou být systematicky oklamány pečlivě navrženými vstupy — platí napříč všemi AI modalitami, včetně jazykových modelů.

Adversariální útoky podle kategorie

Útoky vyhýbání (Evasion Attacks)

Model je napaden v době inference vstupy navrženými k vyvolání chybné klasifikace nebo neočekávaného chování. V počítačovém vidění jsou to adversariální obrázky. V NLP a LLM zahrnují útoky vyhýbání:

• Prompt injection : Vytvořený text, který přepisuje systémové instrukce
• Jailbreaking : Prompty, které obcházejí bezpečnostní zábrany
• Token smuggling : Manipulace s kódováním, které se vyhýbají obsahovým filtrům
• Adversariální přípony: Algoritmicky vypočítané řetězce, které spolehlivě způsobují škodlivé výstupy

Útoky otravou (Poisoning Attacks)

Model nebo jeho datové zdroje jsou napadeny během tréninku nebo získávání dat. Příklady zahrnují:

• Otrava trénovacích dat: Injektování škodlivých příkladů do trénovacích datasetů za účelem zavedení zadních vrátek nebo zkreslení
• RAG poisoning : Kontaminace znalostních databází pro získávání škodlivým obsahem
• Útoky doladěním: Otrava doménově specifických datasetů pro doladění

Extrakce / krádež modelu

Protivníci používají opakované dotazy k extrakci informací o rozhodovacích hranicích modelu, rekonstrukci trénovacích dat nebo replikaci schopností modelu — hrozba konkurenční inteligence pro proprietární AI systémy.

Inference členství (Membership Inference)

Útočníci určují, zda byla konkrétní data použita při tréninku, což potenciálně odhaluje, zda byly citlivé osobní informace zahrnuty do trénovacích datasetů.

Připraveni rozšířit své podnikání?

Začněte svou bezplatnou zkušební verzi ještě dnes a viďte výsledky během několika dní.

Požádat o demo Přihlásit se

Adversariální útoky na LLM: Specializovaná doména

Velké jazykové modely čelí adversariálním útokům, které se liší od klasických ML adversariálních příkladů:

Útoky v přirozeném jazyce jsou čitelné pro člověka. Na rozdíl od perturbací obrazu (nepostřehnutelné změny pixelů) používají efektivní adversariální útoky na LLM často koherentní přirozený jazyk — což je činí mnohem obtížnějšími k rozlišení od legitimních vstupů.

Útočná plocha je rozhraní instrukcí. LLM jsou navrženy k následování instrukcí. Adversariální útoky to využívají vytvářením vstupů, které vypadají pro model jako legitimní instrukce, ale dosahují cílů útočníka.

Útoky založené na gradientu jsou proveditelné. U open-source modelů nebo modelů s white-box přístupem mohou útočníci vypočítat adversariální přípony pomocí gradientního sestupu — stejné techniky používané k nalezení adversariálních perturbací obrazu. Výzkum prokázal, že tyto vypočítané řetězce se překvapivě dobře přenášejí na proprietární modely.

Analogie sociálního inženýrství. Mnoho adversariálních útoků na LLM se podobá spíše sociálnímu inženýrství než klasickým ML útokům — využívají sklony modelů k užitečnosti, konzistenci a dodržování autority.

Obrana a protiopatření

Adversariální trénink

Zahrnutí adversariálních příkladů do tréninku zlepšuje robustnost. Trénink bezpečnostního zarovnání pro LLM začleňuje příklady pokusů o prompt injection a jailbreaking, učí modely jim odolávat. Nicméně tato dynamika závodu ve zbrojení znamená, že se pravidelně objevují nové útoky, které obcházejí současný trénink.

Certifikovaná robustnost

Techniky formální verifikace poskytují matematické záruky, že model správně klasifikuje vstupy v rámci určité hranice perturbace. V současnosti omezeno na menší modely a jednodušší vstupní domény, ale aktivní oblast výzkumu.

Předběžné zpracování a validace vstupů

Sanitizace vstupů k odstranění nebo neutralizaci potenciálních adversariálních komponent před tím, než se dostanou k modelu. U LLM to zahrnuje detekci vzorců injekce a anomálních struktur vstupů.

Metody ansámblů

Použití více modelů a vyžadování shody snižuje přenositelnost adversariálních útoků. Útok, který oklame jeden model, má menší pravděpodobnost oklamat všechny modely v ansámblu.

Monitorování a detekce anomálií

Detekce adversariálních vstupů za běhu identifikací statistických anomálií nebo vzorců chování nekonzistentních s normálním použitím.

Přihlaste se k odběru newsletteru

Získejte nejnovější tipy, trendy a nabídky zdarma.

E-mailová adresa

Přihlásit se

Aplikace na bezpečnost AI chatbotů

Pro organizace nasazující AI chatboty informují principy adversarial ML:

• AI red teaming : Systematické adversariální zkoumání AI systémů
• Hodnocení robustnosti: Testování, zda bezpečnostní chování platí za adversariálních podmínek
• Design validace vstupů: Porozumění tomu, jaké třídy adversariálních vstupů existují, informuje, co validovat
• Hloubka obrany: Žádná jednotlivá obrana není robustní; vyžadují se vrstvené kontroly

Související pojmy

• Prompt Injection — adversariální útoky zaměřené na následování instrukcí LLM
• Jailbreaking AI — adversariální obcházení bezpečnostních zábran
• Token Smuggling — vyhýbání se filtrům založené na kódování
• AI Red Teaming — systematické adversariální bezpečnostní testování
• LLM Security — komplexní praktiky zabezpečení AI