Adversariálne strojové učenie

Adversariálne strojové učenie je štúdium útokov, ktoré spôsobujú, že AI modely produkujú nesprávne, nebezpečné alebo nežiaduce výstupy zámernou manipuláciou ich vstupov. Zahŕňa techniky útokov, ktoré zneužívajú zraniteľnosti modelov, aj obranné prístupy, ktoré robia modely robustnejšími voči nim.

Krajina adversariálneho strojového učenia

Adversariálne ML vzniklo z výskumu počítačového videnia na začiatku roku 2010, keď výskumníci objavili, že pridanie nepostrehnuteľne malých perturbácií k obrázkom môže spôsobiť, že najmodernejšie klasifikátory ich nesprávne klasifikujú s vysokou istotou. Panda sa stane gibonom; značka stop sa stane značkou rýchlostného limitu — so zmenami pixelov neviditeľnými pre ľudských pozorovateľov.

Tento objav odhalil, že neurónové siete napriek ich pôsobivému výkonu sa učia štatistické vzory, ktoré môžu byť zneužité, namiesto robustného sémantického porozumenia. Ten istý základný princíp — že modely môžu byť systematicky oklamané starostlivo navrhnutými vstupmi — platí vo všetkých AI modalitách vrátane jazykových modelov.

Adversariálne útoky podľa kategórie

Útoky vyhýbania sa (Evasion Attacks)

Model je napadnutý v čase inferencie so vstupmi navrhnutými na spôsobenie nesprávnej klasifikácie alebo neočakávaného správania. V počítačovom videní sú to adversariálne obrázky. V NLP a LLM zahŕňajú útoky vyhýbania sa:

• Prompt injection : Vytvorený text, ktorý prepisuje systémové inštrukcie
• Jailbreaking : Výzvy, ktoré obchádzajú bezpečnostné zábrany
• Token smuggling : Kódovacie manipulácie, ktoré sa vyhýbajú obsahovým filtrom
• Adversariálne prípony: Algoritmicky vypočítané reťazce, ktoré spoľahlivo spôsobujú škodlivé výstupy

Útoky otravou (Poisoning Attacks)

Model alebo jeho zdroje dát sú napadnuté počas trénovania alebo získavania. Príklady zahŕňajú:

• Otrava tréningových dát: Vloženie škodlivých príkladov do tréningových datasetov s cieľom zaviesť zadné dvierka alebo zaujatosť
• RAG poisoning : Kontaminácia databáz znalostí pre získavanie škodlivým obsahom
• Útoky doladenia: Otrava doménovo špecifických datasetov pre doladenie

Extrakcia / krádež modelu

Protivníci používajú opakované dotazy na extrahovanie informácií o hraniciach rozhodovania modelu, rekonštrukciu tréningových dát alebo replikáciu schopností modelu — hrozba konkurenčnej inteligencie pre proprietárne AI systémy.

Inferencie členstva

Útočníci určujú, či boli konkrétne dáta použité pri trénovaní, čo môže odhaliť, či boli citlivé osobné informácie zahrnuté do tréningových datasetov.

Pripravení rozšíriť svoje podnikanie?

Začnite svoju 30-dňovú skúšobnú verziu ešte dnes a vidzte výsledky behom pár dní.

Požiadať o demo Prihlásiť sa

Adversariálne útoky na LLM: Špecializovaná doména

Veľké jazykové modely čelia adversariálnym útokom, ktoré sa líšia od klasických ML adversariálnych príkladov:

Útoky v prirodzenom jazyku sú čitateľné pre ľudí. Na rozdiel od perturbácií obrázkov (nepostrehnuteľné zmeny pixelov), efektívne LLM adversariálne útoky často používajú koherentný prirodzený jazyk — čo ich robí oveľa ťažšie odlíšiteľnými od legitímnych vstupov.

Útočná plocha je rozhranie inštrukcií. LLM sú navrhnuté na nasledovanie inštrukcií. Adversariálne útoky to zneužívajú vytvorením vstupov, ktoré vyzerajú ako legitímne inštrukcie pre model, ale dosahujú ciele útočníka.

Útoky založené na gradiente sú realizovateľné. Pre open-source alebo white-box prístupové modely môžu útočníci vypočítať adversariálne prípony pomocou gradientného zostupu — rovnakej techniky používanej na nájdenie adversariálnych perturbácií obrázkov. Výskum preukázal, že tieto vypočítané reťazce sa prekvapivo dobre prenášajú na proprietárne modely.

Analógia sociálneho inžinierstva. Mnoho LLM adversariálnych útokov pripomína skôr sociálne inžinierstvo než klasické ML útoky — zneužívajú tendencie modelu k užitočnosti, konzistencii a dodržiavaniu autority.

Obrany a protiopatrenia

Adversariálny tréning

Zahrnutie adversariálnych príkladov do trénovania zlepšuje robustnosť. Tréning bezpečnostného zarovnania pre LLM začleňuje príklady pokusov o prompt injection a jailbreaking, učí modely odolávať im. Avšak táto dynamika zbrojného pretekov znamená, že nové útoky pravidelne vznikajú a obchádzajú súčasný tréning.

Certifikovaná robustnosť

Techniky formálnej verifikácie poskytujú matematické záruky, že model bude správne klasifikovať vstupy v rámci určitej hranice perturbácie. Momentálne obmedzené na menšie modely a jednoduchšie vstupné domény, ale je to aktívna oblasť výskumu.

Predzpracovanie a validácia vstupov

Sanitizácia vstupov na odstránenie alebo neutralizáciu potenciálnych adversariálnych komponentov pred tým, ako sa dostanú k modelu. Pre LLM to zahŕňa detekciu vzorov injekcie a anomálnych vstupných štruktúr.

Metódy ansámblov

Použitie viacerých modelov a vyžadovanie zhody znižuje adversariálnu prenosnosť. Útok, ktorý oklame jeden model, má menšiu pravdepodobnosť oklamať všetky modely v ansámbli.

Monitorovanie a detekcia anomálií

Detekcia adversariálnych vstupov za behu identifikáciou štatistických anomálií alebo behaviorálnych vzorov nekonzistentných s normálnym používaním.

Prihláste sa na newsletter

Získajte najnovšie tipy, trendy a ponuky zadarmo.

Emailová adresa

Prihlásiť sa

Aplikácia na bezpečnosť AI chatbotov

Pre organizácie nasadzujúce AI chatboty informujú princípy adversariálneho ML:

• AI red teaming : Systematické adversariálne skúmanie AI systémov
• Hodnotenie robustnosti: Testovanie, či bezpečnostné správanie platí za adversariálnych podmienok
• Návrh validácie vstupov: Pochopenie toho, aké triedy adversariálnych vstupov existujú, informuje o tom, čo validovať
• Hĺbka obrany: Žiadna jednotlivá obrana nie je robustná; vyžadujú sa vrstvené kontroly

Súvisiace pojmy

• Prompt Injection — adversariálne útoky zamerané na nasledovanie inštrukcií LLM
• Jailbreaking AI — adversariálne obchádzanie bezpečnostných zábran
• Token Smuggling — vyhýbanie sa filtrom založené na kódovaní
• AI Red Teaming — systematické adversariálne bezpečnostné testovanie
• LLM Security — komplexné bezpečnostné praktiky AI