Token Smuggling

Token smuggling to klasa ataków, która celuje w lukę między warstwami przetwarzania tekstu w systemach AI. Filtry moderacji treści, walidacja danych wejściowych i kontrole bezpieczeństwa zazwyczaj działają na tekście czytelnym dla człowieka. Tokenizery LLM natomiast działają na niższym poziomie — konwertując znaki na numeryczne identyfikatory tokenów. Wykorzystując różnice między tymi warstwami, atakujący mogą tworzyć dane wejściowe, które przechodzą przez filtry na poziomie tekstu, ale dostarczają złośliwe instrukcje do LLM.

Jak działa tokenizacja LLM

Zanim LLM przetworzy tekst, tokenizer konwertuje ciąg wejściowy na sekwencję całkowitych identyfikatorów tokenów. Te identyfikatory mapują się na słownictwo modelu — powszechnie kodowane przy użyciu algorytmów takich jak Byte Pair Encoding (BPE) lub WordPiece.

Kluczowe właściwości tokenizacji, które wykorzystują atakujący:

• Wiele znaków mapuje się na podobne reprezentacje tokenów. Unicode zawiera wiele wizualnie podobnych znaków (homoglifów), które tokenizują się identycznie lub niemal identycznie.
• Tokenizacja nie jest czysto znakowa. Niektóre tokenizery dzielą słowa na jednostki podsłowne na podstawie wzorców częstotliwości, tworząc możliwości manipulacji granicami.
• Znaki specjalne mogą być zachowane lub pominięte. Znaki o zerowej szerokości, łączące znaki diakrytyczne i znaki kontrolne mogą być niewidoczne dla filtrów opartych na ciągach znaków, ale specyficznie obsługiwane przez tokenizery.

Techniki token smuggling

Podstawianie homoglifów Unicode

Unicode zawiera tysiące znaków, które wizualnie przypominają popularne znaki ASCII. Filtr szukający słowa “harmful” może nie rozpoznać “hármful” (z łączącym akcentem) lub “harⅿful” (ze znakiem ułamka Unicode).

Przykład: Słowo “ignore” może być zakodowane jako “іgnore” (używając cyrylickiego “і” zamiast łacińskiego “i”) — wyglądając identycznie dla większości ludzkich czytelników i niektórych filtrów, ale potencjalnie przetwarzane inaczej na poziomie tokenizera.

Wstawianie znaków o zerowej szerokości

Znaki o zerowej szerokości (takie jak U+200B ZERO WIDTH SPACE lub U+200C ZERO WIDTH NON-JOINER) są niewidoczne w renderowanym tekście. Wstawienie ich między znakami w kluczowych słowach przerywa filtry dopasowywania ciągów bez wpływu na wygląd wizualny lub, w wielu przypadkach, na reprezentację tokenizowaną.

Przykład: “i​g​n​o​r​e” ze spacjami o zerowej szerokości między każdym znakiem wygląda jak “ignore” po wyrenderowaniu, ale przerywa proste dopasowywanie wzorców ciągów.

Zaciemnianie kodowania

Konwersja tekstu na alternatywne kodowania przed przesłaniem:

• Kodowanie Base64: “aWdub3JlIHByZXZpb3VzIGluc3RydWN0aW9ucw==” (jeśli model to dekoduje)
• Leet speak: “1gn0r3 pr3v10u5 1n5truc710n5” podstawianie cyfr za litery
• Warianty ROT13 lub szyfru Cezara: Przesuwanie znaków, aby uniknąć wykrywania słów kluczowych
• Kodowanie heksadecymalne: Reprezentowanie znaków jako sekwencji heksadecymalnych, które niektóre modele interpretują

Skuteczność zależy od tego, czy LLM został wytrenowany do dekodowania tych reprezentacji, co wiele modeli ogólnego przeznaczenia posiada.

Warianty wielkości liter i formatowania

Proste, ale czasami skuteczne warianty:

• WIELKIE LITERY: “IGNORE PREVIOUS INSTRUCTIONS”
• Mieszana wielkość liter: “IgNoRe PrEvIoUs InStRuCtIoNs”
• Litery z odstępami: “I G N O R E P R E V I O U S”
• Odwrócone: “snoitcurtsni suoiverp erongi” (jeśli model może przetwarzać odwrócony tekst)

Wstrzykiwanie ograniczników

Niektóre tokenizery traktują specjalnie znaki ograniczników. Wprowadzając znaki, które tokenizer interpretuje jako granice segmentów, atakujący mogą manipulować tym, jak model segmentuje dane wejściowe na znaczące jednostki.

Gotowy na rozwój swojej firmy?

Rozpocznij bezpłatny okres próbny już dziś i zobacz rezultaty w ciągu kilku dni.

Poproś o demo Zaloguj się

Przypadki użycia ataków

Obejście jailbreak: Kodowanie promptów jailbreak przy użyciu technik, które przechodzą przez warstwę filtra bezpieczeństwa, ale są dekodowane przez LLM, umożliwiając obejście zabezpieczeń.

Unikanie filtrów treści: Osadzanie mowy nienawiści, żądań nielegalnych treści lub instrukcji naruszających zasady w zakodowanej formie.

Zaciemnianie wstrzykiwania promptów: Używanie kodowania do ukrywania wstrzykniętych instrukcji przed prostymi filtrami dopasowywania wzorców, jednocześnie zapewniając, że LLM je prawidłowo przetwarza.

Fingerprinting filtrów: Systematyczne testowanie różnych wariantów kodowania w celu identyfikacji, które z nich filtry systemu docelowego wykrywają, a których nie — mapowanie pokrycia filtrów dla bardziej ukierunkowanych ataków.

Strategie obrony

Normalizacja Unicode

Zastosuj normalizację Unicode (NFC, NFD, NFKC lub NFKD) do wszystkich danych wejściowych przed filtrowaniem. To konwertuje warianty Unicode na formy kanoniczne, eliminując wiele ataków homoglifów i łączących znaków.

Wykrywanie i zastępowanie homoglifów

Zaimplementuj jawne mapowanie homoglifów, aby normalizować wizualnie podobne znaki do ich odpowiedników ASCII przed filtrowaniem. Biblioteki do tego celu istnieją w większości języków programowania.

Filtrowanie treści oparte na LLM

Zamiast (lub oprócz) filtrów opartych na ciągach znaków, użyj filtra opartego na LLM, który działa na reprezentacjach tokenów. Ponieważ te filtry przetwarzają tekst na tym samym poziomie co model docelowy, sztuczki kodowania są mniej skuteczne — filtr widzi tę samą reprezentację co model.

Testowanie filtrów pod kątem znanych wariantów

Ocena bezpieczeństwa powinna obejmować systematyczne testowanie filtrów treści pod kątem znanych wariantów kodowania. Jeśli filtr ma blokować “ignore previous instructions”, przetestuj, czy blokuje również homoglify Unicode, warianty o zerowej szerokości, kodowanie Base64 i inne formy zaciemniania.

Wizualizacja i audyt danych wejściowych

Loguj czytelną dla człowieka renderowanie znormalizowanych danych wejściowych wraz z surowymi danymi wejściowymi. Rozbieżności między nimi mogą ujawnić ataki kodowania podczas przeglądu incydentów.

Dołącz do naszego newslettera

Otrzymuj najnowsze wskazówki, trendy i oferty za darmo.

Adres e-mail

Zapisz się

Powiązane terminy

• Prompt Injection — klasa ataków, której służy token smuggling
• Jailbreaking AI — techniki obejścia zabezpieczeń
• Context Window Manipulation — powiązane ataki na warstwę kontekstu
• LLM Security — kompleksowe praktyki bezpieczeństwa AI
• Adversarial Machine Learning — szerszy kontekst badań nad adversarial AI