Manipularea Ferestrei de Context

Fereastra de context este una dintre cele mai importante și mai puțin înțelese limite de securitate în implementările modelelor lingvistice mari. Aceasta definește ce informații poate accesa LLM-ul în timpul unui singur apel de inferență — și este o resursă finită pe care atacatorii o pot exploata în mod deliberat.

Ce Este Fereastra de Context?

Un model lingvistic mare procesează textul sub formă de token-uri (aproximativ 3/4 dintr-un cuvânt per token). Fereastra de context definește numărul maxim de token-uri pe care modelul le poate procesa deodată. Modelele moderne variază de la 4K la peste 1M de token-uri, dar toate au limite.

În cadrul ferestrei de context, LLM-ul procesează:

• Promptul de sistem: Instrucțiuni definite de dezvoltator care stabilesc rolul și constrângerile chatbot-ului
• Istoricul conversației: Schimburi anterioare din sesiunea curentă
• Conținut recuperat: Documente, rezultate din baze de date și rezultate ale instrumentelor returnate de RAG sau căutare
• Input-ul utilizatorului: Mesajul curent al utilizatorului

Toate acestea apar ca un flux unificat pentru model. Modelul nu are niciun mecanism inerent de a trata diferit instrucțiunile din surse diferite — și atenția sa asupra unor părți specifice ale contextului nu este uniformă.

Tehnici de Atac asupra Ferestrei de Context

Umplerea Contextului / Inundarea Contextului

Atacatorul trimite un input extrem de mare — adesea un document lung, bloc de cod sau descărcare de text — pentru a împinge conținutul anterior (în special promptul de sistem) mai departe de poziția curentă a modelului.

Cercetările demonstrează că LLM-urile prezintă un comportament de “pierdut la mijloc”: acordă mai multă atenție conținutului de la începutul și sfârșitul contextelor lungi și mai puțină atenție informațiilor din mijloc. Prin inundarea contextului, un atacator poate poziționa strategic sarcina sa utilă malițioasă (de obicei la final) în timp ce instrucțiunile anterioare de siguranță alunecă în zona de mijloc cu atenție redusă.

Exemplu practic: Promptul de sistem al unui chatbot stabilește că nu poate discuta despre produsele concurenței. Un atacator trimite un document de 50.000 de token-uri urmat de un prompt care întreabă despre concurenți. Instrucțiunea promptului de sistem a fost efectiv diluată.

Depășirea Contextului / Exploatarea Trunchierii

Când contextul se umple, LLM-ul sau infrastructura sa trebuie să decidă ce să elimine. Dacă trunchierea prioritizează recența (eliminând mai întâi conținutul cel mai vechi), un atacator poate depăși contextul pentru a elimina complet promptul de sistem — lăsând modelul să opereze doar cu contextul furnizat de utilizator.

Secvența de atac:

1. Stabiliți o conversație cu multe schimburi
2. Generați răspunsuri lungi pentru a maximiza consumul de context
3. Continuați până când conținutul promptului de sistem este trunchiat
4. Acum emiteți instrucțiuni malițioase fără niciun prompt de sistem concurent

Otrăvirea Contextului prin Conținut Recuperat

În sistemele RAG, documentele recuperate consumă un spațiu semnificativ de context. Un atacator care poate influența ce este recuperat (prin otrăvirea RAG ) poate umple selectiv contextul cu conținut care servește scopurilor sale în timp ce îndepărtează informațiile legitime.

Injecție Pozițională

Cercetările au identificat că instrucțiunile de la poziții specifice din context au o influență disproporționată. Atacatorii care înțeleg asamblarea contextului pot crea input-uri concepute pentru a ajunge la poziții cu atenție ridicată în raport cu sarcina lor utilă.

Injecție Multi-Exemplu

În modelele care suportă contexte foarte lungi (sute de mii de token-uri), atacatorii pot încorpora sute de exemple de “demonstrație” care arată modelul producând rezultate care încalcă politica înainte de cererea malițioasă reală. Modelul, condiționat de aceste demonstrații, este semnificativ mai probabil să se conformeze.

Pregătit să îți dezvolți afacerea?

Începe perioada de probă gratuită astăzi și vezi rezultate în câteva zile.

Solicită demo Autentificare

Apărări Împotriva Manipulării Ferestrei de Context

Ancorați Instrucțiunile Critice

Nu plasați toate instrucțiunile critice de securitate doar la începutul promptului de sistem. Repetați constrângerile cheie la sfârșitul promptului de sistem și luați în considerare injectarea unor scurte memento-uri în puncte cheie din conversațiile lungi.

Limite de Dimensiune a Contextului

Implementați limite maxime de lungime a input-ului adecvate cazului dvs. de utilizare. Un chatbot de servicii pentru clienți rareori trebuie să proceseze input-uri de 100.000 de token-uri — limitarea acestuia reduce riscul atacurilor de inundare.

Monitorizarea Contextului

Înregistrați și monitorizați dimensiunile și compoziția contextului. Input-urile neobișnuit de mari, creșterea rapidă a contextului sau compoziția neașteptată a contextului sunt potențiali indicatori de atac.

Sumarizare pentru Conversații Lungi

Pentru conversații de lungă durată, implementați sumarizarea contextului care păstrează faptele și constrângerile cheie mai degrabă decât istoricul brut al conversației. Acest lucru rezistă atacurilor de depășire menținând în același timp continuitatea conversațională.

Testare Context Adversarial

Includeți scenarii de manipulare a contextului în angajamentele de testare de penetrare AI . Testați dacă comportamentele de siguranță se mențin pe contexte lungi și dacă prompturile de sistem rămân eficiente după inundarea contextului.

Termeni Asociați

• Injecție Prompt — exploatarea vulnerabilităților de procesare a instrucțiunilor
• Injecție Prompt Indirectă — injecție prin conținut de mediu
• Contrabandă de Token-uri — ocolirea filtrelor bazată pe codificare
• Otrăvirea RAG — contaminarea bazei de cunoștințe
• Securitatea LLM — practici cuprinzătoare de securitate AI