Manipulering av Kontekstvindu

Kontekstvinduet er en av de viktigste og minst forståtte sikkerhetsgrensene i distribusjoner av store språkmodeller. Det definerer hvilken informasjon LLM-en kan få tilgang til under et enkelt inferenskall — og det er en begrenset ressurs som angripere bevisst kan utnytte.

Hva Er Kontekstvinduet?

En stor språkmodell behandler tekst som tokens (omtrent 3/4 av et ord per token). Kontekstvinduet definerer det maksimale antallet tokens modellen kan behandle samtidig. Moderne modeller varierer fra 4K til over 1M tokens, men alle har begrensninger.

Innenfor kontekstvinduet behandler LLM-en:

• Systemprompt: Utvikler-definerte instruksjoner som etablerer chatbotens rolle og begrensninger
• Samtalehistorikk: Tidligere turer i den nåværende økten
• Hentet innhold: Dokumenter, databaseresultater og verktøyutdata returnert av RAG eller søk
• Brukerinndata: Den nåværende brukermeldingen

Alt dette fremstår som en enhetlig strøm for modellen. Modellen har ingen iboende mekanisme for å behandle instruksjoner fra forskjellige kilder ulikt — og dens oppmerksomhet på spesifikke deler av konteksten er ikke ensartet.

Angrepsteknikker for Kontekstvindu

Context Stuffing / Context Flooding

Angriperen sender inn en ekstremt stor inndata — ofte et langvarig dokument, kodeblokk eller tekstdump — for å skyve tidligere innhold (spesielt systemprompt) lenger fra modellens nåværende posisjon.

Forskning viser at LLM-er viser “lost in the middle”-oppførsel: de gir mer oppmerksomhet til innhold i begynnelsen og slutten av lange kontekster, og mindre oppmerksomhet til informasjon i midten. Ved å oversvømme konteksten kan en angriper strategisk posisjonere sin ondsinnede payload (typisk på slutten) mens tidligere sikkerhetsinstruksjoner driver inn i lavoppmerksomhetssonen i midten.

Praktisk eksempel: En chatbots systemprompt etablerer at den ikke kan diskutere konkurrentprodukter. En angriper sender inn et 50 000-token dokument etterfulgt av en prompt som spør om konkurrenter. Systemprompt-instruksjonen har blitt effektivt utvannet.

Kontekstoverflyt / Utnyttelse av Trunkering

Når konteksten fylles opp, må LLM-en eller dens infrastruktur bestemme hva som skal droppes. Hvis trunkering prioriterer nyhet (dropper det eldste innholdet først), kan en angriper oversvømme konteksten for å eliminere systemprompt helt — og etterlate modellen som opererer kun med brukerstyrt kontekst.

Angrepssekvensen:

1. Etabler en samtale med mange turer
2. Generer lange svar for å maksimere kontekstforbruk
3. Fortsett til systemprompt-innhold er trunkert
4. Gi nå ondsinnede instruksjoner uten konkurrerende systemprompt

Kontekstforgiftning via Hentet Innhold

I RAG-systemer bruker hentede dokumenter betydelig kontekstplass. En angriper som kan påvirke hva som blir hentet (gjennom RAG-forgiftning ) kan selektivt fylle konteksten med innhold som tjener deres mål mens de fortrenger legitim informasjon.

Posisjonsinjeksjon

Forskning har identifisert at instruksjoner på spesifikke posisjoner i konteksten har uforholdsmessig innflytelse. Angripere som forstår kontekstsammensetning kan lage inndata designet for å lande på høyoppmerksomhetsposisjoner i forhold til deres payload.

Many-Shot Injection

I modeller som støtter svært lange kontekster (hundretusenvis av tokens), kan angripere innebygde hundrevis av “demonstrasjons”-eksempler som viser at modellen produserer policybrytende utdata før den faktiske ondsinnede forespørselen. Modellen, betinget av disse demonstrasjonene, er betydelig mer sannsynlig å følge med.

Klar til å vokse bedriften din?

Start din gratis prøveperiode i dag og se resultater i løpet av få dager.

Be om demo Logg inn

Forsvar Mot Manipulering av Kontekstvindu

Forankre Kritiske Instruksjoner

Ikke plasser alle sikkerhetskritiske instruksjoner bare i begynnelsen av systemprompt. Gjenta nøkkelbegrensninger på slutten av systemprompt og vurder å injisere korte påminnelser på viktige punkter i lange samtaler.

Begrensninger på Kontekststørrelse

Implementer maksimale inndata-lengdebegrensninger som er passende for ditt brukstilfelle. En kundeservice-chatbot trenger sjelden å behandle 100 000-token inndata — å begrense dette reduserer risikoen for flooding-angrep.

Kontekstovervåking

Logg og overvåk kontekststørrelser og sammensetning. Uvanlig store inndata, rask kontekstvekst eller uventet kontekstsammensetning er potensielle angrepsindikatorer.

Oppsummering for Lange Samtaler

For langvarige samtaler, implementer kontekstoppsummering som beholder nøkkelfakta og begrensninger heller enn rå samtalehistorikk. Dette motstår overflyt-angrep samtidig som det opprettholder samtalekontinuitet.

Adversarial Context Testing

Inkluder kontekstmanipuleringsscenarier i engasjementer for AI-penetrasjonstesting . Test om sikkerhetsoppførsel holder seg over lange kontekster og om systemprompts forblir effektive etter kontekstflooding.

Relaterte Termer

• Prompt Injection — utnyttelse av sårbarheter i instruksjonsbehandling
• Indirect Prompt Injection — injeksjon via miljøinnhold
• Token Smuggling — kodingsbasert filteromgåelse
• RAG Poisoning — kontaminering av kunnskapsbasen
• LLM Security — omfattende AI-sikkerhetspraksis