Konteksti-ikkunan manipulointi viittaa hyökkäyksiin, jotka hyödyntävät suurten kielimallien rajallista konteksti-ikkunaa — mukaan lukien kontekstin täyttö, kontekstin ylivuoto ja strateginen myrkytys — suorituskyvyn heikentämiseksi, haitallisten hyötykuormien piilottamiseksi tai aiempien ohjeiden ohittamiseksi.
Konteksti-ikkuna on yksi tärkeimmistä ja vähiten ymmärretyistä turvallisuusrajoista suurten kielimallien käyttöönotoissa. Se määrittelee, mitä tietoa LLM voi käyttää yhden päättelykutsun aikana — ja se on rajallinen resurssi, jota hyökkääjät voivat tarkoituksellisesti hyödyntää.
Suuri kielimalli käsittelee tekstiä tokeneina (noin 3/4 sanaa per token). Konteksti-ikkuna määrittelee tokenien enimmäismäärän, jonka malli voi käsitellä kerralla. Nykyaikaiset mallit vaihtelevat 4 000:sta yli 1 miljoonaan tokeniin, mutta kaikilla on rajat.
Konteksti-ikkunassa LLM käsittelee:
Kaikki tämä näkyy mallille yhtenäisenä virtana. Mallilla ei ole luontaista mekanismia käsitellä eri lähteistä tulevia ohjeita eri tavalla — eikä sen huomio kontekstin tiettyihin osiin ole yhtenäinen.
Hyökkääjä lähettää erittäin suuren syötteen — usein pitkän asiakirjan, koodilohkon tai tekstivedoksen — työntääkseen aiemman sisällön (erityisesti järjestelmäkehotteen) kauemmaksi mallin nykyisestä sijainnista.
Tutkimus osoittaa, että LLM:illä on “kadonnut keskelle” -käyttäytyminen: ne kiinnittävät enemmän huomiota sisältöön pitkien kontekstien alussa ja lopussa, ja vähemmän huomiota keskellä olevaan tietoon. Tulvittamalla kontekstin hyökkääjä voi strategisesti sijoittaa haitallisen hyötykuormansa (tyypillisesti loppuun), kun taas aiemmat turvallisuusohjeet ajautuvat vähän huomiota saavalle keskialueelle.
Käytännön esimerkki: Chatbotin järjestelmäkehote määrittää, että se ei voi keskustella kilpailijatuotteista. Hyökkääjä lähettää 50 000 tokenin asiakirjan, jota seuraa kehote, joka kysyy kilpailijoista. Järjestelmäkehotteen ohje on tehokkaasti laimennettu.
Kun konteksti täyttyy, LLM:n tai sen infrastruktuurin on päätettävä, mitä pudotetaan. Jos katkaisu priorisoi tuoreutta (pudottaa vanhimman sisällön ensin), hyökkääjä voi ylivuottaa kontekstin poistaakseen järjestelmäkehotteen kokonaan — jättäen mallin toimimaan vain käyttäjän toimittamalla kontekstilla.
Hyökkäyssekvenssi:
RAG-järjestelmissä haetut asiakirjat kuluttavat merkittävän määrän kontekstitilaa. Hyökkääjä, joka voi vaikuttaa siihen, mitä haetaan (RAG-myrkytyksen kautta), voi valikoivasti täyttää kontekstin sisällöllä, joka palvelee heidän tavoitteitaan samalla kun syrjäyttää laillisen tiedon.
Tutkimus on tunnistanut, että tietyissä kontekstin kohdissa olevilla ohjeilla on suhteettoman suuri vaikutus. Hyökkääjät, jotka ymmärtävät kontekstin kokoamisen, voivat muokata syötteitä, jotka on suunniteltu laskeutumaan korkean huomion kohtiin suhteessa heidän hyötykuormaansa.
Malleissa, jotka tukevat erittäin pitkiä konteksteja (satoja tuhansia tokeneita), hyökkääjät voivat upottaa satoja “demonstraatio”-esimerkkejä, jotka näyttävät mallin tuottavan politiikkaa rikkovia tuloksia ennen varsinaista haitallista pyyntöä. Malli, joka on näiden demonstraatioiden ehdollistama, noudattaa huomattavasti todennäköisemmin.
Aloita ilmainen kokeilujakso tänään ja näe tulokset muutamassa päivässä.
Älä sijoita kaikkia turvallisuuskriittisiä ohjeita vain järjestelmäkehotteen alkuun. Toista keskeiset rajoitukset järjestelmäkehotteen lopussa ja harkitse lyhyiden muistutusten injektointia keskeisiin kohtiin pitkissä keskusteluissa.
Toteuta enimmäissyötteen pituusrajat, jotka sopivat käyttötapauksellesi. Asiakaspalvelun chatbot tarvitsee harvoin käsitellä 100 000 tokenin syötteitä — tämän rajoittaminen vähentää tulvahyökkäysriskiä.
Kirjaa ja seuraa kontekstien kokoja ja koostumusta. Epätavallisen suuret syötteet, nopea kontekstin kasvu tai odottamaton kontekstin koostumus ovat mahdollisia hyökkäysindikaattoreita.
Pitkäkestoisissa keskusteluissa toteuta kontekstin tiivistäminen, joka säilyttää keskeiset faktat ja rajoitukset raakaisen keskusteluhistorian sijaan. Tämä vastustaa ylivuotohyökkäyksiä säilyttäen samalla keskustelun jatkuvuuden.
Sisällytä kontekstin manipulointiskenaariot AI-tunkeutumistestaus -toimeksiantoihin. Testaa, säilyykö turvallisuuskäyttäytyminen pitkissä konteksteissa ja pysyvätkö järjestelmäkehotteet tehokkaina kontekstin tulvinnan jälkeen.
Konteksti-ikkunan manipulointi on aliarvioitu hyökkäyspinta. Tunkeutumistestaukseemme sisältyy kontekstin ylivuoto- ja strategisen myrkytyksen skenaariot.
Opi hallitsemaan kontekstia tekoälyagenteille: hallitse työkalujen palaute, optimoi tokenien käyttö sekä toteuta strategioita kuten ulkoistaminen, tiivistäminen...
Ikkunointi tekoälyssä tarkoittaa datan käsittelyä osissa eli “ikkunoissa” järjestyksellisen tiedon analysoimiseksi tehokkaasti. Tärkeä erityisesti NLP:ssä ja su...
Opi, kuinka kontekstisuunnittelu optimoi tekoälyagenttien suorituskykyä hallitsemalla tokenit strategisesti, vähentämällä kontekstin ylimäärää ja ottamalla käyt...
Evästeiden Suostumus
Käytämme evästeitä parantaaksemme selauskokemustasi ja analysoidaksemme liikennettämme. See our privacy policy.
