Social poängsättning och manipulativ AI

EU:s AI-förordning identifierar särskilda metoder för artificiell intelligens (AI) som förbjuds på grund av konflikt med europeiska värderingar, etik och grundläggande rättigheter. Bland dessa finns användning av AI för social poängsättning av myndigheter och manipulativa AI-system. Artikel 5 i förordningen beskriver dessa förbud för att säkerställa att AI utvecklas, implementeras och används på ett ansvarsfullt och etiskt sätt.

Social poängsättning av myndigheter

Social poängsättning innebär att man bedömer eller kategoriserar individer baserat på deras sociala beteende, personliga egenskaper eller annan data som samlats in över tid. EU:s AI-förordning förbjuder uttryckligen sådana system när de används av offentliga myndigheter eller staten. Detta förbud adresserar de risker sådana metoder innebär för grundläggande rättigheter, inklusive integritet, jämlikhet och frihet från diskriminering.

Viktiga punkter om förbudet mot social poängsättning

• Orättfärdig behandling: Förordningen förbjuder AI-system som behandlar individer eller grupper på ett orättvist eller skadligt sätt i situationer som inte är relaterade till det ursprungliga syftet med insamlad data. Exempelvis är det inte tillåtet att använda data från en arbetsplats för att påverka någons tillgång till bostad eller utbildning.
• Oproportionerliga konsekvenser: Sociala poängsättningssystem som ger påföljder som är överdrivna i förhållande till det beteende som utvärderas, såsom att neka tillgång till offentliga tjänster, är också förbjudna.

Etiska farhågor

Sociala poängsättningssystem, liknande de som införts i vissa länder utanför EU, väcker oro kring massövervakning, intrång i privatlivet och ökad social ojämlikhet. EU förbjuder dessa system för att skydda individens rättigheter och främja rättvisa i samhället.

Manipulativa AI-tekniker

EU:s AI-förordning förbjuder även AI-system som manipulerar människors beteende utan deras vetskap. Dessa tekniker utnyttjar sårbarheter som ålder, funktionsnedsättning eller ekonomisk situation för att påverka beslut eller handlingar på ett skadligt sätt.

Subliminal manipulation

AI-system som använder subliminala tekniker för att påverka individer utan deras medvetna vetskap är förbjudna. Dessa metoder fungerar genom att lägga in subtila, omärkliga signaler i media eller reklam för att påverka handlingar, såsom köpbeslut eller röstning. Förordningen förbjuder dessa system när de leder till betydande skada för individer eller grupper.

Utnyttjande av sårbarheter

AI-teknik som utnyttjar sårbarheter hos vissa grupper, såsom barn, äldre eller personer med ekonomiska utmaningar, är också förbjuden. Exempelvis omfattas reklam riktad mot barn med manipulativt innehåll som marknadsför ohälsosamma produkter.

Exempel från verkligheten

Manipulativ AI väcker både etiska och praktiska farhågor. Till exempel visade Cambridge Analytica-fallet hur AI-drivna psykologiska profiler användes för att påverka väljarnas beteende. EU:s AI-förordning förbjuder sådana metoder för att skydda individers förmåga att fatta självständiga beslut.

Förbuden mot social poängsättning och manipulativ AI i EU:s AI-förordning understryker EU:s fokus på att skapa säkra, etiska och människocentrerade AI-system. Dessa förbud finns för att skydda individer mot skada, upprätthålla grundläggande rättigheter och förebygga missbruk av avancerad teknik. Genom att ta itu med dessa frågor etablerar sig EU som en global ledare inom ansvarsfull AI-reglering.

Realtids biometrisk identifiering och subliminal AI

EU:s AI-förordning ställer upp strikta begränsningar för AI-teknologier som kan kränka grundläggande rättigheter eller äventyra etiska principer. Bland dessa regler finns bestämmelser om realtids fjärrbiometrisk identifiering och subliminala AI-metoder, eftersom båda innebär allvarliga risker för etik, säkerhet och integritet.

Realtids biometrisk identifiering

Realtids fjärrbiometriska identifieringssystem använder unik biometrisk data – som ansiktsdrag, fingeravtryck eller iris – för att identifiera individer, ofta på offentliga platser. Dessa teknologier är ett viktigt fokusområde i EU:s AI-förordning på grund av de risker de innebär för integritet, personlig frihet och självbestämmande.

Generellt förbud och undantag

• Huvudregel – förbud: Förordningen förbjuder generellt användningen av realtids biometrisk identifiering på allmänt tillgängliga platser. Denna begränsning är avsedd att förhindra massövervakning och att människor identifieras eller övervakas utan samtycke.
• Undantag för brottsbekämpning: Begränsade undantag gäller under strikta villkor, där brottsbekämpande myndigheter får använda dessa system endast när det är absolut nödvändigt. Tillåtna situationer inkluderar:
  • Hitta offer för kidnappning, människohandel eller sexuell exploatering.
  • Förhindra omedelbara hot mot liv eller allmän säkerhet, som vid terrorattacker.
  • Identifiera misstänkta för grova brott, förutsatt att brottet har ett straffvärde om minst fyra års fängelse i den aktuella medlemsstaten.
• Skyddsåtgärder: Även i dessa sällsynta fall måste myndigheter säkerställa att systemet används proportionerligt och riktat, med fokus endast på specifika, i förväg identifierade individer. Användningen måste också följa dataskyddsreglerna i dataskyddsförordningen (GDPR).

Etiska och juridiska farhågor

Realtids biometriska teknologier innebär risker för massövervakning, maktmissbruk och urholkad integritet. EU:s AI-förordnings begränsningar syftar till att balansera allmän säkerhet med individens rättigheter och säkerställa att tekniken inte kan användas för förtryckande eller diskriminerande syften.

Subliminal AI

Subliminala AI-system påverkar människors beslut eller beteende utan deras medvetna vetskap. Dessa system fungerar genom att införa subtila och omärkliga signaler i media eller interaktioner, vilket kan leda till att människor fattar beslut de annars inte skulle ha gjort.

Utryckligt förbud

• Manipulativa tekniker: Subliminala AI-metoder som förvränger individers beslut eller beteende på ett skadligt sätt är helt förbjudna. Dessa system kringgår människors kognitiva försvar och undergräver deras autonomi och förmåga att fatta informerade beslut.
• Exempel på subliminal manipulation: Sådana AI-tekniker kan förekomma i sammanhang som:
  • Styra konsumentbeteenden med dolda budskap i reklam.
  • Påverka väljare genom att gömma vinklade signaler i politiska kampanjer.
  • Pressa individer till finansiella beslut under förevändning av personliga rekommendationer.

Utnyttjande av sårbarheter

Förordningen förbjuder även AI-system som exploaterar sårbarheter kopplade till ålder, funktionsnedsättning eller socioekonomisk status om de leder till skadliga beteendeförändringar. Exempelvis:

• Reklam för ohälsosamma produkter riktad direkt till barn.
• Att övertyga äldre att köpa onödiga eller skadliga tjänster.

Etiska implikationer

Subliminal AI står i strid med etiska principer om transparens och autonomi. Dess potentiella missbruk i politiska, kommersiella och sociala sammanhang understryker behovet av stark reglering. EU:s AI-förordnings förbud mot dessa system visar ett åtagande att skydda individer mot dolda manipulationer och säkerställa att AI respekterar människans värdighet.

Begränsningarna för realtids biometrisk identifiering och subliminal AI belyser EU:s fokus på etisk och människocentrerad AI. Genom att reglera dessa högriskteknologier syftar EU:s AI-förordning till att skydda grundläggande rättigheter, bygga förtroende för AI och sätta en global standard för ansvarsfull AI-utveckling. Dessa regler säkerställer att AI-system används i linje med samhälleliga värderingar och förhindrar skada eller ojämlikhet.