Welke praktijken zijn verboden volgens de EU AI Act?

Social scoring en manipulerende AI

De EU AI Act benoemt specifieke kunstmatige intelligentie (AI)-praktijken die verboden zijn vanwege conflicten met Europese waarden, ethiek en fundamentele rechten. Daaronder vallen het gebruik van AI voor social scoring door overheden en manipulerende AI-systemen. Artikel 5 van de wet beschrijft deze verboden om te waarborgen dat AI op een verantwoorde en ethische manier wordt ontwikkeld, geïmplementeerd en gebruikt.

Social scoring door overheden

Social scoring houdt in dat individuen worden beoordeeld of gecategoriseerd op basis van hun sociaal gedrag, persoonlijke kenmerken of andere gegevens die in de loop der tijd zijn verzameld. De EU AI Act verbiedt dergelijke systemen specifiek wanneer ze worden gebruikt door overheidsinstanties. Dit verbod heeft betrekking op de risico’s die dergelijke praktijken opleveren voor fundamentele rechten, zoals privacy, gelijkheid en vrijheid van discriminatie.

Belangrijkste punten over het verbod op social scoring

• Ongegronde behandeling: De wet verbiedt AI-systemen die individuen of groepen op oneerlijke of schadelijke wijze behandelen in situaties die geen verband houden met het oorspronkelijke doel van de verzamelde gegevens. Bijvoorbeeld: het gebruik van werkgerelateerde data om iemands toegang tot huisvesting of onderwijs te beïnvloeden is niet toegestaan.
• Onevenredige gevolgen: Social scoring-systemen die straffen opleggen die buitenproportioneel zijn ten opzichte van het beoordeelde gedrag, zoals het ontzeggen van toegang tot publieke diensten, zijn ook verboden.

Ethische zorgen

Social scoring-systemen, zoals die in sommige niet-EU-landen worden toegepast, roepen zorgen op over massasurveillance, privacy-schendingen en toenemende sociale ongelijkheid. De EU verbiedt deze systemen om individuele rechten te beschermen en eerlijkheid in de samenleving te bevorderen.

Manipulerende AI-technieken

De EU AI Act verbiedt ook AI-systemen die het gedrag van mensen manipuleren zonder dat zij zich daarvan bewust zijn. Deze technieken maken misbruik van kwetsbaarheden zoals leeftijd, handicap of financiële situatie om beslissingen of handelingen op een schadelijke manier te beïnvloeden.

Subliminale manipulatie

AI-systemen die subliminale technieken gebruiken om individuen te beïnvloeden zonder hun bewuste besef, zijn verboden. Deze methoden werken door subtiele, niet-detecteerbare signalen in media of advertenties te verwerken om handelingen te beïnvloeden, zoals aankoopbeslissingen of stemgedrag. De EU-wet verbiedt deze systemen wanneer ze aanzienlijke schade veroorzaken aan individuen of groepen.

Uitbuiting van kwetsbaarheden

AI-technologieën die de kwetsbaarheden van bepaalde bevolkingsgroepen, zoals kinderen, ouderen of mensen met financiële problemen, uitbuiten zijn ook verboden. Bijvoorbeeld: advertenties die zich op kinderen richten met manipulerende inhoud voor ongezonde producten vallen hieronder.

Praktijkvoorbeelden

Manipulerende AI brengt zowel ethische als praktische zorgen met zich mee. Zo liet de zaak Cambridge Analytica zien hoe AI-gestuurde psychologische profilering werd ingezet om het stemgedrag te beïnvloeden. De EU AI Act verbiedt dergelijke praktijken om het vermogen van individuen om autonome beslissingen te nemen te beschermen.

De verboden op social scoring en manipulerende AI in de EU AI Act onderstrepen de focus van de EU op veilige, ethische en mensgerichte AI-systemen. Deze verboden zijn ingesteld om individuen te beschermen tegen schade, fundamentele rechten te waarborgen en misbruik van geavanceerde technologieën te voorkomen. Door deze kwesties aan te pakken, positioneert de EU zich als wereldleider in verantwoordelijke AI-regulering.

Realtime biometrische identificatie en subliminale AI

De EU AI Act stelt strikte beperkingen aan kunstmatige intelligentie-technologieën die fundamentele rechten kunnen schenden of ethische principes in gevaar kunnen brengen. Daartoe behoren regels over realtime biometrische identificatie op afstand en subliminale AI-methoden, omdat beide ernstige ethische, veiligheids- en privacyrisico’s met zich meebrengen.

Realtime biometrische identificatie

Realtime biometrische identificatiesystemen op afstand gebruiken unieke biometrische gegevens—zoals gezichtskenmerken, vingerafdrukken of irispatronen—om individuen te identificeren, vaak in openbare ruimtes. Deze technologieën zijn een belangrijk aandachtspunt van de EU AI Act vanwege de risico’s voor privacy, persoonlijke vrijheid en autonomie.

Algemeen verbod en uitzonderingen

• Primair verbod: De wet verbiedt in het algemeen het gebruik van realtime biometrische identificatie in openbaar toegankelijke ruimtes. Deze beperking is bedoeld om massasurveillance te voorkomen en te zorgen dat mensen niet zonder hun toestemming worden gemonitord of geïdentificeerd.
• Uitzonderingen voor wetshandhaving: In beperkte, strikt gereguleerde gevallen mogen opsporingsinstanties deze systemen gebruiken, maar alleen als het absoluut noodzakelijk is. Toegestane situaties zijn onder meer:
  • Het opsporen van slachtoffers van ontvoering, mensenhandel of seksuele uitbuiting.
  • Het voorkomen van directe bedreigingen voor leven of openbare veiligheid, zoals terroristische aanslagen.
  • Het identificeren van verdachten van zware misdrijven, mits het delict een gevangenisstraf van minimaal vier jaar kent in de betrokken lidstaat.
• Waarborgen: Zelfs in deze zeldzame gevallen moeten autoriteiten ervoor zorgen dat het systeem proportioneel en doelgericht wordt ingezet, uitsluitend gefocust op vooraf geïdentificeerde personen. De inzet moet ook voldoen aan de privacyregels van de Algemene Verordening Gegevensbescherming (AVG).

Ethische en juridische zorgen

Realtime biometrische technologieën brengen risico’s op massasurveillance, misbruik door autoriteiten en aantasting van privacy met zich mee. De beperkingen van de EU AI Act zijn bedoeld om een balans te vinden tussen openbare veiligheid en individuele rechten, zodat de technologie niet kan worden misbruikt voor onderdrukkende of discriminerende doeleinden.

Subliminale AI

Subliminale AI-systemen beïnvloeden de beslissingen of het gedrag van mensen zonder hun bewuste besef. Deze systemen werken door subtiele en niet-detecteerbare signalen in media of interacties te verwerken, waardoor beslissingen worden beïnvloed op manieren die mensen normaal niet zouden kiezen.

Expliciet verbod

• Manipulatieve technieken: Subliminale AI-methoden die de beslissingen of het gedrag van individuen op schadelijke wijze vervormen, zijn volledig verboden. Deze systemen omzeilen de cognitieve verdediging van mensen en ondermijnen hun autonomie en vermogen om geïnformeerde keuzes te maken.
• Voorbeelden van subliminale manipulatie: Dergelijke AI-technieken kunnen voorkomen in contexten zoals:
  • Het sturen van consumentengedrag via verborgen boodschappen in advertenties.
  • Het beïnvloeden van stemgedrag door bevooroordeelde signalen in politieke campagnes te verwerken.
  • Mensen onder druk zetten tot financiële keuzes onder het mom van gepersonaliseerde aanbevelingen.

Uitbuiting van kwetsbaarheden

De wet verbiedt ook AI-systemen die kwetsbaarheden met betrekking tot leeftijd, handicap of sociaal-economische status uitbuiten als ze schadelijke gedragsveranderingen veroorzaken. Bijvoorbeeld:

• Ongezonde producten rechtstreeks aan kinderen adverteren.
• Ouderen overtuigen om onnodige of schadelijke diensten af te nemen.

Ethische implicaties

Subliminale AI staat op gespannen voet met ethische principes van transparantie en autonomie. Het potentiële misbruik in politieke, commerciële en sociale settings onderstreept de noodzaak van strenge regulering. Het verbod op deze systemen in de EU AI Act weerspiegelt de inzet om individuen te beschermen tegen verborgen manipulatie en te waarborgen dat AI de menselijke waardigheid respecteert.

De beperkingen op realtime biometrische identificatie en subliminale AI tonen de focus van de EU op ethische en mensgerichte AI. Door deze risicovolle technologieën te reguleren, wil de EU AI Act fundamentele rechten beschermen, vertrouwen in AI opbouwen en een wereldwijde norm voor verantwoordelijke AI-ontwikkeling stellen. Deze regelgeving zorgt ervoor dat AI-systemen op een manier worden ingezet die in lijn is met maatschappelijke waarden en voorkomt schade of ongelijkheid.