Discrimination

La discrimination en IA fait référence au traitement injuste ou inégal d’individus ou de groupes en fonction de caractéristiques protégées telles que la race, le genre, l’âge ou le handicap. Cette discrimination résulte souvent de biais intégrés dans les systèmes d’IA, qui peuvent se manifester lors des étapes de collecte de données, de développement des algorithmes ou de déploiement. La discrimination peut avoir des impacts significatifs sur l’égalité sociale et économique, entraînant des conséquences négatives pour les communautés marginalisées ou mal desservies. À mesure que les systèmes d’IA s’intègrent dans les processus décisionnels, le potentiel de discrimination augmente, nécessitant une vigilance accrue et des mesures proactives pour atténuer ces effets.

Comprendre les racines de la discrimination en IA

L’intelligence artificielle (IA) et les systèmes d’apprentissage automatique reposent fortement sur les données pour prendre des décisions. Si les données utilisées pour entraîner ces systèmes sont biaisées ou non représentatives, cela peut conduire à un biais algorithmique, qui peut se traduire par des pratiques discriminatoires. Par exemple, si un système de reconnaissance faciale est principalement entraîné sur des images de personnes blanches, il risque d’être moins performant pour reconnaître les visages de personnes racisées.

Les origines de la discrimination en IA peuvent être attribuées à plusieurs facteurs :

• Biais dans les données : Les systèmes d’IA apprennent à partir des données sur lesquelles ils sont formés. Si ces données comportent des biais, l’IA reflétera forcément ces biais dans ses résultats. Par exemple, des données d’entraînement biaisées peuvent orienter les systèmes d’IA à favoriser certains groupes au détriment d’autres.
• Conception des algorithmes : Les algorithmes eux-mêmes peuvent être conçus d’une manière qui accorde involontairement la priorité à certaines variables, conduisant à des résultats biaisés. Cela peut se produire lorsque les développeurs intègrent inconsciemment leurs propres biais dans le système.
• Biais sociétaux : Les systèmes d’IA peuvent refléter les biais existants dans la société, reproduisant les problèmes systémiques présents dans les données qu’ils utilisent. Cela inclut les biais liés à la race, au genre et au statut socio-économique.

Concepts clés

• Biais algorithmique : Erreurs ou préjugés dans les systèmes d’IA qui conduisent à des résultats injustes pour certains groupes. Le biais algorithmique peut provenir de données d’entraînement biaisées, d’une conception d’algorithme défaillante, ou des deux. Lorsque les systèmes d’IA prennent des décisions basées sur des schémas biaisés, ils peuvent perpétuer et même amplifier les inégalités sociétales.
• Données d’entraînement : L’ensemble de données utilisé pour enseigner aux systèmes d’IA. Si ces données sont biaisées, l’IA risque d’apprendre et de perpétuer ces biais. Veiller à disposer de données d’entraînement diversifiées et équilibrées est essentiel pour développer des systèmes d’IA équitables.
• Pratiques discriminatoires : Pratiques conduisant à un traitement injuste d’individus fondé sur des caractéristiques protégées par le biais de systèmes d’IA. Ces pratiques discriminatoires peuvent survenir dans divers domaines, comme le recrutement, la justice pénale ou la santé, où les systèmes d’IA sont déployés.

Exemples de discrimination en IA

1. Reconnaissance faciale : Ces systèmes se sont révélés moins précis pour identifier les personnes issues de minorités ethniques en raison de données d’entraînement déséquilibrées. Cela a entraîné des taux plus élevés de mauvaise identification pour les personnes racisées, soulevant des inquiétudes sur la vie privée et les violations des droits civiques.
2. Algorithmes de santé : Un exemple notable est celui d’un algorithme utilisé dans des hôpitaux américains, qui a priorisé les patients blancs par rapport aux patients noirs à cause de données biaisées liées aux coûts de santé. Cela résultait de l’utilisation par l’algorithme des dépenses historiques de santé comme indicateur des besoins médicaux, désavantageant involontairement les patients noirs ayant historiquement moins accès aux soins.
3. Algorithmes de recrutement : Un système d’IA utilisé par Amazon s’est révélé biaisé à l’encontre des femmes car il avait été entraîné sur des CV majoritairement soumis par des hommes. Ce biais a amené l’algorithme à privilégier les candidats masculins, perpétuant ainsi les inégalités de genre dans le recrutement technologique.

Cas d’usage et implications

Les systèmes d’IA sont de plus en plus utilisés dans divers secteurs, dont le recrutement, la santé, la justice pénale et la finance. Chacun de ces domaines présente un potentiel de discrimination :

• Recrutement : Les systèmes de recrutement assistés par l’IA peuvent involontairement renforcer les biais présents dans les données historiques d’embauche, entraînant des pratiques discriminatoires. Ces biais peuvent provenir de données déséquilibrées surreprésentant certains groupes démographiques, causant l’exclusion involontaire de candidats qualifiés en fonction du genre, de la race ou d’autres caractéristiques.
• Justice pénale : Les outils algorithmiques d’évaluation des risques peuvent perpétuer les biais raciaux présents dans les données criminelles, conduisant à un traitement inéquitable des groupes minoritaires. Ces outils influencent les décisions concernant la libération sous caution, la condamnation et la libération conditionnelle, et des algorithmes biaisés peuvent aggraver des injustices systémiques.
• Services financiers : Les algorithmes de scoring de crédit peuvent discriminer certains groupes démographiques en raison de données d’entrée biaisées, affectant l’obtention de prêts. Ces biais peuvent découler de données historiques reflétant des pratiques de prêt discriminatoires, perpétuant ainsi l’inégalité économique.

Atténuer la discrimination en IA

Pour lutter contre la discrimination en IA, plusieurs stratégies peuvent être mises en place :

• Tests de biais : Mettre en œuvre des tests réguliers des systèmes d’IA pour identifier et atténuer les biais avant leur déploiement. Cela implique d’évaluer les résultats du système pour détecter des impacts disparates selon les groupes démographiques et d’ajuster les algorithmes en conséquence.
• Collecte de données inclusive : Veiller à ce que les jeux de données d’entraînement soient représentatifs de l’ensemble de la population, y compris des communautés marginalisées. Des données diversifiées contribuent à construire des systèmes d’IA plus équitables et représentatifs de la diversité sociétale.
• Transparence algorithmique : Rendre les systèmes d’IA plus transparents pour permettre aux parties prenantes de comprendre et de corriger les biais potentiels. La transparence passe par une documentation claire sur la conception des algorithmes, les données utilisées et les processus décisionnels mis en œuvre.
• Gouvernance éthique : Mettre en place une supervision interne et externe pour garantir que les systèmes d’IA respectent des normes éthiques et ne perpétuent pas la discrimination. Cela inclut la mise en œuvre de politiques promouvant l’équité, la responsabilité et l’inclusivité dans le développement et le déploiement de l’IA.

Considérations juridiques et éthiques

La discrimination en IA pose des enjeux à la fois éthiques et juridiques. Diverses lois, comme l’Equality Act au Royaume-Uni, interdisent la discrimination fondée sur des caractéristiques protégées. Le respect de ces lois est essentiel pour les organisations qui déploient des systèmes d’IA. Les cadres juridiques fournissent des lignes directrices pour garantir que les technologies d’IA respectent les droits humains et ne contribuent pas à l’inégalité. Les considérations éthiques impliquent d’évaluer les impacts sociétaux plus larges de l’IA et de s’assurer que les technologies sont utilisées de manière responsable et juste.

Discrimination en IA : articles scientifiques

La discrimination en IA désigne le traitement injuste ou inégal d’individus par des systèmes d’IA en fonction de certaines caractéristiques. À mesure que les technologies d’IA influencent de plus en plus la prise de décision dans divers secteurs, la lutte contre les biais et la discrimination est devenue essentielle. Voici quelques articles scientifiques qui explorent ce sujet :

1. Bias and Discrimination in AI: a cross-disciplinary perspective
   Auteurs : Xavier Ferrer, Tom van Nuenen, Jose M. Such, Mark Coté, Natalia Criado
   Cet article met en avant l’inquiétude croissante concernant les biais dans les systèmes d’IA, qui conduisent souvent à la discrimination. Les auteurs passent en revue la littérature depuis des perspectives techniques, juridiques, sociales et éthiques pour comprendre la relation entre biais et discrimination en IA. Ils soulignent la nécessité de collaborations interdisciplinaires pour traiter efficacement ces enjeux. Lire la suite
2. “Weak AI” is Likely to Never Become “Strong AI”, So What is its Greatest Value for us?
   Auteur : Bin Liu
   Bien que cet article ne soit pas directement axé sur la discrimination, il aborde les controverses entourant l’IA, y compris ses limites et ses impacts sociétaux. Il différencie l’« IA faible » de l’« IA forte » (intelligence artificielle générale) et explore la valeur potentielle de l’« IA faible ». Comprendre ces paradigmes peut éclairer la manière dont les biais peuvent être perpétués par différents systèmes d’IA. Lire la suite
3. Putting AI Ethics into Practice: The Hourglass Model of Organizational AI Governance
   Auteurs : Matti Mäntymäki, Matti Minkkinen, Teemu Birkstedt, Mika Viljanen
   Cet article présente un cadre de gouvernance de l’IA appelé le modèle du sablier, qui vise à traduire les principes éthiques de l’IA en pratique. Il aborde les risques tels que les biais et la discrimination en proposant des exigences de gouvernance à plusieurs niveaux : environnemental, organisationnel et au niveau des systèmes d’IA. Le cadre est conçu pour s’aligner sur le futur AI Act européen et garantir un développement de l’IA socialement responsable. Lire la suite