Explicabilité

L’explicabilité de l’IA désigne la capacité à comprendre et à interpréter les décisions et prédictions prises par les systèmes d’intelligence artificielle (IA). À mesure que les algorithmes d’IA et d’apprentissage automatique deviennent de plus en plus complexes, notamment avec l’avènement de l’apprentissage profond et des réseaux neuronaux, ils fonctionnent souvent comme des « boîtes noires ». Cela signifie que même les ingénieurs et data scientists qui développent ces modèles peuvent ne pas saisir entièrement comment des entrées spécifiques mènent à des sorties particulières. L’explicabilité de l’IA vise à lever le voile sur ces processus, rendant les systèmes d’IA plus transparents et leurs résultats plus compréhensibles pour les humains.

Pourquoi l’explicabilité de l’IA est-elle importante ?

Confiance et transparence

Pour que les systèmes d’IA soient largement acceptés et dignes de confiance, surtout dans des domaines critiques comme la santé, la finance ou la justice, il est essentiel que les parties prenantes comprennent comment les décisions sont prises. Lorsqu’un algorithme d’apprentissage automatique recommande un traitement médical ou approuve une demande de prêt, il est crucial pour les utilisateurs de connaître la logique derrière ces décisions afin de garantir l’équité et de construire la confiance.

Exigences réglementaires

De nombreux secteurs sont soumis à des cadres réglementaires qui exigent la transparence dans les processus décisionnels. Les réglementations peuvent obliger les organisations à fournir des explications pour les décisions automatisées, surtout lorsqu’elles ont un impact significatif sur des individus. Le non-respect peut entraîner des conséquences juridiques et une perte de confiance des consommateurs.

Identification et réduction des biais

Les systèmes d’IA entraînés sur des données biaisées peuvent perpétuer, voire amplifier, ces biais. L’explicabilité permet aux développeurs et parties prenantes d’identifier les décisions injustes ou biaisées au sein des modèles d’IA. En comprenant comment les décisions sont prises, les organisations peuvent corriger les biais pour s’assurer que les systèmes fonctionnent équitablement pour différents groupes démographiques.

Amélioration des performances des modèles

Comprendre le fonctionnement interne des modèles d’IA permet aux data scientists d’optimiser leur performance. En interprétant les caractéristiques qui influencent les décisions, ils peuvent ajuster le modèle, améliorer sa précision et garantir qu’il s’adapte bien à de nouvelles données.

Comment atteindre l’explicabilité en IA ?

L’explicabilité de l’IA repose sur une combinaison de conception de modèles interprétables et de techniques d’interprétation a posteriori pour les modèles complexes.

Interprétabilité vs explicabilité

• Interprétabilité : mesure dans laquelle un humain peut comprendre la cause d’une décision prise par un système d’IA.
• Explicabilité : va plus loin en fournissant une description explicite des facteurs et du raisonnement ayant mené à une décision.

Bien que ces concepts soient liés, l’interprétabilité concerne la transparence du modèle lui-même, tandis que l’explicabilité vise à générer des explications pour les résultats du modèle.

Modèles interprétables

Les modèles interprétables sont intrinsèquement compréhensibles. Exemples :

• Régression linéaire : modèles où la relation entre les variables d’entrée et la sortie est linéaire, ce qui permet d’interpréter facilement les coefficients comme l’influence de chaque caractéristique.
• Arbres de décision : représentations visuelles des décisions, chaque nœud représentant une caractéristique et les branches des règles de décision.
• Systèmes à base de règles : systèmes utilisant un ensemble de règles compréhensibles par l’humain pour prendre des décisions.

Ces modèles sacrifient parfois une partie de leur pouvoir prédictif au profit de la transparence, mais sont précieux lorsque l’explicabilité est essentielle.

Explications post-hoc

Pour les modèles complexes comme les réseaux neuronaux profonds, qui sont moins interprétables, on utilise des explications post-hoc. Ces techniques analysent le comportement du modèle après qu’il ait effectué une prédiction.

Méthodes agnostiques au modèle

Ces méthodes peuvent s’appliquer à n’importe quel type de modèle sans nécessiter l’accès à sa structure interne.

Explications locales agnostiques au modèle (LIME)

LIME est une technique populaire qui explique la prédiction de n’importe quel classificateur en l’approximent localement avec un modèle interprétable. Pour une prédiction donnée, LIME perturbe légèrement les données d’entrée et observe les variations de la sortie afin de déterminer quelles caractéristiques influencent le plus la décision.

Explications additives de Shapley (SHAP)

Les valeurs SHAP, issues de la théorie des jeux coopératifs, fournissent une mesure unifiée de l’importance des caractéristiques. Elles quantifient la contribution de chaque caractéristique à la prédiction, en tenant compte de toutes les combinaisons possibles de caractéristiques.

Explications globales vs locales

• Explications globales : offrent une compréhension générale du comportement du modèle sur l’ensemble des données.
• Explications locales : se concentrent sur une prédiction individuelle, expliquant pourquoi le modèle a pris une décision spécifique pour un cas particulier.

Recherche sur l’explicabilité de l’IA

L’explicabilité de l’IA suscite un intérêt croissant à mesure que ces systèmes s’intègrent dans les processus décisionnels humains. Voici quelques articles scientifiques récents qui explorent ce sujet crucial :

1. Explainable AI Improves Task Performance in Human-AI Collaboration (Publié le 12/06/2024)
   Auteurs : Julian Senoner, Simon Schallmoser, Bernhard Kratzwald, Stefan Feuerriegel, Torbjørn Netland
   Cet article explore l’impact de l’IA explicable sur l’amélioration de la performance des tâches lors de la collaboration humain-IA. Les auteurs expliquent que l’IA traditionnelle fonctionne comme une boîte noire, ce qui rend difficile la validation des prédictions de l’IA par rapport aux connaissances humaines. En introduisant l’IA explicable, notamment par le biais de cartes de chaleur visuelles, l’étude a constaté une amélioration de la performance des tâches. Deux expériences ont été menées avec des ouvriers d’usine et des radiologues, montrant une réduction significative des taux d’erreur lors de l’utilisation de l’IA explicable. Cette recherche met en évidence le potentiel de l’IA explicable pour améliorer la précision des décisions dans des tâches réelles. Lire la suite

2. “Weak AI” is Likely to Never Become “Strong AI”, So What is its Greatest Value for Us? (Publié le 29/03/2021)
   Auteur : Bin Liu
   Cet article aborde les controverses persistantes autour des capacités et du potentiel futur de l’IA. Il différencie la « faible IA » de la « forte IA » et avance que, même si la forte IA pourrait rester inatteignable, la faible IA présente une valeur considérable. L’auteur examine les critères de classification de la recherche en IA et discute des implications sociétales des capacités actuelles de l’IA. Ce travail offre une perspective philosophique sur le rôle de l’IA dans la société. Lire la suite

3. Understanding Mental Models of AI through Player-AI Interaction (Publié le 30/03/2021)
   Auteurs : Jennifer Villareale, Jichen Zhu
   Cette étude examine comment les individus développent des modèles mentaux des systèmes d’IA à travers des interactions dans des jeux à base d’IA. Les auteurs suggèrent que ces interactions apportent des éclairages précieux sur l’évolution des modèles mentaux des utilisateurs. Une étude de cas illustre les avantages de l’utilisation des jeux pour étudier l’explicabilité de l’IA, suggérant que de telles interactions peuvent améliorer la compréhension des systèmes d’IA par les utilisateurs.

4. From Explainable to Interactive AI: A Literature Review on Current Trends in Human-AI Interaction (Publié le 23/05/2024)
   Auteurs : Muhammad Raees, Inge Meijerink, Ioanna Lykourentzou, Vassilis-Javed Khan, Konstantinos Papangelis
   Cette revue de la littérature examine la transition de l’IA explicable vers l’IA interactive, en soulignant l’importance de l’implication humaine dans le développement et l’exploitation des systèmes d’IA. L’article passe en revue les tendances actuelles et les préoccupations sociétales concernant l’interaction humain-IA, mettant en lumière la nécessité de systèmes d’IA à la fois explicables et interactifs. Cette revue propose une feuille de route pour les futures recherches dans ce domaine.