Segmentation sémantique

La segmentation sémantique est une technique de vision par ordinateur qui consiste à partitionner une image en plusieurs segments, où chaque pixel de l’image se voit attribuer une étiquette de classe représentant un objet ou une région du monde réel. Contrairement à la classification d’image générale, qui attribue une seule étiquette à toute l’image, la segmentation sémantique offre une compréhension plus détaillée en étiquetant chaque pixel. Cela permet aux machines d’interpréter la localisation et la frontière précises des objets dans une image.

Fondamentalement, la segmentation sémantique aide les machines à comprendre « quoi » se trouve dans une image et « où » cela se trouve au niveau du pixel. Ce niveau d’analyse granulaire est essentiel pour les applications nécessitant une localisation et une reconnaissance précises des objets, comme la conduite autonome, l’imagerie médicale ou la robotique.

Comment fonctionne la segmentation sémantique ?

La segmentation sémantique fonctionne grâce à des algorithmes d’apprentissage profond, en particulier les réseaux de neurones convolutionnels (CNN), pour analyser et classifier chaque pixel d’une image. Le processus implique plusieurs composants clés :

1. Réseaux de neurones convolutionnels (CNN) : Réseaux spécialisés conçus pour traiter des données à structure de grille, comme les images. Ils extraient des caractéristiques hiérarchiques, des bords bas niveau aux objets haut niveau.
2. Couches convolutionnelles : Appliquent des opérations de convolution pour détecter des caractéristiques à travers les dimensions spatiales.
3. Architecture encodeur-décodeur : Les modèles utilisent souvent un encodeur (chemin de sous-échantillonnage) pour réduire les dimensions spatiales et extraire les caractéristiques, et un décodeur (chemin de suréchantillonnage) pour reconstruire l’image à sa résolution d’origine, produisant une carte de classification pixel par pixel.
4. Connexions de saut : Relient les couches de l’encodeur aux couches correspondantes du décodeur, préservant l’information spatiale et combinant caractéristiques basses et hautes pour des résultats plus précis.
5. Cartes de caractéristiques : Générées lors du passage de l’image dans le CNN, représentant différents niveaux d’abstraction pour la reconnaissance des motifs.
6. Classification des pixels : La sortie finale est une carte de caractéristiques ayant les mêmes dimensions spatiales que l’entrée, où l’étiquette de chaque pixel est déterminée par application d’une fonction softmax sur les classes.

Modèles d’apprentissage profond pour la segmentation sémantique

1. Réseaux entièrement convolutionnels (FCN)

• Apprentissage de bout en bout : Entraînés pour mapper directement les images d’entrée vers les sorties de segmentation.
• Suréchantillonnage : Utilisent des couches transposées (déconvolutionnelles) pour suréchantillonner les cartes de caractéristiques.
• Connexions de saut : Combinent l’information grossière et haut niveau avec des détails fins bas niveau.

2. U-Net

• Architecture symétrique : Forme en U avec autant d’étapes de sous-échantillonnage que de suréchantillonnage.
• Connexions de saut : Relie les couches d’encodeur et de décodeur pour une localisation précise.
• Moins d’images d’entraînement requises : Efficace même avec peu de données, ce qui le rend adapté au médical.

3. Modèles DeepLab

• Convolution à trous (dilatée) : Élargit le champ réceptif sans augmenter le nombre de paramètres ni perdre en résolution.
• Atrous Spatial Pyramid Pooling (ASPP) : Applique plusieurs convolutions à trous à différents taux de dilatation en parallèle pour un contexte multi-échelle.
• Champ aléatoire conditionnel (CRF) : Utilisé en post-traitement (dans les premières versions) pour affiner les frontières.

4. Réseau Pyramid Scene Parsing (PSPNet)

• Module de pool pyramidale : Capture des informations à différentes échelles globales et locales.
• Extraction multi-échelle des caractéristiques : Reconnaît des objets de tailles variées.

Annotation des données et entraînement

Annotation des données

• Outils d’annotation : Outils spécialisés pour créer des masques de segmentation avec des étiquettes de classe pixel par pixel.
• Jeux de données :
  • PASCAL VOC
  • MS COCO
  • Cityscapes
• Défis : L’annotation est laborieuse et demande une grande précision.

Processus d’entraînement

• Augmentation de données : Rotation, mise à l’échelle, retournement pour augmenter la diversité des données.
• Fonctions de perte : Entropie croisée pixel par pixel, coefficient de Dice.
• Algorithmes d’optimisation : Adam, RMSProp et autres optimisateurs par descente de gradient.

Applications et cas d’usage

1. Conduite autonome

• Compréhension de la route : Distingue routes, trottoirs, véhicules, piétons et obstacles.
• Traitement en temps réel : Critique pour la prise de décision immédiate.

Exemple :
Les cartes de segmentation permettent aux véhicules autonomes d’identifier les zones praticables et de naviguer en toute sécurité.

2. Imagerie médicale

• Détection de tumeurs : Met en évidence les régions malignes sur les IRM ou scanners.
• Segmentation d’organes : Aide à la planification chirurgicale.

Exemple :
Segmenter différents types de tissus dans l’imagerie cérébrale pour le diagnostic.

3. Agriculture

• Surveillance de la santé des cultures : Identifie les plantes saines et malades.
• Classification de l’utilisation des terres : Distingue les types de végétation et d’occupation des sols.

Exemple :
Les cartes de segmentation aident les agriculteurs à cibler l’irrigation ou la lutte contre les nuisibles.

4. Robotique et automatisation industrielle

• Manipulation d’objets : Permet aux robots de reconnaître et manipuler des objets.
• Cartographie de l’environnement : Aide à la navigation.

Exemple :
Les robots de fabrication segmentent et assemblent des pièces avec une grande précision.

5. Analyse d’images satellites et aériennes

• Classification de la couverture du sol : Segmente forêts, plans d’eau, zones urbaines, etc.
• Évaluation des catastrophes : Évalue les zones touchées par des catastrophes naturelles.

Exemple :
Segmenter les zones inondées sur des images aériennes pour la planification d’urgence.

6. Automatisation par l’IA et chatbots

• Compréhension visuelle de scène : Renforce les systèmes d’IA multimodaux.
• Applications interactives : Les applications AR superposent des objets virtuels en s’appuyant sur la segmentation.

Exemple :
Les assistants IA analysent les photos envoyées par les utilisateurs et fournissent une aide pertinente.

Lien entre segmentation sémantique, automatisation IA et chatbots

La segmentation sémantique améliore l’IA en fournissant une compréhension visuelle détaillée pouvant être intégrée aux chatbots et assistants virtuels.

• Interaction multimodale : Combine données visuelles et textuelles pour des interactions naturelles.
• Conscience contextuelle : Interprète les images pour des réponses plus précises et utiles.

Exemple :
Un chatbot analyse une photo d’un produit endommagé pour aider un client.

Concepts avancés en segmentation sémantique

1. Convolution à trous (atrous)

• Avantage : Capture un contexte multi-échelle, améliore la reconnaissance d’objets de différentes tailles.
• Implémentation : Les noyaux dilatés introduisent des espaces entre les poids, agrandissant efficacement le noyau.

2. Champs aléatoires conditionnels (CRF)

• Avantage : Améliore la précision des frontières, cartes de segmentation plus nettes.
• Intégration : En post-traitement ou intégré dans l’architecture du réseau.

3. Encodeur-décodeur avec mécanismes d’attention

• Avantage : Se concentre sur les régions pertinentes de l’image, réduit le bruit de fond.
• Application : Efficace dans des scènes complexes et encombrées.

4. Utilisation des connexions de saut

• Avantage : Préserve l’information spatiale lors de l’encodage/décodage.
• Effet : Segmentation plus précise, surtout aux frontières des objets.

Défis et points à considérer

1. Complexité computationnelle

• Exigences en ressources élevées : Entraînement et inférence intensifs, surtout pour des images haute résolution.
• Solution : Utiliser des GPU, optimiser les modèles pour l’efficacité.

2. Besoin en données

• Nécessité de grands jeux de données annotés : Coûteux et chronophage.
• Solution : Apprentissage semi-supervisé, augmentation de données, données synthétiques.

3. Déséquilibre des classes

• Répartition inégale des classes : Certaines classes peuvent être sous-représentées.
• Solution : Fonctions de perte pondérées, rééchantillonnage.

4. Traitement en temps réel

• Problèmes de latence : Les applications en temps réel (ex. : conduite) nécessitent une inférence rapide.
• Solution : Modèles allégés, compression de modèles.

Exemples de segmentation sémantique en action

1. Segmentation sémantique dans les véhicules autonomes

Processus :

• Acquisition d’images : Les caméras capturent l’environnement.
• Segmentation : Attribue des étiquettes de classe à chaque pixel (route, véhicule, piéton, etc.).
• Prise de décision : Le système de contrôle du véhicule utilise ces informations pour la conduite.

2. Diagnostic médical avec la segmentation sémantique

Processus :

• Acquisition d’images : Appareils d’imagerie médicale (IRM, scanner).
• Segmentation : Les modèles mettent en évidence les régions anormales (ex. : tumeurs).
• Usage clinique : Les médecins utilisent les cartes pour le diagnostic et le traitement.

3. Surveillance agricole

Processus :

• Acquisition d’images : Les drones capturent des images aériennes des champs.
• Segmentation : Les modèles classifient les pixels (cultures saines, malades, sol, mauvaises herbes).
• Informations exploitables : Les agriculteurs optimisent les ressources grâce aux cartes de segmentation.

Recherche sur la segmentation sémantique

La segmentation sémantique est une tâche essentielle en vision par ordinateur qui consiste à classifier chaque pixel d’une image dans une catégorie. Ce processus est important pour diverses applications comme la conduite autonome, l’imagerie médicale ou l’édition d’images. Des recherches récentes ont exploré différentes approches pour améliorer la précision et l’efficacité de la segmentation sémantique. Voici des résumés d’articles scientifiques notables sur ce sujet :

1. Ensembling Instance and Semantic Segmentation for Panoptic Segmentation

Auteurs : Mehmet Yildirim, Yogesh Langhe
Publié : 20 avril 2023

• Présente une méthode de segmentation panoptique en combinant la segmentation d’instances et la segmentation sémantique.
• Utilise les modèles Mask R-CNN et un modèle HTC pour corriger le déséquilibre de données et améliorer les résultats.
• Obtient un score PQ de 47,1 sur les données COCO panoptic test-dev.

Lire la suite

2. Learning Panoptic Segmentation from Instance Contours

Auteurs : Sumanth Chennupati, Venkatraman Narayanan, Ganesh Sistu, Senthil Yogamani, Samir A Rawashdeh
Publié : 6 avril 2021

• Introduit un réseau de neurones entièrement convolutionnel qui apprend la segmentation d’instance à partir de la segmentation sémantique et des contours d’instance.
• Fusionne la segmentation sémantique et d’instance pour une compréhension unifiée de la scène.
• Évalué sur le jeu de données CityScapes avec plusieurs études d’ablation.

Lire la suite

3. Visual Semantic Segmentation Based on Few/Zero-Shot Learning: An Overview

Auteurs : Wenqi Ren, Yang Tang, Qiyu Sun, Chaoqiang Zhao, Qing-Long Han
Publié : 13 novembre 2022

• Passe en revue les avancées de la segmentation sémantique utilisant l’apprentissage peu supervisé ou sans étiquette.
• Présente les limitations des méthodes dépendant des grands jeux de données annotés.
• Met en avant des techniques permettant d’apprendre à partir de peu ou pas d’exemples annotés.

Lire la suite