BERT

Qu’est-ce que BERT ?

BERT, qui signifie Bidirectional Encoder Representations from Transformers, est un cadre open source d’apprentissage automatique pour le traitement du langage naturel (NLP). Développé par les chercheurs de Google AI Language et introduit en 2018, BERT a considérablement fait progresser le NLP en permettant aux machines de comprendre le langage de manière plus humaine.

Au cœur de BERT, il aide les ordinateurs à interpréter le sens du langage ambigu ou dépendant du contexte dans un texte en tenant compte des mots environnants dans une phrase—à la fois avant et après le mot cible. Cette approche bidirectionnelle permet à BERT de saisir toutes les nuances du langage, le rendant très efficace pour une grande variété de tâches NLP.

Contexte et histoire de BERT

L’évolution des modèles de langage

Avant BERT, la plupart des modèles de langage traitaient le texte de manière unidirectionnelle (soit de gauche à droite, soit de droite à gauche), ce qui limitait leur capacité à capturer le contexte.

Les modèles antérieurs comme Word2Vec et GloVe généraient des embeddings de mots sans contexte, attribuant un seul vecteur à chaque mot, quel que soit le contexte. Cette approche était peu efficace avec des mots polysémiques (par exemple « bank » comme institution financière ou rive de rivière).

L’introduction des Transformers

En 2017, l’architecture Transformer a été introduite dans l’article « Attention Is All You Need ». Les Transformers sont des modèles d’apprentissage profond qui utilisent l’auto-attention, leur permettant de pondérer dynamiquement l’importance de chaque partie de l’entrée.

Les Transformers ont révolutionné le NLP en traitant tous les mots d’une phrase simultanément, permettant un entraînement à plus grande échelle.

Développement de BERT

Les chercheurs de Google se sont appuyés sur l’architecture Transformer pour développer BERT, présenté dans l’article de 2018 « BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding ». L’innovation de BERT réside dans l’application d’un entraînement bidirectionnel, prenant en compte à la fois le contexte gauche et droit.

BERT a été pré-entraîné sur l’ensemble de Wikipedia en anglais (2,5 milliards de mots) et BookCorpus (800 millions de mots), lui conférant une compréhension approfondie des motifs, de la syntaxe et de la sémantique.

Architecture de BERT

Vue d’ensemble

BERT est une pile d’encodeurs de l’architecture Transformer (utilise uniquement l’encodeur, pas le décodeur). Il se compose de plusieurs couches (12 ou 24 blocs Transformer), chacune avec auto-attention et réseaux neuronaux à propagation avant.

Tokenisation et embeddings

BERT utilise la tokenisation WordPiece, divisant les mots en sous-unités pour gérer les mots rares ou hors-vocabulaire.

Chaque jeton d’entrée est représenté par la somme de trois embeddings :

1. Embeddings de jeton : jetons individuels (mots ou sous-mots).
2. Embeddings de segment : indiquent si un jeton appartient à la phrase A ou B.
3. Embeddings de position : fournissent l’information de position pour chaque jeton.

Cela aide BERT à comprendre à la fois la structure et la sémantique.

Mécanisme d’auto-attention

L’auto-attention permet à BERT de pondérer l’importance de chaque jeton par rapport à tous les autres dans la séquence, capturant ainsi les dépendances quelle que soit leur distance.

Par exemple, dans « The bank raised its interest rates », l’auto-attention aide BERT à relier « bank » à « interest rates », comprenant « bank » comme institution financière.

Entraînement bidirectionnel

L’entraînement bidirectionnel de BERT lui permet de capturer le contexte dans les deux directions. Cela s’effectue via deux objectifs d’entraînement :

1. Masked Language Modeling (MLM) : masque aléatoirement des jetons d’entrée et entraîne BERT à les prédire à partir du contexte.
2. Next Sentence Prediction (NSP) : entraîne BERT à prédire si la phrase B suit la phrase A, l’aidant à comprendre les relations entre phrases.

Comment fonctionne BERT

Masked Language Modeling (MLM)

Dans le MLM, BERT sélectionne aléatoirement 15 % des jetons pour un remplacement possible :

• 80 % remplacés par [MASK]
• 10 % remplacés par un jeton aléatoire
• 10 % laissés inchangés

Cette stratégie encourage une compréhension plus profonde du langage.

Exemple :

• Original : « The quick brown fox jumps over the lazy dog. »
• Masqué : « The quick brown [MASK] jumps over the lazy [MASK]. »
• Le modèle prédit « fox » et « dog ».

Next Sentence Prediction (NSP)

Le NSP aide BERT à comprendre les relations entre phrases.

• 50 % du temps, la phrase B est la vraie phrase suivante.
• 50 % du temps, la phrase B est aléatoire dans le corpus.

Exemples :

• Phrase A : « The rain was pouring down. »
• Phrase B : « She took out her umbrella. » → « IsNext »
• Phrase B : « I enjoy playing chess. » → « NotNext »

Affinage pour les tâches aval

Après le pré-entraînement, BERT est affiné pour des tâches NLP spécifiques en ajoutant des couches de sortie. L’affinage nécessite moins de données et de calcul que l’entraînement depuis zéro.

Utilisations de BERT

BERT alimente de nombreuses tâches NLP, atteignant souvent des résultats de pointe.

Analyse de sentiments

BERT peut classer le sentiment (ex : avis positifs/négatifs) avec subtilité.

• Exemple : Le e-commerce utilise BERT pour analyser les avis et améliorer les produits.

Réponse à des questions

BERT comprend les questions et fournit des réponses selon le contexte.

• Exemple : Un chatbot utilise BERT pour répondre à « Quelle est la politique de retour ? » en se référant aux documents concernés.

Reconnaissance d’entités nommées (NER)

La NER identifie et classe les entités clés (noms, organisations, dates).

• Exemple : Les agrégateurs d’infos extraient les entités pour permettre la recherche par sujets.

Traduction de texte

Bien que non conçu pour la traduction, la compréhension profonde de BERT aide la traduction combiné à d’autres modèles.

Synthèse de texte

BERT peut générer des résumés concis en identifiant les concepts clés.

• Exemple : Des cabinets juridiques résument des contrats pour un accès rapide à l’information.

Génération et complétion de texte

BERT prédit des mots ou séquences masqués, aidant à la génération de texte.

• Exemple : Les clients emails suggèrent des mots au fur et à mesure de la saisie.

Exemples de cas d’utilisation

Recherche Google

En 2019, Google a commencé à utiliser BERT pour améliorer ses algorithmes de recherche, comprenant le contexte et l’intention derrière les requêtes.

Exemple :

• Requête : « Can you get medicine for someone pharmacy? »
• Avec BERT : Google comprend que l’utilisateur demande s’il peut récupérer des médicaments pour quelqu’un d’autre.

Automatisation IA et chatbots

BERT alimente les chatbots, améliorant la compréhension des requêtes utilisateur.

• Exemple : Les chatbots de support client utilisent BERT pour traiter des questions complexes sans aide humaine.

Applications en santé

Des modèles spécialisés comme BioBERT traitent les textes biomédicaux.

• Exemple : Les chercheurs utilisent BioBERT pour la découverte de médicaments et l’analyse de littérature.

Analyse de documents juridiques

Les professionnels du droit utilisent BERT pour analyser et résumer des textes juridiques.

• Exemple : Les cabinets identifient plus rapidement les clauses de responsabilité avec BERT.

Variantes et extensions de BERT

Plusieurs adaptations de BERT existent pour l’efficacité ou des domaines spécifiques :

• DistilBERT : Plus petit, plus rapide, plus léger, avec 95 % des performances de BERT en utilisant 40 % de paramètres en moins.
  Cas d’utilisation : Environnements mobiles.
• TinyBERT : Encore plus condensé, réduit la taille du modèle et le temps d’inférence.
• RoBERTa : Entraîné avec des lots plus grands et plus de données, sans NSP, pour de meilleures performances.
• BioBERT : Pré-entraîné sur des textes biomédicaux pour le NLP biomédical.
• PatentBERT : Affiné pour la classification de brevets.
• SciBERT : Adapté aux textes scientifiques.
• VideoBERT : Intègre données visuelles et textuelles pour la compréhension vidéo.

BERT dans l’IA, l’automatisation IA et les chatbots

Améliorer les applications IA

La compréhension contextuelle de BERT alimente de nombreuses applications IA :

• Compréhension du langage améliorée : Interprète le texte avec nuance et contexte.
• Transfert efficace : Modèles pré-entraînés affinés avec peu de données.
• Polyvalence : Réduit le besoin de modèles spécifiques à chaque tâche.

Impact sur les chatbots

BERT a grandement amélioré la qualité des chatbots et de l’automatisation IA.

Exemples :

• Support client : Les chatbots comprennent et répondent avec précision.
• Assistants virtuels : Meilleure reconnaissance et réponse aux commandes.
• Bots de traduction : Maintient le contexte et la précision.

Automatisation IA

BERT permet l’automatisation IA du traitement de gros volumes de texte sans intervention humaine.

Cas d’utilisation :

• Traitement documentaire : Classement, étiquetage, et synthèse automatisés.
• Modération de contenu : Identification de contenu inapproprié.
• Rapports automatisés : Extraction d’informations clés pour les rapports.

Recherches sur BERT

1. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
   Auteurs : Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
   Présente l’architecture de BERT et son efficacité sur de nombreux benchmarks, permettant l’apprentissage conditionné sur le contexte gauche et droit.
   Lire la suite

2. Multi-Task Bidirectional Transformer Representations for Irony Detection
   Auteurs : Chiyu Zhang, Muhammad Abdul-Mageed
   Applique BERT à la détection de l’ironie, utilisant l’apprentissage multitâche et le pré-entraînement pour l’adaptation au domaine. Atteint un score macro F1 de 82,4.
   Lire la suite

3. Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt
   Auteurs : Hangyu Lin, Yanwei Fu, Yu-Gang Jiang, Xiangyang Xue
   Présente Sketch-BERT pour la reconnaissance et la recherche de croquis, utilisant l’auto-apprentissage et de nouveaux réseaux d’embedding.
   Lire la suite

4. Transferring BERT Capabilities from High-Resource to Low-Resource Languages Using Vocabulary Matching
   Auteur : Piotr Rybak
   Propose le vocabulaire couplé pour adapter BERT aux langues peu dotées en ressources, démocratisant la technologie NLP.
   Lire la suite