BERT

Wat is BERT?

BERT, wat staat voor Bidirectional Encoder Representations from Transformers, is een open-source machine learning framework voor natuurlijke taalverwerking (NLP). Ontwikkeld door onderzoekers van Google AI Language en geïntroduceerd in 2018, heeft BERT NLP aanzienlijk vooruit geholpen door machines taal meer als mensen te laten begrijpen.

In de kern helpt BERT computers de betekenis van dubbelzinnige of contextafhankelijke taal in tekst te interpreteren door rekening te houden met omliggende woorden in een zin—zowel vóór als na het doelwoord. Deze bidirectionele benadering stelt BERT in staat de volledige nuance van taal te vatten, waardoor het zeer effectief is voor een breed scala aan NLP-taken.

Achtergrond en geschiedenis van BERT

De evolutie van taalmodellen

Voor BERT verwerkten de meeste taalmodellen tekst op een unidirectionele manier (ofwel van links naar rechts of van rechts naar links), wat hun vermogen om context te vatten beperkte.

Eerdere modellen zoals Word2Vec en GloVe genereerden contextvrije woordrepresentaties, waarbij elk woord een enkele vector kreeg ongeacht de context. Deze aanpak had moeite met polysemische woorden (bijv. “bank” als financiële instelling versus rivierbank).

De introductie van Transformers

In 2017 werd de Transformer-architectuur geïntroduceerd in het artikel “Attention Is All You Need.” Transformers zijn deep learning modellen die zelf-attentie gebruiken, waardoor ze het belang van elk deel van de input dynamisch kunnen wegen.

Transformers hebben NLP gerevolutioneerd door alle woorden in een zin gelijktijdig te verwerken, waardoor training op grotere schaal mogelijk werd.

Ontwikkeling van BERT

Google-onderzoekers bouwden voort op de Transformer-architectuur om BERT te ontwikkelen, geïntroduceerd in het 2018-paper “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.” De innovatie van BERT was het toepassen van bidirectionele training, waarbij zowel links- als rechts-context wordt overwogen.

BERT werd voorgetraind op de gehele Engelse Wikipedia (2,5 miljard woorden) en BookCorpus (800 miljoen woorden), waardoor het een diep begrip van patronen, syntaxis en semantiek kreeg.

Architectuur van BERT

Overzicht

BERT is een encoderstack van de Transformer-architectuur (gebruikt alleen de encoder, niet de decoder). Het bestaat uit meerdere lagen (12 of 24 Transformer-blokken), elk met zelf-attentie en feedforward neurale netwerken.

Tokenisatie en embedding

BERT gebruikt WordPiece-tokenisatie, waarbij woorden worden opgesplitst in subwoord-eenheden om zeldzame of onbekende woorden te kunnen verwerken.

Elke input-token wordt weergegeven door de som van drie embeddings:

1. Token-embeddings: Individuele tokens (woorden of subwoorden).
2. Segment-embeddings: Geven aan of een token bij zin A of B hoort.
3. Positie-embeddings: Verstrekken positie-informatie voor elke token.

Deze helpen BERT zowel structuur als semantiek te begrijpen.

Zelf-attentie-mechanisme

Zelf-attentie stelt BERT in staat het belang van elke token ten opzichte van alle andere in de reeks te wegen, waardoor afhankelijkheden ongeacht hun afstand worden vastgelegd.

Bijvoorbeeld, in “De bank verhoogde haar rentevoeten,” helpt zelf-attentie BERT “bank” te koppelen aan “rentevoeten,” waardoor het “bank” als financiële instelling begrijpt.

Bidirectionele training

Bidirectionele training stelt BERT in staat context uit beide richtingen te vatten. Dit wordt bereikt door twee trainingsdoelen:

1. Masked Language Modeling (MLM): Maskeert willekeurig input-tokens en traint BERT om deze te voorspellen op basis van de context.
2. Next Sentence Prediction (NSP): Trainde BERT om te voorspellen of zin B volgt op zin A, waardoor het zinsrelaties leert.

Hoe werkt BERT

Masked Language Modeling (MLM)

Bij MLM selecteert BERT willekeurig 15% van de tokens voor mogelijke vervanging:

• 80% vervangen door [MASK]
• 10% vervangen door een willekeurige token
• 10% blijven onveranderd

Deze strategie stimuleert een dieper taalbegrip.

Voorbeeld:

• Origineel: “De snelle bruine vos springt over de luie hond.”
• Gemaskeerd: “De snelle bruine [MASK] springt over de luie [MASK].”
• Model voorspelt “vos” en “hond.”

Next Sentence Prediction (NSP)

NSP helpt BERT relaties tussen zinnen te begrijpen.

• 50% van de tijd is zin B de daadwerkelijke volgende zin.
• 50% van de tijd is zin B willekeurig uit het corpus gekozen.

Voorbeelden:

• Zin A: “De regen viel met bakken uit de lucht.”
• Zin B: “Ze pakte haar paraplu.” → “IsNext”
• Zin B: “Ik speel graag schaak.” → “NotNext”

Fijn-afstemming voor toegepaste taken

Na de pretraining wordt BERT fijn afgestemd voor specifieke NLP-taken door outputlagen toe te voegen. Fijn-afstemming vereist minder data en rekenkracht dan het trainen vanaf nul.

Hoe BERT wordt gebruikt

BERT ondersteunt veel NLP-taken en behaalt vaak de beste resultaten.

Sentimentanalyse

BERT kan sentiment (bijv. positieve/negatieve reviews) met nuance classificeren.

• Voorbeeld: E-commerce gebruikt BERT om beoordelingen te analyseren en producten te verbeteren.

Vraagbeantwoording

BERT begrijpt vragen en geeft antwoorden vanuit de context.

• Voorbeeld: Een chatbot gebruikt BERT om “Wat is het retourbeleid?” te beantwoorden door naar beleidsdocumenten te verwijzen.

Named Entity Recognition (NER)

NER identificeert en classificeert belangrijke entiteiten (namen, organisaties, datums).

• Voorbeeld: Nieuwsaggregators halen entiteiten uit artikelen zodat gebruikers op specifieke onderwerpen kunnen zoeken.

Taalvertaling

Hoewel BERT niet specifiek is ontworpen voor vertaling, helpt het diepe taalbegrip bij vertalen in combinatie met andere modellen.

Tekstsamenvatting

BERT kan beknopte samenvattingen genereren door kernbegrippen te identificeren.

• Voorbeeld: Juridische kantoren vatten contracten samen voor snelle informatie.

Tekstgeneratie en -aanvulling

BERT voorspelt gemaskeerde woorden of sequenties en helpt zo bij tekstgeneratie.

• Voorbeeld: E-mailclients suggereren het volgende woord terwijl gebruikers typen.

Voorbeelden van toepassingen

Google Zoeken

In 2019 begon Google BERT te gebruiken om zoekalgoritmen te verbeteren, zodat context en intentie van zoekopdrachten beter worden begrepen.

Voorbeeld:

• Zoekopdracht: “Mag je medicijnen voor iemand ophalen bij de apotheek?”
• Met BERT: Google begrijpt dat de gebruiker vraagt of je medicijnen voor iemand anders mag ophalen.

AI-automatisering en chatbots

BERT drijft chatbots aan en verbetert het begrip van gebruikersinvoer.

• Voorbeeld: Klantenservice-chatbots gebruiken BERT om complexe vragen zonder menselijke hulp af te handelen.

Toepassingen in de gezondheidszorg

Gespecialiseerde BERT-modellen zoals BioBERT verwerken biomedische teksten.

• Voorbeeld: Onderzoekers gebruiken BioBERT voor medicijnontwikkeling en literatuuranalyse.

Analyse van juridische documenten

Juridische professionals gebruiken BERT om juridische teksten te analyseren en samen te vatten.

• Voorbeeld: Advocatenkantoren identificeren aansprakelijkheidsclausules sneller met BERT.

Varianten en uitbreidingen van BERT

Er bestaan verschillende BERT-aanpassingen voor efficiëntie of specifieke domeinen:

• DistilBERT: Kleiner, sneller, lichter, met 95% van de prestaties van BERT en 40% minder parameters.
  Toepassing: Mobiele omgevingen.
• TinyBERT: Nog compacter, verkleint modelgrootte en inference-tijd.
• RoBERTa: Getraind met grotere batches en meer data, zonder NSP, en behaalt nog betere prestaties.
• BioBERT: Voorgetraind op biomedische teksten voor biomedische NLP.
• PatentBERT: Fijn afgestemd voor patentclassificatie.
• SciBERT: Gericht op wetenschappelijke teksten.
• VideoBERT: Integreert visuele en tekstuele data voor video-inzicht.

BERT in AI, AI-automatisering en chatbots

Verbetering van AI-toepassingen

Het contextuele begrip van BERT drijft talloze AI-toepassingen aan:

• Verbeterd taalbegrip: Interpreteert tekst met nuance en context.
• Efficiënte transfer learning: Voorgetrainde modellen worden met weinig data fijn afgestemd.
• Veelzijdigheid: Vermindert de behoefte aan taakspecifieke modellen.

Impact op chatbots

BERT heeft de kwaliteit van chatbots en AI-automatisering sterk verbeterd.

Voorbeelden:

• Klantenondersteuning: Chatbots begrijpen en reageren nauwkeurig.
• Virtuele assistenten: Betere herkenning van commando’s en reacties.
• Taalvertalingsbots: Behoud van context en nauwkeurigheid.

AI-automatisering

BERT maakt AI-automatisering mogelijk voor het verwerken van grote hoeveelheden tekst zonder menselijke tussenkomst.

Toepassingen:

• Documentverwerking: Automatisch sorteren, taggen en samenvatten.
• Contentmoderatie: Ongepaste inhoud identificeren.
• Geautomatiseerde rapportages: Belangrijke informatie extraheren voor rapporten.

Onderzoek naar BERT

1. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
   Auteurs: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
   Introduceert de BERT-architectuur en effectiviteit op meerdere benchmarks, waardoor gezamenlijke conditionering op zowel links- als rechts-context mogelijk wordt.
   Lees meer

2. Multi-Task Bidirectional Transformer Representations for Irony Detection
   Auteurs: Chiyu Zhang, Muhammad Abdul-Mageed
   Past BERT toe voor ironiedetectie, gebruikmakend van multitask learning en pretraining voor domeinadaptatie. Behaalt een macro F1-score van 82,4.
   Lees meer

3. Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt
   Auteurs: Hangyu Lin, Yanwei Fu, Yu-Gang Jiang, Xiangyang Xue
   Introduceert Sketch-BERT voor schetsherkenning en -opvraging, met zelfgestuurde learning en nieuwe embeddingnetwerken.
   Lees meer

4. Transferring BERT Capabilities from High-Resource to Low-Resource Languages Using Vocabulary Matching
   Auteur: Piotr Rybak
   Stelt vocabulairematching voor om BERT aan te passen voor talen met weinig bronnen, waardoor NLP-technologie wordt gedemocratiseerd.
   Lees meer