BERT

Hvad er BERT?

BERT, som står for Bidirectional Encoder Representations from Transformers, er en open source maskinlæringsramme til naturlig sprogbehandling (NLP). Udviklet af forskere hos Google AI Language og introduceret i 2018, har BERT markant fremmet NLP ved at gøre maskiner i stand til at forstå sprog mere som mennesker.

I sin kerne hjælper BERT computere med at tolke betydningen af tvetydigt eller kontekstafhængigt sprog i tekst ved at tage hensyn til de omkringliggende ord i en sætning – både før og efter det målte ord. Denne bidirektionelle tilgang gør BERT i stand til at opfange sprogets fulde nuancer og gør den meget effektiv til en bred vifte af NLP-opgaver.

Baggrund og historie om BERT

Udviklingen af sprogmodeller

Før BERT behandlede de fleste sprogmodeller tekst envejs (enten fra venstre mod højre eller omvendt), hvilket begrænsede deres evne til at opfange kontekst.

Tidligere modeller som Word2Vec og GloVe genererede kontekstfrie word embeddings, hvor hvert ord fik tildelt en enkelt vektor uanset kontekst. Denne tilgang havde svært ved at håndtere ord med flere betydninger (f.eks. “bank” som pengeinstitut vs. flodbred).

Introduktionen af Transformere

I 2017 blev Transformer-arkitekturen introduceret i artiklen “Attention Is All You Need.” Transformere er deep learning-modeller, der bruger self-attention, så de dynamisk kan vægte betydningen af hver del af inputtet.

Transformere revolutionerede NLP ved at bearbejde alle ord i en sætning samtidigt, hvilket gjorde større træningsskala mulig.

Udviklingen af BERT

Google-forskere byggede videre på Transformer-arkitekturen og udviklede BERT, som blev introduceret i 2018-artiklen “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.” BERT’s nyskabelse var at anvende bidirektionel træning, hvor både venstre og højre kontekst blev taget i betragtning.

BERT blev fortrænet på hele den engelske Wikipedia (2,5 milliarder ord) og BookCorpus (800 millioner ord), hvilket gav den en dyb forståelse af mønstre, syntaks og semantik.

Arkitektur af BERT

Overblik

BERT er et encoder-stack af Transformer-arkitekturen (bruger kun encoderen, ikke decoderen). Den består af flere lag (12 eller 24 Transformer-blokke), hver med self-attention og feed-forward neurale netværk.

Tokenisering og embedding

BERT bruger WordPiece-tokenisering, hvor ord opdeles i delord for at håndtere sjældne eller ukendte ord.

Hvert input-token repræsenteres som summen af tre embeddings:

1. Token Embeddings: Individuelle tokens (ord eller delord).
2. Segment Embeddings: Indikerer om et token tilhører sætning A eller B.
3. Position Embeddings: Giver positionsinformation for hvert token.

Disse hjælper BERT med at forstå både struktur og semantik.

Self-Attention Mekanisme

Self-attention gør det muligt for BERT at vægte betydningen af hvert token i forhold til alle andre i sekvensen og opfange afhængigheder uanset afstand.

For eksempel, i “The bank raised its interest rates,” hjælper self-attention BERT med at forbinde “bank” til “interest rates” og forstå “bank” som et pengeinstitut.

Bidirektionel træning

BERT’s bidirektionelle træning gør det muligt at opfange konteksten fra begge retninger. Dette opnås gennem to træningsmål:

1. Masked Language Modeling (MLM): Maskerer tilfældigt input-tokens og træner BERT til at forudsige dem ud fra konteksten.
2. Next Sentence Prediction (NSP): Træner BERT til at forudsige, om sætning B følger efter sætning A, hvilket hjælper modellen med at forstå forholdet mellem sætninger.

Sådan fungerer BERT

Masked Language Modeling (MLM)

I MLM vælger BERT tilfældigt 15% af tokens til mulig udskiftning:

• 80% udskiftes med [MASK]
• 10% udskiftes med et tilfældigt token
• 10% forbliver uændret

Denne strategi fremmer en dybere sprogforståelse.

Eksempel:

• Original: “The quick brown fox jumps over the lazy dog.”
• Maskeret: “The quick brown [MASK] jumps over the lazy [MASK].”
• Modellen forudsiger “fox” og “dog”.

Next Sentence Prediction (NSP)

NSP hjælper BERT med at forstå forholdet mellem sætninger.

• 50% af tiden er sætning B den korrekte næste sætning.
• 50% af tiden er sætning B tilfældigt valgt fra korpuset.

Eksempler:

• Sætning A: “The rain was pouring down.”
• Sætning B: “She took out her umbrella.” → “IsNext”
• Sætning B: “I enjoy playing chess.” → “NotNext”

Finjustering til downstream-opgaver

Efter fortræning finjusteres BERT til specifikke NLP-opgaver ved at tilføje outputlag. Finjustering kræver mindre data og beregning end træning fra bunden.

Hvordan BERT bruges

BERT driver mange NLP-opgaver og opnår ofte state-of-the-art resultater.

Sentimentanalyse

BERT kan klassificere sentiment (f.eks. positive/negative anmeldelser) med stor nuancering.

• Eksempel: E-handel bruger BERT til at analysere anmeldelser og forbedre produkter.

Spørgsmål-besvarelse

BERT forstår spørgsmål og leverer svar ud fra kontekst.

• Eksempel: En chatbot bruger BERT til at besvare “Hvad er returpolitikken?” ved at henvise til politikdokumenter.

Navngiven entitetsgenkendelse (NER)

NER identificerer og klassificerer nøgleenheder (navne, organisationer, datoer).

• Eksempel: Nyhedsaggregatorer udtrækker entiteter, så brugere kan søge på specifikke emner.

Sprogoversættelse

Selvom BERT ikke er designet til oversættelse, hjælper dens dybe sprogforståelse oversættelse, når den kombineres med andre modeller.

Tekstsammenfatning

BERT kan generere korte sammenfatninger ved at identificere nøglekoncepter.

• Eksempel: Advokatfirmaer sammenfatter kontrakter for hurtig informationsadgang.

Tekstgenerering og fuldførelse

BERT forudsiger maskerede ord eller sekvenser og hjælper med tekstgenerering.

• Eksempel: E-mail-klienter foreslår næste ord, mens brugeren skriver.

Eksempler på anvendelser

Google Søgning

I 2019 begyndte Google at bruge BERT til at forbedre søgealgoritmerne og forstå kontekst og hensigt bag forespørgsler.

Eksempel:

• Søgeforespørgsel: “Can you get medicine for someone pharmacy?”
• Med BERT: Google forstår, at brugeren spørger om at hente medicin til en anden.

AI-automatisering og chatbots

BERT driver chatbots og forbedrer forståelsen af brugerinput.

• Eksempel: Kundesupport-chatbots bruger BERT til at håndtere komplekse spørgsmål uden menneskelig hjælp.

Sundhedsapplikationer

Specialiserede BERT-modeller som BioBERT bearbejder biomedicinske tekster.

• Eksempel: Forskere bruger BioBERT til lægemiddelopdagelse og litteraturanalyse.

Analyse af juridiske dokumenter

Juridiske fagfolk bruger BERT til at analysere og sammenfatte juridiske tekster.

• Eksempel: Advokatfirmaer identificerer ansvarsklausuler hurtigere med BERT.

Variationer og udvidelser af BERT

Der findes flere BERT-tilpasninger for effektivitet eller specifikke domæner:

• DistilBERT: Mindre, hurtigere og lettere, med 95% af BERT’s ydeevne ved brug af 40% færre parametre.
  Anvendelse: Mobile miljøer.
• TinyBERT: Endnu mere kompakt, med reduceret modelstørrelse og inferenstid.
• RoBERTa: Trænet med større batches og mere data, uden NSP, og opnår endnu bedre præstation.
• BioBERT: Fortrænet på biomedicinske tekster til biomedicinsk NLP.
• PatentBERT: Finjusteret til patentklassificering.
• SciBERT: Tilpasset til videnskabelige tekster.
• VideoBERT: Integrerer visuelle og tekstuelle data til video-forståelse.

BERT i AI, AI-automatisering og chatbots

Forbedring af AI-applikationer

BERT’s kontekstuelle forståelse driver talrige AI-applikationer:

• Forbedret sprogforståelse: Tolker tekst med nuancer og kontekst.
• Effektiv transfer learning: Fortrænede modeller kan finjusteres med få data.
• Alsidighed: Mindsker behovet for opgavespecifikke modeller.

Indvirkning på chatbots

BERT har i høj grad forbedret kvaliteten af chatbots og AI-automatisering.

Eksempler:

• Kundesupport: Chatbots forstår og svarer præcist.
• Virtuelle assistenter: Bedre genkendelse og respons på kommandoer.
• Sprogoversættelsesbots: Bevarer kontekst og nøjagtighed.

AI-automatisering

BERT muliggør AI-automatisering til at bearbejde store tekstmængder uden menneskelig indgriben.

Anvendelser:

• Dokumentbehandling: Automatiseret sortering, tagging og sammenfatning.
• Indholdsmoderering: Identifikation af upassende indhold.
• Automatiseret rapportering: Udtræk af nøgledetaljer til rapporter.

Forskning om BERT

1. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
   Forfattere: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
   Introducerer BERT’s arkitektur og effektivitet på flere benchmarks, så modellen kan tage hensyn til både venstre og højre kontekst.
   Læs mere

2. Multi-Task Bidirectional Transformer Representations for Irony Detection
   Forfattere: Chiyu Zhang, Muhammad Abdul-Mageed
   Anvender BERT til ironidetektion, udnytter multitask learning og pretræning til domænetilpasning. Opnår 82,4 macro F1-score.
   Læs mere

3. Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt
   Forfattere: Hangyu Lin, Yanwei Fu, Yu-Gang Jiang, Xiangyang Xue
   Introducerer Sketch-BERT til skitsetegningsgenkendelse og -søgning, anvender selv-superviseret læring og nye embedding-netværk.
   Læs mere

4. Transferring BERT Capabilities from High-Resource to Low-Resource Languages Using Vocabulary Matching
   Forfatter: Piotr Rybak
   Foreslår vokabulartilpasning for at gøre det muligt at anvende BERT på lavressourcesprog og demokratisere NLP-teknologi.
   Læs mere