BERT

Vad är BERT?

BERT, som står för Bidirectional Encoder Representations from Transformers, är ett öppen källkod-maskininlärningsramverk för naturlig språkbehandling (NLP). Det utvecklades av forskare vid Google AI Language och introducerades 2018, och har avsevärt förbättrat NLP genom att ge maskiner möjlighet att förstå språk mer som människor gör.

BERT hjälper datorer att tolka betydelsen av tvetydigt eller kontextberoende språk i text genom att ta hänsyn till omgivande ord i en mening—både före och efter målordet. Denna bidirektionella metod gör att BERT kan fånga språkets fulla nyanser, vilket gör den mycket effektiv för en mängd olika NLP-uppgifter.

Bakgrund och historia om BERT

Språkmodellernas utveckling

Före BERT bearbetade de flesta språkmodeller text på ett enkelriktat sätt (antingen från vänster till höger eller höger till vänster), vilket begränsade deras förmåga att fånga sammanhang.

Tidigare modeller som Word2Vec och GloVe genererade kontextfria ordinbäddningar och tilldelade varje ord en enda vektor oavsett sammanhang. Denna metod hade svårt med flertydiga ord (t.ex. “bank” som finansiell institution eller flodbank).

Introduktionen av Transformers

År 2017 introducerades Transformer-arkitekturen i artikeln “Attention Is All You Need”. Transformers är djupa inlärningsmodeller som använder självuppmärksamhet, vilket gör att de dynamiskt kan väga betydelsen av varje del av indata.

Transformers revolutionerade NLP genom att bearbeta alla ord i en mening samtidigt, vilket möjliggjorde storskalig träning.

Utvecklingen av BERT

Googles forskare byggde vidare på Transformer-arkitekturen för att utveckla BERT, som introducerades i artikeln “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” 2018. BERT:s innovation var att tillämpa bidirektionell träning, där både vänster och höger kontext beaktas.

BERT förtränades på hela engelskspråkiga Wikipedia (2,5 miljarder ord) och BookCorpus (800 miljoner ord), vilket gav modellen en djup förståelse för mönster, syntax och semantik.

BERT:s arkitektur

Översikt

BERT är en encoder-stack av Transformer-arkitekturen (använder endast encodern, inte decodern). Den består av flera lager (12 eller 24 Transformer-block), vardera med självuppmärksamhet och framåtmatade neurala nätverk.

Tokenisering och inbäddning

BERT använder WordPiece-tokenisering och delar upp ord i delordsenheter för att hantera ovanliga eller okända ord.

Varje indatatoken representeras som summan av tre inbäddningar:

1. Tokeninbäddningar: Enskilda tokens (ord eller delord).
2. Segmentinbäddningar: Anger om en token tillhör mening A eller B.
3. Positionsinbäddningar: Ger positionsinformation för varje token.

Dessa hjälper BERT att förstå både struktur och semantik.

Självuppmärksamhetsmekanism

Självuppmärksamhet gör att BERT kan väga vikten av varje token i förhållande till alla andra i sekvensen och fånga beroenden oavsett avstånd.

Till exempel, i “The bank raised its interest rates” hjälper självuppmärksamheten BERT att koppla “bank” till “interest rates” och förstå “bank” som en finansiell institution.

Bidirektionell träning

BERT:s bidirektionella träning gör det möjligt att fånga sammanhang från båda håll. Detta uppnås genom två träningsmål:

1. Masked Language Modeling (MLM): Slumpmässigt maskerar indatatokens och tränar BERT att förutsäga dem utifrån sammanhanget.
2. Next Sentence Prediction (NSP): Tränar BERT att förutsäga om mening B följer mening A, vilket hjälper modellen att förstå relationer mellan meningar.

Hur BERT fungerar

Masked Language Modeling (MLM)

Vid MLM väljer BERT slumpmässigt ut 15 % av tokens för möjlig ersättning:

• 80 % ersätts med [MASK]
• 10 % ersätts med en slumpmässig token
• 10 % lämnas oförändrade

Denna strategi uppmuntrar djupare språkförståelse.

Exempel:

• Original: “The quick brown fox jumps over the lazy dog.”
• Maskerad: “The quick brown [MASK] jumps over the lazy [MASK].”
• Modellen förutsäger “fox” och “dog”.

Next Sentence Prediction (NSP)

NSP hjälper BERT att förstå relationer mellan meningar.

• 50 % av gångerna är mening B den verkliga följande meningen.
• 50 % av gångerna är mening B slumpmässig från korpuset.

Exempel:

• Mening A: “The rain was pouring down.”
• Mening B: “She took out her umbrella.” → “IsNext”
• Mening B: “I enjoy playing chess.” → “NotNext”

Finjustering för nedströmsuppgifter

Efter förträning finjusteras BERT för specifika NLP-uppgifter genom att lägga till utgångslager. Finjustering kräver mindre data och beräkningskraft än träning från grunden.

Hur BERT används

BERT driver många NLP-uppgifter och levererar ofta toppresultat.

Sentimentsanalys

BERT kan klassificera sentiment (t.ex. positiva/negativa recensioner) med stor nyans.

• Exempel: E-handelsföretag använder BERT för att analysera recensioner och förbättra produkter.

Frågehantering

BERT förstår frågor och ger svar utifrån sammanhang.

• Exempel: En chattbot använder BERT för att svara på “Vad är returpolicyn?” genom att referera till policydokument.

Namngiven enhetsigenkänning (NER)

NER identifierar och klassificerar nyckelentiteter (namn, organisationer, datum).

• Exempel: Nyhetsaggregatorer extraherar entiteter så att användare kan söka på specifika ämnen.

Maskinöversättning

Även om BERT inte är utformad för översättning, bidrar dess djupa språkförståelse till översättning i kombination med andra modeller.

Textsammanfattning

BERT kan generera koncisa sammanfattningar genom att identifiera nyckelkoncept.

• Exempel: Juridiska byråer sammanfattar kontrakt för snabb informationsåtkomst.

Textgenerering och komplettering

BERT förutsäger maskerade ord eller sekvenser och hjälper till med textgenerering.

• Exempel: E-postklienter föreslår nästa ord medan användaren skriver.

Exempel på användningsområden

Google-sök

2019 började Google använda BERT för att förbättra sökalgoritmer och förstå sammanhang och avsikt bakom sökfrågor.

Exempel:

• Sökfråga: “Can you get medicine for someone pharmacy?”
• Med BERT: Google förstår att användaren frågar om att hämta medicin åt någon annan.

AI-automatisering och chattbottar

BERT driver chattbottar och förbättrar förståelsen av användarens inmatning.

• Exempel: Kundtjänstchattbottar använder BERT för att hantera komplexa frågor utan mänsklig hjälp.

Hälso- och sjukvårdstillämpningar

Specialiserade BERT-modeller som BioBERT bearbetar biomedicinska texter.

• Exempel: Forskare använder BioBERT för läkemedelsupptäckt och litteraturanalyser.

Juridisk dokumentanalys

Juridiska experter använder BERT för att analysera och sammanfatta juridiska texter.

• Exempel: Advokatbyråer identifierar ansvarsfriskrivningar snabbare med BERT.

Varianter och utvidgningar av BERT

Flera BERT-anpassningar finns för effektivitet eller specifika domäner:

• DistilBERT: Mindre, snabbare, lättare och uppnår 95 % av BERT:s prestanda med 40 % färre parametrar.
  Användningsområde: Mobila miljöer.
• TinyBERT: Ännu mer kondenserad, minskar modellstorlek och inferenstid.
• RoBERTa: Tränad med större batcher och mer data, utan NSP, och når ännu bättre prestanda.
• BioBERT: Förtränad på biomedicinska texter för biomedicinsk NLP.
• PatentBERT: Finjusterad för patentklassificering.
• SciBERT: Anpassad för vetenskaplig text.
• VideoBERT: Integrerar visuell och textuell data för videoförståelse.

BERT inom AI, AI-automatisering och chattbottar

Förbättrar AI-applikationer

BERT:s kontextuella förståelse driver många AI-applikationer:

• Förbättrad språkförståelse: Tolkar text med nyans och kontext.
• Effektiv transferinlärning: Förtränade modeller finjusteras med lite data.
• Mångsidighet: Minskar behovet av uppgiftsspecifika modeller.

Påverkan på chattbottar

BERT har avsevärt förbättrat kvaliteten på chattbottar och AI-automatisering.

Exempel:

• Kundsupport: Chattbottar förstår och svarar korrekt.
• Virtuella assistenter: Bättre igenkänning av kommandon och svar.
• Språköversättningsbottar: Bibehåller kontext och noggrannhet.

AI-automatisering

BERT möjliggör AI-automatisering för att bearbeta stora textmängder utan mänsklig inblandning.

Användningsområden:

• Dokumenthantering: Automatisk sortering, taggning och sammanfattning.
• Innehållsmoderering: Identifierar olämpligt innehåll.
• Automatiserad rapportering: Extraherar nyckelinformation till rapporter.

Forskning om BERT

1. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
   Författare: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
   Introducerar BERT:s arkitektur och effektivitet på flera benchmarktester, vilket möjliggör gemensam kontext från både vänster och höger.
   Läs mer

2. Multi-Task Bidirectional Transformer Representations for Irony Detection
   Författare: Chiyu Zhang, Muhammad Abdul-Mageed
   Tillämpning av BERT på ironidetektion med hjälp av multitask learning och förträning för domänanpassning. Uppnår 82,4 i makro-F1-score.
   Läs mer

3. Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt
   Författare: Hangyu Lin, Yanwei Fu, Yu-Gang Jiang, Xiangyang Xue
   Introducerar Sketch-BERT för skissigenkänning och -återvinning med självövervakad inlärning och nya inbäddningsnätverk.
   Läs mer

4. Transferring BERT Capabilities from High-Resource to Low-Resource Languages Using Vocabulary Matching
   Författare: Piotr Rybak
   Föreslår vokabulärmatchning för att anpassa BERT för lågresursspråk och demokratisera NLP-teknologi.
   Läs mer