BERT

Was ist BERT?

BERT, kurz für Bidirectional Encoder Representations from Transformers, ist ein Open-Source-Framework für maschinelles Lernen zur Verarbeitung natürlicher Sprache (NLP). Entwickelt von Forschenden bei Google AI Language und 2018 eingeführt, hat BERT das NLP erheblich vorangebracht, indem Maschinen Sprache mehr wie Menschen verstehen lässt.

Im Kern hilft BERT Computern, die Bedeutung von mehrdeutiger oder kontextabhängiger Sprache im Text zu interpretieren, indem es die umgebenden Wörter in einem Satz — sowohl vor als auch nach dem Zielwort — berücksichtigt. Dieser bidirektionale Ansatz ermöglicht es BERT, die volle Nuance der Sprache zu erfassen und macht es äußerst effektiv für eine Vielzahl von NLP-Aufgaben.

Hintergrund und Geschichte von BERT

Die Entwicklung von Sprachmodellen

Vor BERT verarbeiteten die meisten Sprachmodelle Texte unidirektional (entweder von links nach rechts oder von rechts nach links), was ihre Fähigkeit, Kontext zu erfassen, einschränkte.

Frühere Modelle wie Word2Vec und GloVe erzeugten kontextfreie Wort-Embeddings und ordneten jedem Wort einen einzelnen Vektor zu, unabhängig vom Kontext. Dieser Ansatz hatte Schwierigkeiten mit mehrdeutigen Wörtern (z. B. „Bank“ als Finanzinstitut vs. Flussufer).

Die Einführung von Transformers

2017 wurde die Transformer-Architektur im Paper „Attention Is All You Need“ vorgestellt. Transformer sind Deep-Learning-Modelle, die Self-Attention verwenden, wodurch sie die Bedeutung jedes Teils der Eingabe dynamisch gewichten können.

Transformer revolutionierten das NLP, indem sie alle Wörter eines Satzes gleichzeitig verarbeiteten und so ein großangelegtes Training ermöglichten.

Entwicklung von BERT

Google-Forschende bauten auf der Transformer-Architektur auf, um BERT zu entwickeln, das 2018 im Paper „BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding“ vorgestellt wurde. Die Innovation von BERT bestand darin, bidirektionales Training anzuwenden, also sowohl den linken als auch den rechten Kontext zu berücksichtigen.

BERT wurde auf der gesamten englischen Wikipedia (2,5 Milliarden Wörter) und dem BookCorpus (800 Millionen Wörter) vortrainiert und erhielt so ein tiefes Verständnis für Muster, Syntax und Semantik.

Architektur von BERT

Überblick

BERT ist ein Encoder-Stack der Transformer-Architektur (verwendet nur den Encoder, nicht den Decoder). Es besteht aus mehreren Schichten (12 oder 24 Transformer-Blöcke), jeweils mit Self-Attention und Feed-Forward-Neuronalen Netzen.

Tokenisierung und Embedding

BERT nutzt WordPiece-Tokenisierung und zerlegt Wörter in Subworteinheiten, um seltene oder unbekannte Wörter zu verarbeiten.

Jedes Eingabetoken wird durch die Summe von drei Embeddings dargestellt:

1. Token Embeddings: Einzelne Tokens (Wörter oder Subwörter).
2. Segment Embeddings: Zeigen an, ob ein Token zu Satz A oder B gehört.
3. Position Embeddings: Liefern Positionsinformationen für jedes Token.

Diese helfen BERT, sowohl Struktur als auch Semantik zu verstehen.

Self-Attention-Mechanismus

Self-Attention ermöglicht es BERT, die Wichtigkeit jedes Tokens in Bezug auf alle anderen in der Sequenz zu gewichten und so Abhängigkeiten unabhängig von deren Abstand zu erfassen.

Beispiel: In „Die Bank erhöhte ihre Zinssätze“ hilft Self-Attention BERT, „Bank“ mit „Zinssätze“ zu verknüpfen und „Bank“ als Finanzinstitut zu verstehen.

Bidirektionales Training

Das bidirektionale Training von BERT ermöglicht es, Kontexte aus beiden Richtungen zu erfassen. Dies wird durch zwei Trainingsziele erreicht:

1. Masked Language Modeling (MLM): Maskiert zufällig Eingabetokens und trainiert BERT, diese anhand des Kontexts vorherzusagen.
2. Next Sentence Prediction (NSP): Trainiert BERT darauf, vorherzusagen, ob Satz B auf Satz A folgt, um Satzbeziehungen zu verstehen.

Wie BERT funktioniert

Masked Language Modeling (MLM)

Beim MLM wählt BERT zufällig 15% der Tokens zur möglichen Ersetzung aus:

• 80% werden durch [MASK] ersetzt
• 10% durch ein zufälliges Token ersetzt
• 10% bleiben unverändert

Diese Strategie fördert ein tieferes Sprachverständnis.

Beispiel:

• Original: „Der schnelle braune Fuchs springt über den faulen Hund.“
• Maskiert: „Der schnelle braune [MASK] springt über den faulen [MASK].“
• Das Modell sagt „Fuchs“ und „Hund“ vorher.

Next Sentence Prediction (NSP)

NSP hilft BERT, Beziehungen zwischen Sätzen zu verstehen.

• 50% der Zeit ist Satz B tatsächlich der nächste Satz.
• 50% der Zeit ist Satz B zufällig aus dem Korpus gewählt.

Beispiele:

• Satz A: „Der Regen prasselte herunter.“
• Satz B: „Sie holte ihren Regenschirm heraus.“ → „IsNext“
• Satz B: „Ich spiele gerne Schach.“ → „NotNext“

Feinabstimmung für nachgelagerte Aufgaben

Nach dem Pretraining wird BERT für spezifische NLP-Aufgaben durch Hinzufügen von Ausgabeschichten feinabgestimmt. Das Fine-Tuning erfordert weniger Daten und Rechenleistung als Training von Grund auf.

Wie BERT verwendet wird

BERT treibt viele NLP-Aufgaben an und erzielt oft Spitzenleistungen.

Sentiment-Analyse

BERT kann Stimmungen (z. B. positive/negative Bewertungen) mit Feinheit klassifizieren.

• Beispiel: E-Commerce nutzt BERT, um Bewertungen zu analysieren und Produkte zu verbessern.

Fragebeantwortung

BERT versteht Fragen und liefert kontextbasierte Antworten.

• Beispiel: Ein Chatbot verwendet BERT, um auf „Wie ist die Rückgaberichtlinie?“ anhand von Richtliniendokumenten zu antworten.

Named Entity Recognition (NER)

NER identifiziert und klassifiziert wichtige Entitäten (Namen, Organisationen, Daten).

• Beispiel: News-Aggregatoren extrahieren Entitäten, damit Nutzer gezielt Themen suchen können.

Übersetzung

Obwohl BERT nicht für Übersetzung entwickelt wurde, unterstützt sein tiefes Sprachverständnis Übersetzungsaufgaben, wenn es mit anderen Modellen kombiniert wird.

Textzusammenfassung

BERT kann prägnante Zusammenfassungen erstellen, indem es Schlüsselkonzepte identifiziert.

• Beispiel: Anwaltskanzleien fassen Verträge für den schnellen Informationszugriff zusammen.

Textgenerierung und -vervollständigung

BERT sagt maskierte Wörter oder Sequenzen voraus und unterstützt so die Textgenerierung.

• Beispiel: E-Mail-Programme schlagen beim Tippen das nächste Wort vor.

Beispiele für Anwendungsfälle

Google Suche

2019 begann Google, BERT zur Verbesserung der Suchalgorithmen einzusetzen, um Kontext und Intention hinter Suchanfragen zu verstehen.

Beispiel:

• Suchanfrage: „Kann man für jemanden Medikamente in der Apotheke holen?“
• Mit BERT: Google versteht, dass die Nutzerin fragt, ob sie Medikamente für jemand anderen abholen kann.

KI-Automatisierung und Chatbots

BERT treibt Chatbots an und verbessert das Verständnis von Nutzereingaben.

• Beispiel: Kundensupport-Chatbots nutzen BERT, um komplexe Anfragen ohne menschliche Hilfe zu bearbeiten.

Anwendungen im Gesundheitswesen

Spezialisierte BERT-Modelle wie BioBERT verarbeiten biomedizinische Texte.

• Beispiel: Forschende verwenden BioBERT für Wirkstoffforschung und Literaturanalysen.

Analyse juristischer Dokumente

Jurist:innen nutzen BERT zur Analyse und Zusammenfassung juristischer Texte.

• Beispiel: Kanzleien identifizieren Haftungsklauseln mit BERT schneller.

Varianten und Erweiterungen von BERT

Es gibt zahlreiche BERT-Adaptionen für Effizienz oder spezifische Fachbereiche:

• DistilBERT: Kleiner, schneller, leichter und erreicht 95% der BERT-Leistung bei 40% weniger Parametern.
  Anwendungsfall: Mobile Umgebungen.
• TinyBERT: Noch kompakter, reduziert Modellgröße und Inferenzzeit.
• RoBERTa: Mit größeren Batches und mehr Daten trainiert, verzichtet auf NSP und erzielt noch bessere Leistungen.
• BioBERT: Auf biomedizinischen Texten vortrainiert für biomedizinisches NLP.
• PatentBERT: Für die Patentklassifizierung feinabgestimmt.
• SciBERT: Für wissenschaftliche Texte optimiert.
• VideoBERT: Integriert visuelle und textuelle Daten für Videoverständnis.

BERT in KI, KI-Automatisierung und Chatbots

Verbesserung von KI-Anwendungen

Das kontextuelle Verständnis von BERT ermöglicht zahlreiche KI-Anwendungen:

• Verbessertes Sprachverständnis: Interpretiert Texte mit Nuancen und Kontext.
• Effizientes Transferlernen: Vorgefertigte Modelle können mit wenig Daten feinabgestimmt werden.
• Vielseitigkeit: Reduziert den Bedarf an aufgabenspezifischen Modellen.

Einfluss auf Chatbots

BERT hat die Qualität von Chatbots und KI-Automatisierung deutlich gesteigert.

Beispiele:

• Kundensupport: Chatbots verstehen und antworten präzise.
• Virtuelle Assistenten: Besseres Erkennen und Beantworten von Befehlen.
• Übersetzungs-Bots: Erhalten Kontext und Genauigkeit.

KI-Automatisierung

BERT ermöglicht KI-Automatisierung zur Verarbeitung großer Textmengen ohne menschliches Zutun.

Anwendungsfälle:

• Dokumentenverarbeitung: Automatisches Sortieren, Taggen und Zusammenfassen.
• Inhaltsmoderation: Erkennung unangemessener Inhalte.
• Automatisierte Berichte: Extraktion von Schlüsselinformationen für Berichte.

Forschung zu BERT

1. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
   Autoren: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
   Stellt BERTs Architektur und Wirksamkeit auf mehreren Benchmarks vor und ermöglicht die gemeinsame Konditionierung auf linken und rechten Kontext.
   Mehr erfahren

2. Multi-Task Bidirectional Transformer Representations for Irony Detection
   Autoren: Chiyu Zhang, Muhammad Abdul-Mageed
   Wendet BERT auf Ironie-Erkennung an, nutzt Multi-Task-Lernen und Pretraining für Domänenanpassung. Erreicht einen Macro-F1-Score von 82,4.
   Mehr erfahren

3. Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt
   Autoren: Hangyu Lin, Yanwei Fu, Yu-Gang Jiang, Xiangyang Xue
   Stellt Sketch-BERT für Skizzen-Erkennung und -Abruf vor, nutzt selbstüberwachtes Lernen und neuartige Embedding-Netzwerke.
   Mehr erfahren

4. Transferring BERT Capabilities from High-Resource to Low-Resource Languages Using Vocabulary Matching
   Autor: Piotr Rybak
   Schlägt Vokabularabgleich zur Anpassung von BERT für ressourcenarme Sprachen vor und demokratisiert so NLP-Technologie.
   Mehr erfahren