BERT

Co je to BERT?

BERT, což znamená Bidirectional Encoder Representations from Transformers, je open-source rámec strojového učení pro zpracování přirozeného jazyka (NLP). Vyvinutý výzkumníky z Google AI Language a představený v roce 2018, BERT významně posunul NLP tím, že umožnil strojům chápat jazyk podobně jako člověk.

BERT pomáhá počítačům interpretovat význam nejednoznačného nebo kontextově závislého jazyka v textu tím, že bere v úvahu okolní slova ve větě – jak před, tak za cílovým slovem. Tento obousměrný přístup umožňuje BERTu zachytit plnou nuanci jazyka a činí jej velmi efektivním pro širokou škálu NLP úloh.

Pozadí a historie BERTu

Vývoj jazykových modelů

Před BERTem většina jazykových modelů zpracovávala text jednosměrně (buď zleva doprava, nebo zprava doleva), což omezovalo jejich schopnost zachytit kontext.

Starší modely jako Word2Vec a GloVe generovaly kontextově nezávislé vektorové reprezentace slov, přidělující každému slovu jeden vektor bez ohledu na kontext. Tento přístup měl potíže s vícevýznamovými slovy (např. „banka“ jako finanční instituce vs. říční břeh).

Zavedení Transformerů

V roce 2017 byla v článku „Attention Is All You Need“ představena architektura Transformer. Transformery jsou hluboké neuronové modely využívající self-attention, což jim umožňuje dynamicky zohledňovat význam jednotlivých částí vstupu.

Transformery způsobily revoluci v NLP tím, že zpracovávají všechna slova ve větě současně, což umožňuje trénovat na větších datech.

Vývoj BERTu

Výzkumníci Googlu postavili BERT na architektuře Transformer a představili jej v roce 2018 v článku „BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding“. Inovací BERTu bylo použití obousměrného trénování, kde je zohledněn kontext z obou stran.

BERT byl předtrénován na celé anglické Wikipedii (2,5 miliardy slov) a BookCorpus (800 milionů slov), což mu poskytlo hluboké porozumění vzorcům, syntaxi a sémantice.

Architektura BERTu

Přehled

BERT je zásobník kodérů architektury Transformer (používá pouze kodér, nikoliv dekodér). Skládá se z několika vrstev (12 nebo 24 bloků Transformeru), z nichž každý obsahuje self-attention a dopředné neuronové sítě.

Tokenizace a vektorizace

BERT používá WordPiece tokenizaci, která rozděluje slova na podslova a zvládá tak vzácná/slova mimo slovník.

Každý vstupní token je reprezentován součtem tří embeddingů:

1. Token Embeddings: Jednotlivé tokeny (slova nebo podslova).
2. Segment Embeddings: Naznačují, zda token patří větě A nebo B.
3. Position Embeddings: Dodávají informaci o pozici každého tokenu.

Tyto vrstvy umožňují BERTu chápat jak strukturu, tak sémantiku.

Mechanismus self-attention

Self-attention umožňuje BERTu přiřazovat různou důležitost jednotlivým tokenům v sekvenci bez ohledu na jejich vzdálenost.

Například ve větě „Banka zvýšila úrokové sazby“ pomáhá self-attention BERTu spojit „banka“ s „úrokové sazby“ a pochopit „banka“ jako finanční instituci.

Obousměrné trénování

Obousměrné trénování BERTu mu umožňuje zachytit kontext z obou směrů. To je dosaženo pomocí dvou trénovacích úloh:

1. Masked Language Modeling (MLM): Náhodně maskuje vstupní tokeny a trénuje BERT, aby je předpověděl na základě kontextu.
2. Next Sentence Prediction (NSP): Učí BERT předpovídat, zda věta B následuje za větou A, což napomáhá porozumět vztahům mezi větami.

Jak BERT funguje

Masked Language Modeling (MLM)

Při MLM BERT náhodně vybere 15 % tokenů k možné nahrazení:

• 80 % je nahrazeno [MASK]
• 10 % je nahrazeno náhodným tokenem
• 10 % zůstává nezměněno

Tato strategie podporuje hlubší porozumění jazyku.

Příklad:

• Originál: „The quick brown fox jumps over the lazy dog.“
• Maskováno: „The quick brown [MASK] jumps over the lazy [MASK].“
• Model předpovídá „fox“ a „dog“.

Next Sentence Prediction (NSP)

NSP pomáhá BERTu chápat vztahy mezi větami.

• 50 % případů je věta B skutečně následující věta.
• 50 % případů je věta B náhodná z korpusu.

Příklady:

• Věta A: „The rain was pouring down.“
• Věta B: „She took out her umbrella.“ → „IsNext“
• Věta B: „I enjoy playing chess.“ → „NotNext“

Doladění pro konkrétní úlohy

Po předtrénování je BERT dále doladěn pro specifické NLP úlohy přidáním výstupních vrstev. Doladění vyžaduje méně dat a výpočetního výkonu než trénování od nuly.

Jak se BERT používá

BERT pohání řadu NLP úloh a často dosahuje špičkových výsledků.

Analýza sentimentu

BERT dokáže s jemností klasifikovat sentiment (např. pozitivní/negativní recenze).

• Příklad: E-shopy používají BERT k analýze recenzí a vylepšení produktů.

Odpovídání na otázky

BERT rozumí otázkám a nachází odpovědi v kontextu.

• Příklad: Chatbot využívá BERT k odpovědi na „Jaká je politika vracení zboží?“ podle dokumentace.

Rozpoznávání pojmenovaných entit (NER)

NER identifikuje a klasifikuje klíčové entity (jména, organizace, data).

• Příklad: Zpravodajské agregátory extrahují entity pro snadnější vyhledávání témat.

Strojový překlad

I když BERT není přímo určen pro překlad, jeho hluboké porozumění jazyku pomáhá při překladu v kombinaci s dalšími modely.

Sumarizace textu

BERT dokáže generovat stručné shrnutí vyhledáním klíčových konceptů.

• Příklad: Právní firmy shrnují smlouvy pro rychlý přehled.

Generování a doplňování textu

BERT předpovídá maskovaná slova nebo sekvence, čímž se využívá pro generování textu.

• Příklad: E-mailové klienty navrhují další slova při psaní zprávy.

Příklady využití

Google Search

V roce 2019 začal Google využívat BERT pro vylepšení vyhledávacích algoritmů, aby lépe rozuměl kontextu a záměru dotazů.

Příklad:

• Dotaz: „Can you get medicine for someone pharmacy?“
• S BERTem: Google pochopí, že se uživatel ptá na vyzvednutí léků pro někoho jiného.

AI automatizace a chatboti

BERT pohání chatboty a vylepšuje porozumění uživatelským vstupům.

• Příklad: Chatboti zákaznické podpory zvládají složité dotazy bez zásahu člověka.

Zdravotnické aplikace

Specializované modely jako BioBERT zpracovávají biomedicínské texty.

• Příklad: Výzkumníci používají BioBERT pro objevování léků a analýzu literatury.

Analýza právních dokumentů

Právníci využívají BERT pro analýzu a shrnutí právních textů.

• Příklad: Právní kanceláře rychleji identifikují odpovědnostní klauzule pomocí BERTu.

Varianty a rozšíření BERTu

Existuje několik adaptací BERTu pro efektivitu nebo konkrétní domény:

• DistilBERT: Menší, rychlejší, lehčí, s 95 % výkonu BERTu a o 40 % méně parametrů.
  Využití: Mobilní prostředí.
• TinyBERT: Ještě kompaktnější, zmenšuje velikost modelu a dobu inference.
• RoBERTa: Trénován na větších dávkách a více datech, bez NSP, dosahuje ještě lepších výsledků.
• BioBERT: Předtrénován na biomedicínských textech pro biomedicínské NLP.
• PatentBERT: Doladěn pro klasifikaci patentů.
• SciBERT: Přizpůsoben pro vědecké texty.
• VideoBERT: Integruje vizuální a textová data pro porozumění videu.

BERT v AI, automatizaci a chatbotech

Zlepšování AI aplikací

BERTovo kontextové porozumění pohání mnoho AI aplikací:

• Lepší porozumění jazyku: Interpretuje text s nuancemi a v kontextu.
• Efektivní transfer learning: Předtrénované modely lze doladit s malým množstvím dat.
• Univerzálnost: Snižuje potřebu úzce zaměřených modelů.

Dopad na chatboty

BERT výrazně zlepšil kvalitu chatbotů a AI automatizace.

Příklady:

• Zákaznická podpora: Chatboti rozumí a přesně odpovídají.
• Virtuální asistenti: Lepší rozpoznání příkazů a odpovědi.
• Překladatelské boty: Zachovávají kontext a přesnost.

AI automatizace

BERT umožňuje AI automatizaci pro zpracování velkých objemů textu bez zásahu člověka.

Využití:

• Zpracování dokumentů: Automatické třídění, tagování a sumarizace.
• Moderování obsahu: Identifikace nevhodného obsahu.
• Automatizované reporty: Extrakce klíčových informací pro reporty.

Výzkum o BERTu

1. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
   Autoři: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
   Představuje architekturu BERTu a jeho efektivitu na více benchmarcích, umožňuje společné podmínění na levém i pravém kontextu.
   Více zde

2. Multi-Task Bidirectional Transformer Representations for Irony Detection
   Autoři: Chiyu Zhang, Muhammad Abdul-Mageed
   Aplikuje BERT pro detekci ironie, využívá multitask learning a pretrénování pro doménovou adaptaci. Dosahuje 82,4 makro F1 skóre.
   Více zde

3. Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt
   Autoři: Hangyu Lin, Yanwei Fu, Yu-Gang Jiang, Xiangyang Xue
   Představuje Sketch-BERT pro rozpoznávání a vyhledávání skic, využívá self-supervised učení a nové embeddingové sítě.
   Více zde

4. Transferring BERT Capabilities from High-Resource to Low-Resource Languages Using Vocabulary Matching
   Autor: Piotr Rybak
   Navrhuje slovníkové mapování pro adaptaci BERTu na málo zastoupené jazyky a demokratizaci NLP technologií.
   Více zde