BERT

Čo je BERT?

BERT, čo znamená Bidirectional Encoder Representations from Transformers, je open-source framework strojového učenia pre spracovanie prirodzeného jazyka (NLP). Vyvinutý výskumníkmi z Google AI Language a predstavený v roku 2018, BERT výrazne posunul NLP tým, že umožňuje strojom rozumieť jazyku podobne ako ľudia.

V jadre BERT pomáha počítačom interpretovať význam nejednoznačného alebo kontextovo závislého jazyka v texte zohľadnením okolitých slov vo vete — pred aj po cieľovom slove. Tento obojsmerný prístup umožňuje BERT-u zachytiť plné nuansy jazyka, vďaka čomu je veľmi efektívny pre široké spektrum NLP úloh.

Pozadie a história BERT-u

Vývoj jazykových modelov

Pred BERT-om väčšina jazykových modelov spracovávala text jednosmerne (buď zľava doprava, alebo sprava doľava), čo obmedzovalo ich schopnosť zachytiť kontext.

Predošlé modely ako Word2Vec a GloVe generovali kontextovo nezávislé vektorové reprezentácie slov, pričom každému slovu priraďovali jeden vektor bez ohľadu na kontext. Tento prístup mal problémy s viacvýznamovými slovami (napr. „banka“ ako finančná inštitúcia vs. breh rieky).

Zavedenie Transformerov

V roku 2017 bola predstavená architektúra Transformer v článku „Attention Is All You Need“. Transformery sú hlboké modely učenia, ktoré využívajú self-attention, čo im umožňuje dynamicky určovať dôležitosť každej časti vstupu.

Transformery spôsobili revolúciu v NLP tým, že spracovávajú všetky slová vo vete súčasne, čo umožňuje rozsiahlejšie trénovanie.

Vývoj BERT-u

Výskumníci z Google postavili na architektúre Transformer a vyvinuli BERT, predstavený v roku 2018 v článku „BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.“ Inováciou BERT-u bolo použitie obojsmerného trénovania, teda zohľadňovanie kontextu zľava aj sprava.

BERT bol pretrénovaný na celej anglickej Wikipédii (2,5 miliardy slov) a BookCorpus (800 miliónov slov), čo mu poskytlo hlboké porozumenie vzorom, syntaxe a sémantiky.

Architektúra BERT-u

Prehľad

BERT je encoderová časť architektúry Transformer (využíva len encoder, nie decoder). Skladá sa z viacerých vrstiev (12 alebo 24 Transformer blokov), z ktorých každý obsahuje self-attention a dopredné neurónové siete.

Tokenizácia a embedding

BERT používa WordPiece tokenizáciu, ktorá rozdeľuje slová na podslovné jednotky, aby zvládol zriedkavé alebo neznáme slová.

Každý vstupný token je reprezentovaný súčtom troch embeddingov:

1. Tokenové embeddingy: Jednotlivé tokeny (slová alebo podslová).
2. Segmentové embeddingy: Označujú, či token patrí do vety A alebo B.
3. Pozíciové embeddingy: Poskytujú informáciu o pozícii každého tokenu.

Tieto embeddingy pomáhajú BERT-u pochopiť štruktúru aj význam.

Mechanizmus self-attention

Self-attention umožňuje BERT-u určiť dôležitosť každého tokenu voči všetkým ostatným v sekvencii a zachytiť závislosti bez ohľadu na ich vzdialenosť.

Napríklad vo vete „Banka zvýšila úrokové sadzby“ self-attention pomáha BERT-u prepojiť „banka“ s „úrokové sadzby“ a správne pochopiť „banka“ ako finančnú inštitúciu.

Obojsmerné trénovanie

Obojsmerné trénovanie BERT-u mu umožňuje zachytiť kontext z oboch smerov. Je realizované dvomi trénovacími cieľmi:

1. Masked Language Modeling (MLM): Náhodne maskuje vstupné tokeny a trénuje BERT, aby ich predpovedal na základe kontextu.
2. Next Sentence Prediction (NSP): Trénuje BERT na predikciu, či veta B nasleduje po vete A, čím sa učí vzťahom medzi vetami.

Ako funguje BERT

Masked Language Modeling (MLM)

Pri MLM BERT náhodne vyberie 15 % tokenov na prípadnú zámenu:

• 80 % je nahradených [MASK]
• 10 % je nahradených náhodným tokenom
• 10 % ostáva nezmenených

Táto stratégia vedie k hlbšiemu porozumeniu jazyka.

Príklad:

• Originál: „The quick brown fox jumps over the lazy dog.“
• Zamaskované: „The quick brown [MASK] jumps over the lazy [MASK].“
• Model predpovedá „fox“ a „dog“.

Next Sentence Prediction (NSP)

NSP pomáha BERT-u pochopiť vzťahy medzi vetami.

• 50 % prípadov je veta B skutočným pokračovaním.
• 50 % prípadov je veta B náhodná z korpusu.

Príklady:

• Veta A: „Pršalo veľmi silno.“
• Veta B: „Vzala si dáždnik.“ → „IsNext“
• Veta B: „Rád hrám šach.“ → „NotNext“

Doladenie pre následné úlohy

Po pretrénovaní sa BERT dolaďuje pre konkrétne NLP úlohy pridaním výstupných vrstiev. Doladenie vyžaduje menej dát a výpočtov ako trénovanie od nuly.

Ako sa BERT používa

BERT poháňa mnohé NLP úlohy a často dosahuje najlepšie výsledky.

Analýza sentimentu

BERT dokáže klasifikovať sentiment (napr. pozitívne/negatívne recenzie) s veľkou jemnosťou.

• Príklad: E-shopy používajú BERT na analýzu recenzií a zlepšenie produktov.

Zodpovedanie otázok

BERT rozumie otázkam a poskytuje odpovede na základe kontextu.

• Príklad: Chatbot použije BERT na odpoveď „Aká je politika vrátenia tovaru?“ podľa firemných dokumentov.

Rozpoznávanie pomenovaných entít (NER)

NER identifikuje a klasifikuje kľúčové entity (mená, organizácie, dátumy).

• Príklad: News agregátory extrahujú entity pre vyhľadávanie konkrétnych tém.

Preklad textu

Aj keď nie je špeciálne navrhnutý pre preklad, hlboké porozumenie jazyka v BERT-e napomáha prekladu v kombinácii s inými modelmi.

Sumarizácia textu

BERT vie generovať stručné zhrnutia identifikovaním kľúčových konceptov.

• Príklad: Právnické firmy sumarizujú zmluvy pre rýchly prístup k informáciám.

Generovanie a dopĺňanie textu

BERT predpovedá chýbajúce slová alebo sekvencie, čím pomáha pri generovaní textu.

• Príklad: Emailové klienty navrhujú ďalšie slová, keď používateľ píše.

Príklady použitia

Vyhľadávanie Google

V roku 2019 začal Google používať BERT na zlepšenie vyhľadávacích algoritmov, aby lepšie chápal kontext a zámer dotazov.

Príklad:

• Dopyt: „Can you get medicine for someone pharmacy?“
• S BERT-om: Google pochopí, že používateľ sa pýta, či môže vyzdvihnúť lieky pre niekoho iného.

AI automatizácia a chatboti

BERT poháňa chatboty a zlepšuje pochopenie používateľských vstupov.

• Príklad: Zákaznícka podpora využíva BERT na riešenie zložitých otázok bez zásahu človeka.

Zdravotnícke aplikácie

Špecializované modely ako BioBERT spracúvajú biomedicínske texty.

• Príklad: Výskumníci používajú BioBERT na objavovanie liekov a analýzu literatúry.

Analýza právnych dokumentov

Právnici využívajú BERT na analýzu a sumarizáciu právnych textov.

• Príklad: Právnické firmy rýchlejšie identifikujú doložky o zodpovednosti pomocou BERT-u.

Varianty a rozšírenia BERT-u

Existuje viacero adaptácií BERT-u pre efektivitu alebo špecifické domény:

• DistilBERT: Menší, rýchlejší, odľahčený, s 95 % výkonu BERT-u pri 40 % menej parametroch.
  Použitie: Mobilné prostredie.
• TinyBERT: Ešte kompaktnejší, so zmenšenou veľkosťou a rýchlejšou inferenciou.
• RoBERTa: Trénovaný s väčšími batchmi a viac dátami, bez NSP, s ešte lepším výkonom.
• BioBERT: Pretrénovaný na biomedicínskych textoch pre biomedicínske NLP.
• PatentBERT: Doladený na klasifikáciu patentov.
• SciBERT: Prispôsobený pre vedecké texty.
• VideoBERT: Integruje vizuálne a textové dáta na porozumenie videí.

BERT v AI, AI automatizácii a chatbotoch

Zlepšenie AI aplikácií

Kontextové porozumenie BERT-u poháňa mnohé AI aplikácie:

• Lepšie porozumenie jazyka: Interpretuje text s nuansami a kontextom.
• Efektívny transfer learning: Pretrénované modely sa dolaďujú s málo dátami.
• Univerzálnosť: Znižuje potrebu špecifických modelov pre každú úlohu.

Vplyv na chatbotov

BERT výrazne zlepšil kvalitu chatbotov a AI automatizácie.

Príklady:

• Zákaznícka podpora: Chatboti presne chápu a odpovedajú na otázky.
• Virtuálni asistenti: Lepšie rozpoznávanie príkazov a odpovedí.
• Prekladacie boty: Zachovávajú kontext a presnosť.

AI automatizácia

BERT umožňuje AI automatizáciu pri spracovaní veľkého objemu textu bez zásahu človeka.

Príklady:

• Spracovanie dokumentov: Automatické triedenie, označovanie a sumarizácia.
• Moderovanie obsahu: Identifikácia nevhodného obsahu.
• Automatizované reportovanie: Extrakcia kľúčových informácií do správ.

Výskum o BERT-e

1. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
   Autori: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
   Predstavuje architektúru BERT-u a jeho efektívnosť na viacerých benchmarkoch, umožňuje spoločné podmieňovanie zľava aj sprava.
   Viac info

2. Multi-Task Bidirectional Transformer Representations for Irony Detection
   Autori: Chiyu Zhang, Muhammad Abdul-Mageed
   Aplikuje BERT na detekciu irónie, využíva multitask learning a pretrénovanie na adaptáciu do domén. Dosahuje 82,4 macro F1 skóre.
   Viac info

3. Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt
   Autori: Hangyu Lin, Yanwei Fu, Yu-Gang Jiang, Xiangyang Xue
   Predstavuje Sketch-BERT na rozpoznávanie a vyhľadávanie skíc, využíva self-supervised learning a nové embedding siete.
   Viac info

4. Transferring BERT Capabilities from High-Resource to Low-Resource Languages Using Vocabulary Matching
   Autor: Piotr Rybak
   Navrhuje zladenie slovnej zásoby na adaptáciu BERT-u pre jazyky s nedostatkom dát, čím demokratizuje NLP technológie.
   Viac info