BERT

¿Qué es BERT?

BERT, que significa Bidirectional Encoder Representations from Transformers, es un marco de aprendizaje automático de código abierto para el procesamiento de lenguaje natural (PLN). Desarrollado por investigadores de Google AI Language y presentado en 2018, BERT ha avanzado significativamente el PLN al permitir que las máquinas comprendan el lenguaje de manera más similar a los humanos.

En esencia, BERT ayuda a los ordenadores a interpretar el significado de un lenguaje ambiguo o dependiente del contexto en el texto al considerar las palabras circundantes en una oración, tanto antes como después de la palabra objetivo. Este enfoque bidireccional permite a BERT captar todos los matices del lenguaje, haciéndolo muy efectivo para una amplia variedad de tareas de PLN.

Antecedentes e historia de BERT

La evolución de los modelos de lenguaje

Antes de BERT, la mayoría de los modelos de lenguaje procesaban el texto de manera unidireccional (de izquierda a derecha o de derecha a izquierda), lo que limitaba su capacidad para captar el contexto.

Modelos anteriores como Word2Vec y GloVe generaban incrustaciones de palabras independientes del contexto, asignando un único vector a cada palabra sin importar el contexto. Este enfoque presentaba dificultades con palabras polisémicas (por ejemplo, “banco” como institución financiera vs. orilla del río).

La introducción de los Transformers

En 2017, se presentó la arquitectura Transformer en el artículo “Attention Is All You Need”. Los Transformers son modelos de aprendizaje profundo que utilizan auto-atención, lo que les permite ponderar la importancia de cada parte de la entrada de forma dinámica.

Los Transformers revolucionaron el PLN al procesar todas las palabras de una oración simultáneamente, permitiendo entrenamiento a mayor escala.

Desarrollo de BERT

Los investigadores de Google partieron de la arquitectura Transformer para desarrollar BERT, presentado en el artículo de 2018 “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”. La innovación de BERT fue aplicar entrenamiento bidireccional, considerando tanto el contexto izquierdo como derecho.

BERT fue preentrenado con toda la Wikipedia en inglés (2.5 mil millones de palabras) y BookCorpus (800 millones de palabras), dándole una profunda comprensión de patrones, sintaxis y semántica.

Arquitectura de BERT

Visión general

BERT es una pila de codificadores de la arquitectura Transformer (utiliza solo el codificador, no el decodificador). Consta de múltiples capas (12 o 24 bloques Transformer), cada una con mecanismos de auto-atención y redes neuronales feed-forward.

Tokenización y embeddings

BERT utiliza tokenización WordPiece, dividiendo palabras en subunidades para manejar palabras raras o fuera del vocabulario.

Cada token de entrada se representa como la suma de tres embeddings:

1. Embeddings de token: Tokens individuales (palabras o subpalabras).
2. Embeddings de segmento: Indican si un token pertenece a la oración A o B.
3. Embeddings de posición: Proporcionan información posicional para cada token.

Esto ayuda a BERT a comprender tanto la estructura como la semántica.

Mecanismo de auto-atención

La auto-atención permite a BERT ponderar la importancia de cada token en relación con los demás en la secuencia, capturando dependencias sin importar la distancia.

Por ejemplo, en “El banco subió sus tasas de interés”, la auto-atención ayuda a BERT a vincular “banco” con “tasas de interés”, entendiendo “banco” como institución financiera.

Entrenamiento bidireccional

El entrenamiento bidireccional de BERT le permite captar el contexto en ambas direcciones. Esto se logra mediante dos objetivos de entrenamiento:

1. Modelado de Lenguaje enmascarado (MLM): Enmascara aleatoriamente tokens de entrada y entrena a BERT para predecirlos según el contexto.
2. Predicción de la Siguiente Oración (NSP): Entrena a BERT para predecir si la oración B sigue a la oración A, ayudando a comprender relaciones entre oraciones.

Cómo funciona BERT

Modelado de Lenguaje enmascarado (MLM)

En MLM, BERT selecciona aleatoriamente el 15% de los tokens para posible reemplazo:

• 80% se reemplaza por [MASK]
• 10% se reemplaza por un token aleatorio
• 10% permanece sin cambios

Esta estrategia fomenta una comprensión más profunda del lenguaje.

Ejemplo:

• Original: “El rápido zorro marrón salta sobre el perro perezoso.”
• Enmascarado: “El rápido zorro [MASK] salta sobre el [MASK] perezoso.”
• El modelo predice “marrón” y “perro”.

Predicción de la Siguiente Oración (NSP)

NSP ayuda a BERT a comprender las relaciones entre oraciones.

• El 50% de las veces, la oración B es la verdadera oración siguiente.
• El 50% de las veces, la oración B es aleatoria del corpus.

Ejemplos:

• Oración A: “La lluvia caía intensamente.”
• Oración B: “Ella sacó su paraguas.” → “EsSiguiente”
• Oración B: “Disfruto jugar ajedrez.” → “NoEsSiguiente”

Fine-tuning para tareas específicas

Tras el preentrenamiento, BERT se ajusta para tareas específicas de PLN mediante la adición de capas de salida. El ajuste fino requiere menos datos y cómputo que entrenar desde cero.

Cómo se utiliza BERT

BERT impulsa muchas tareas de PLN, logrando a menudo resultados de última generación.

Análisis de sentimiento

BERT puede clasificar sentimientos (por ejemplo, opiniones positivas/negativas) con sutileza.

• Ejemplo: El comercio electrónico utiliza BERT para analizar reseñas y mejorar productos.

Respuesta a preguntas

BERT entiende preguntas y proporciona respuestas a partir del contexto.

• Ejemplo: Un chatbot usa BERT para responder “¿Cuál es la política de devoluciones?” consultando documentos de políticas.

Reconocimiento de entidades nombradas (NER)

NER identifica y clasifica entidades clave (nombres, organizaciones, fechas).

• Ejemplo: Agregadores de noticias extraen entidades para que los usuarios busquen temas específicos.

Traducción de textos

Aunque no está diseñado para la traducción, la profunda comprensión lingüística de BERT ayuda en la traducción cuando se combina con otros modelos.

Resumen de textos

BERT puede generar resúmenes concisos identificando conceptos clave.

• Ejemplo: Firmas legales resumen contratos para un acceso rápido a la información.

Generación y completado de texto

BERT predice palabras o secuencias enmascaradas, ayudando en la generación de texto.

• Ejemplo: Los clientes de correo sugieren las siguientes palabras mientras el usuario escribe.

Ejemplos de casos de uso

Búsqueda en Google

En 2019, Google empezó a usar BERT para mejorar los algoritmos de búsqueda, comprendiendo el contexto y la intención detrás de las consultas.

Ejemplo:

• Consulta: “¿Se puede recoger medicina para alguien farmacia?”
• Con BERT: Google entiende que el usuario pregunta sobre recoger medicina para otra persona.

Automatización e IA en chatbots

BERT impulsa chatbots, mejorando la comprensión del input del usuario.

• Ejemplo: Chatbots de atención al cliente usan BERT para manejar preguntas complejas sin ayuda humana.

Aplicaciones en salud

Modelos BERT especializados como BioBERT procesan textos biomédicos.

• Ejemplo: Investigadores usan BioBERT para descubrimiento de fármacos y análisis de literatura.

Análisis de documentos legales

Profesionales legales usan BERT para analizar y resumir textos jurídicos.

• Ejemplo: Despachos identifican cláusulas de responsabilidad más rápidamente con BERT.

Variaciones y extensiones de BERT

Existen varias adaptaciones de BERT para mayor eficiencia o dominios específicos:

• DistilBERT: Más pequeño, rápido y liviano, con el 95% del rendimiento de BERT usando un 40% menos de parámetros.
  Caso de uso: Entornos móviles.
• TinyBERT: Aún más condensado, reduciendo el tamaño del modelo y el tiempo de inferencia.
• RoBERTa: Entrenado con lotes más grandes y más datos, omitiendo NSP, logrando incluso mejor rendimiento.
• BioBERT: Preentrenado en textos biomédicos para tareas de PLN biomédico.
• PatentBERT: Ajustado para la clasificación de patentes.
• SciBERT: Adaptado para textos científicos.
• VideoBERT: Integra datos visuales y textuales para la comprensión de videos.

BERT en IA, automatización de IA y chatbots

Mejorando aplicaciones de IA

La comprensión contextual de BERT potencia numerosas aplicaciones de IA:

• Mejor comprensión del lenguaje: Interpreta texto con matices y contexto.
• Transferencia eficiente de aprendizaje: Modelos preentrenados ajustados con pocos datos.
• Versatilidad: Reduce la necesidad de modelos específicos por tarea.

Impacto en chatbots

BERT ha mejorado notablemente la calidad de los chatbots y la automatización con IA.

Ejemplos:

• Atención al cliente: Los chatbots comprenden y responden con precisión.
• Asistentes virtuales: Mejor reconocimiento de comandos y respuestas.
• Bots de traducción: Mantienen el contexto y la precisión.

Automatización con IA

BERT habilita la automatización con IA para procesar grandes volúmenes de texto sin intervención humana.

Casos de uso:

• Procesamiento de documentos: Clasificación, etiquetado y resumen automáticos.
• Moderación de contenido: Identificación de contenido inapropiado.
• Reportes automatizados: Extracción de información clave para informes.

Investigación sobre BERT

1. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
   Autores: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
   Presenta la arquitectura de BERT y su efectividad en múltiples benchmarks, permitiendo el condicionamiento conjunto en ambos contextos.
   Leer más

2. Multi-Task Bidirectional Transformer Representations for Irony Detection
   Autores: Chiyu Zhang, Muhammad Abdul-Mageed
   Aplica BERT a la detección de ironía, aprovechando el aprendizaje multitarea y el preentrenamiento para la adaptación de dominio. Logra una puntuación F1 macro de 82.4.
   Leer más

3. Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt
   Autores: Hangyu Lin, Yanwei Fu, Yu-Gang Jiang, Xiangyang Xue
   Presenta Sketch-BERT para reconocimiento y recuperación de bocetos, aplicando aprendizaje auto-supervisado y novedosas redes de embeddings.
   Leer más

4. Transferring BERT Capabilities from High-Resource to Low-Resource Languages Using Vocabulary Matching
   Autor: Piotr Rybak
   Propone el emparejamiento de vocabulario para adaptar BERT a lenguas con pocos recursos, democratizando la tecnología de PLN.
   Leer más