Token
Un token en el contexto de los modelos de lenguaje grandes (LLM) es una secuencia de caracteres que el modelo convierte en representaciones numéricas para un procesamiento eficiente. Los tokens son las unidades básicas de texto utilizadas por LLMs como GPT-3 y ChatGPT para comprender y generar lenguaje.
•
3 min read