Token

标记

在大型语言模型（LLM）中，标记是由模型转换为数字表示以便高效处理的字符序列。标记是 LLM（如 GPT-3 和 ChatGPT）用于理解和生成语言的基本文本单位。...