Token

トークン

大規模言語モデル（LLM）におけるトークンとは、効率的に処理するためにモデルが数値表現へ変換する文字列のことです。トークンは、GPT-3やChatGPTなどのLLMが言語を理解し生成するために使用するテキストの基本単位です。...