Tokenization

Jeton

Un jeton, dans le contexte des grands modèles de langage (LLM), est une séquence de caractères que le modèle convertit en représentations numériques pour un tra...