Définition de Token
Dans le contexte des modèles de langage génératif comme GPT-3, un « token » est le terme utilisé pour désigner la plus petite unité de données que le modèle peut lire, comprendre et générer. Un token peut être aussi petit qu’un seul …