404 Mates

Accueil/Lexique/IA

IA

Token

Aussi : tokens · tokenization · tokenisation

En clair

Un modèle ne lit pas des mots mais des tokens : des fragments, souvent une syllabe ou un bout de mot. Tout se compte dans cette unité — la facture, la vitesse, la quantité de texte acceptée. En français, la découpe est moins efficace qu’en anglais : cent tokens représentent grosso modo soixante à soixante-quinze mots.

Concrètement

Une consigne de quatre mille tokens est renvoyée, et refacturée, à chacune des requêtes de la journée.

Pourquoi ça compte

Raisonner en pages ou en mots sous-estime la facture. C’est aussi ce qui explique qu’un PDF mal nettoyé coûte cher sans rien améliorer à la réponse.

Définition technique

Unité de texte traitée par un modèle (souvent un morceau de mot). Les coûts et fenêtres de contexte se comptent en tokens.

Termes liés

Vu dans ces articles

← Tout le lexique