Token
En une ligne : L’unité utilisée par les modèles d’IA pour lire et écrire. Environ 4 caractères ou 0,75 mot. Les tarifs et les fenêtres de contexte sont mesurés en tokens.
Qu’est-ce qu’un token ?
A token est l’unité de base que les modèles de langage lisent et écrivent. Ce n’est pas un mot : cela correspond à environ 3–4 caractères ou à une partie de mot. Le mot « tokenization » est généralement découpé en quatre tokens : token, iz, ation, ainsi que l'espace initial. LLM ne traitent jamais directement le texte brut ; ils convertissent d’abord tout en tokens à l’aide d’un tokeniseur, puis génèrent la réponse un token à la fois.
Tableau de conversion des tokens
| Unité | Tokens | Nombre de mots approx. | Exemple |
|---|---|---|---|
| Un caractère | ~0,25 | - | 'a' |
| Un mot court | 1 | 1 | 'chat' |
| Un mot long | 2–4 | 1 | 'tokenisation' |
| Paragraphe court | ~100 | ~75 | Trois ou quatre phrases |
| E-mail type | ~1 000 | ~750 | Un e-mail professionnel détaillé |
| Article court | ~4 000 | ~3 000 | Un article de blog de 3 000 mots |
| Roman (par ex. HP tome 1) | ~75 000 | ~77 000 | Harry Potter à l’école des sorciers |
Pourquoi les tokens sont importants
- Tarifs de l’API - Facturation par million de tokens d’entrée et de sortie. Sur la plupart des API, les tokens de sortie coûtent plus cher que les tokens d’entrée. Consultez tarifs des offres pour connaître les tarifs actuels.
- Fenêtre de contexte limites - Mesuré en tokens. La fenêtre de contexte de 200 k tokens de Claude Sonnet 4 contient environ 150 000 mots anglais - Un roman entier. Voir fenêtre de contexte pour en savoir plus.
- Vitesse et latence - Plus le nombre de tokens de sortie est élevé, plus l’attente est longue. Une réponse concise prompt réduit à la fois le coût et la latence.
- Quotas de l’offre - AskAI.free Pro et Offres Max comprennent des quotas mensuels généreux de tokens ; la FAQ Quelle est la différence entre les forfaits Pro et Max ? explique ce que comprend chaque offre. Utilisez le Compteur de tokens IA pour estimer la consommation d'une tâche.
Efficacité en tokens pour les langues autres que l’anglais et le code
| Langue / type de contenu | Tokens pour 100 mots | par rapport à l'anglais |
|---|---|---|
| Anglais | ~133 | Référence initiale |
| Espagnol / Français | ~150 | ~13 % de plus |
| Arabe | ~170 | ~28 % de plus |
| Chinois (GPT-4o) | ~100 | ~25 % de moins (amélioration tokeniseur) |
| Chinois (GPT-3.5) | ~250 | ~88 % de plus |
| Code (Python/JS) | ~110 | ~17 % de moins |
| Prose dense / texte juridique | ~140 | ~5 % de plus |
Les anciens tokeniseurs étaient fortement optimisés pour l’anglais, ce qui rendait les textes dans d’autres langues nettement plus coûteux. Le tokeniseur o200k_base utilisé dans ChatGPT 4o une efficacité nettement améliorée pour le chinois, le japonais, le coréen et l’arabe. Utilisez l’outil gratuit Compteur de tokens IA pour connaître les décomptes exacts pour votre texte et votre modèle.
Exemple de token
Si vous utilisez AskAI.free, une façon pratique de comprendre ce qu’est un token consiste à demander à un modèle de vous l’expliquer, puis de donner un exemple concret dans votre propre méthode de travail. Par exemple : "Explique ce qu’est un token à une personne qui utilise l’IA pour écrire, coder, faire des recherches ou créer des images."
Le terme passe ainsi d’une définition de dictionnaire à un outil d’aide à la décision : vous voyez dans quels cas il influe sur la qualité des instructions, le choix du modèle, la fiabilité des résultats, la confidentialité, le coût ou la quantité de contexte utilisable par l’IA.
Pourquoi les tokens sont importants
La notion de token compte, car elle influence votre façon de choisir, d’interroger et de comparer les systèmes d’IA, ainsi que la confiance que vous leur accordez. Comprendre ce terme vous permet de poser de meilleures questions, de repérer plus vite les réponses faibles et de choisir le modèle ou l’outil adapté à la tâche.
Une erreur courante consiste à considérer le token comme un terme de jargon isolé. Il est généralement lié à des notions voisines comme Tokeniseur et Données d’entraînement, consultez-les ensuite pour avoir une vue d'ensemble.
Erreur courante concernant les tokens
L’erreur la plus courante consiste à employer le terme comme une étiquette sans changer ses pratiques. Quand il est question de token, demandez-vous ce qui doit changer : le prompt, le modèle, la longueur du contenu fourni, les preuves demandées ou la manière de vérifier la réponse.
Découvrez-le en action - Interrogez l’IA de votre choix sur les tokens sur AskAI.free.
Demander à l’IA