Paramètre
En une ligne : Un nombre unique dans un réseau de neurones. Les LLM possèdent des milliards de paramètres - plus ils sont nombreux, plus le modèle est performant (en général).
Qu’est-ce qu’un paramètre ?
A paramètre est un nombre unique ajustable pendant l’apprentissage au sein d’un réseau de neurones. Chaque connexion entre neurones possède un poids ; chaque neurone possède un biais. Chaque poids et chaque biais est un paramètre. À mesure que le modèle apprend à partir de ses données d’entraînement, tous les paramètres sont ajustés des milliards de fois pour minimiser l’erreur de prédiction. Une fois l’entraînement terminé, les paramètres sont figés - ils encodent tout ce que le modèle a appris sur la langue, les faits et le raisonnement.
Nombre de paramètres des LLM modernes
Le nombre de paramètres varie énormément d’un modèle à l’autre. Le tableau ci-dessous situe les principaux modèles en 2026. À noter que les laboratoires propriétaires divulguent rarement les chiffres exacts.
| Modèle | Paramètres | Poids ouverts | Notes |
|---|---|---|---|
| GPT-3 | 175B | Non | Le modèle qui a lancé le LLM ère (2020) |
| ChatGPT 4o | ~200 Md estimés | Non | Mélange d’experts ; nombre réel non divulgué |
| Claude Sonnet 4 | Non divulgué | Non | Anthropic ne publie pas de décomptes |
| Gemini 2.0 Flash | Non divulgué | Non | Optimisé pour la rapidité et le coût |
| DeepSeek R1 | 671B | Oui | MoE ; seulement ~37B actifs par token |
| Llama 3 70B | 70B | Oui | Le modèle phare de Meta à poids ouverts |
| Mistral 7B | 7B | Oui | Très efficace pour sa taille |
Plus de paramètres = mieux ?
En général, oui, mais la relation n’est pas linéaire. Trois facteurs compliquent l’interprétation des chiffres bruts :
- La qualité de l’entraînement compte autant que la taille. Un modèle 7B entraîné sur des données propres et soigneusement sélectionnées peut surpasser un modèle 70B entraîné sans rigueur sur des textes de mauvaise qualité.
- La conception de l’architecture change tout. Transformer des variantes comme Mixture of Experts (MoE) dissocient les paramètres stockés des paramètres actifs. DeepSeek R1 possède 671 Md de paramètres, mais n’en active qu’environ 37 Md pour chaque token - ce qui le rend compétitif en matière de coût face à des modèles denses bien plus petits à inférence temps.
- La couverture des tests de référence est inégale. Un modèle peut obtenir d’excellents scores aux tests de programmation tout en étant médiocre en écriture créative. Le nombre de paramètres ne vous dit rien sur ses points forts.
Techniques d’optimisation de l’efficacité des paramètres
Les chercheurs ont mis au point plusieurs méthodes pour tirer davantage de moins de paramètres actifs, afin de réduire le coût d'exécution des grands modèles sans trop sacrifier la qualité :
- Quantification - Compression des paramètres, de nombres flottants sur 32 bits en entiers sur 8 ou 4 bits. Cela divise les besoins en mémoire et en calcul par 4 à 8, au prix d’une légère perte de précision, et permet d’exécuter de grands modèles sur des GPU grand public.
- Mélange d’experts (MoE) - Seule une fraction des paramètres s’active pour une entrée donnée. Un réseau de routage sélectionne les sous-réseaux experts adaptés : vous stockez ainsi un grand modèle tout en effectuant les calculs comme avec un petit.
- LoRA affinage - Au lieu de mettre à jour des milliards de paramètres, LoRA ajoute de petites matrices d’adaptation entraînables et fige les poids du modèle de base, permettant une adaptation à une tâche précise pour une infime fraction du coût d’un affinage.
- Élagage - Identification et suppression des paramètres qui contribuent peu aux résultats du modèle, afin de réduire sa taille sans le réentraîner de zéro.
Le nombre de paramètres est public pour les modèles à poids ouverts comme Llama et DeepSeek mais volontairement tenu secret pour la plupart des modèles propriétaires. Pour comparer les modèles sur les critères qui comptent vraiment, consultez le ChatGPT 4o vs Claude Sonnet 4 le comparatif ou explorez tous les modèles disponibles sur le page des tarifs.
Exemple de paramètre
Si vous utilisez AskAI.free, une façon pratique de comprendre ce qu’est un paramètre consiste à demander à un modèle de vous l’expliquer, puis de donner un exemple concret dans votre propre méthode de travail. Par exemple : "Explique ce qu’est un paramètre à une personne qui utilise l’IA pour écrire, coder, faire des recherches ou créer des images."
Le terme passe ainsi d’une définition de dictionnaire à un outil d’aide à la décision : vous voyez dans quels cas il influe sur la qualité des instructions, le choix du modèle, la fiabilité des résultats, la confidentialité, le coût ou la quantité de contexte utilisable par l’IA.
Pourquoi les paramètres sont importants
La notion de paramètre est importante, car elle influence la façon dont vous choisissez, sollicitez, comparez les systèmes d’IA ou leur faites confiance. Comprendre ce terme vous permet de poser de meilleures questions, de repérer plus vite les réponses faibles et de choisir le modèle ou l’outil adapté à la tâche.
Une erreur courante consiste à considérer le paramètre comme un terme de jargon isolé. Il est généralement lié à des notions voisines comme Échelle PSL et Prompt, consultez-les ensuite pour avoir une vue d'ensemble.
Erreur courante concernant les paramètres
L’erreur la plus courante consiste à employer le terme comme une étiquette sans changer ses pratiques. Quand il est question de paramètre, demandez-vous ce qui doit changer : le prompt, le modèle, la longueur du contenu fourni, les preuves demandées ou la manière de vérifier la réponse.
Découvrez-le en action - Interrogez l’IA de votre choix sur les paramètres sur AskAI.free.
Demander à l’IA