Transformer

Le transformeur est le réseau de neurones architecture présentée dans l’article de 2017 L’attention est tout ce qu’il vous faut par des chercheurs de Google (Vaswani et al.). Tous les grands LLM - ChatGPT 4o, Claude Sonnet 4, Gemini 2.0 Flash, DeepSeek R1 et Llama - repose sur l'architecture des transformeurs. C'est, sans exagération, le moteur de tout l'essor actuel de l'IA.

Ce qui a rendu les Transformers révolutionnaires

Avant 2017, l’architecture dominante pour les tâches linguistiques était le réseau récurrent Réseau de neurones (RNN). Les RNN traitaient le texte de manière séquentielle, un token à la fois, ce qui posait deux problèmes fondamentaux : leur entraînement était lent (les étapes ne peuvent pas être parallélisées) et ils avaient du mal à retenir les informations provenant de tokens éloignés. Les Transformers ont remplacé le traitement séquentiel par attention, qui calcule simultanément les relations entre tous les tokens. Les gains ont été spectaculaires :

• L’entraînement sur GPU est devenu hautement parallélisable : chaque couche traite toute la séquence en une seule fois.
• Le contexte à longue portée est devenu exploitable - Le modèle peut porter directement son attention sur n’importe quel token précédent.
• Le passage à l’échelle est devenu prévisible - davantage de puissance de calcul et de données produisaient systématiquement de meilleurs modèles, permettant le modèle de fondation ère.

L’architecture Transformer simplifiée

1. Tokeniseur - Convertit le texte brut en identifiants de tokens à l’aide de BPE ou d’une méthode similaire de tokeniseur.
2. Plongement vectoriel couche - Associe chaque identifiant de token à un vecteur de grande dimension (par exemple, 4 096 dimensions).
3. Encodage positionnel - Intègre des informations de position dans chaque vecteur, car le mécanisme d’attention ne tient pas compte de l’ordre à lui seul.
4. Couches d’attention + couches à propagation avant empilées - Le bloc de calcul central, répété 32–128 fois dans les modèles modernes. Chaque couche affine les représentations.
5. Tête de sortie - Projette la représentation finale vers les probabilités du vocabulaire. Le modèle effectue un échantillonnage à partir de celles-ci pour produire le prochain token.

Les paramètres sont les poids appris aux étapes 2–5 pendant l’entraînement sur données d’entraînement. Un modèle de 70 milliards deparamètre modèle possède 70 milliards de poids de ce type.

Encodeur, décodeur et encodeur-décodeur

Le constat sur le passage à l'échelle

Ce qui a rendu les Transformers si importants, ce n’est pas seulement leur architecture, mais ce qui s’est passé lorsque les chercheurs les ont agrandis. Les lois d’échelle ont montré que les performances des modèles sur les tâches linguistiques s’améliorent de façon prévisible lorsque l’on augmente simultanément la taille du modèle, la puissance de calcul consacrée à l’entraînement et le volume de données. Les laboratoires disposaient ainsi d’une feuille de route fiable : investir dans le calcul, recueillir davantage de données et voir les capacités progresser. Le 'GPT' dans GPT signifie Génératif pré-entraîné Transformer, et chaque génération de modèles phares de OpenAI a exploité ce principe de passage à l’échelle. Le Claude modèles de Anthropic reposent sur la même architecture sous-jacente.