Attention
En une ligne : Le mécanisme mathématique qui permet aux transformers de se concentrer sur différentes parties de l’entrée lors de la génération de chaque token de sortie.
Qu’est-ce que l’attention ?
Attention est le mécanisme qui fait fonctionner les modèles d’IA modernes. Lorsqu’un modèle fondé sur un transformeur, comme Claude ou ChatGPT génère le prochain token, l’attention lui permet de pondérer chaque autre token dans fenêtre de contexte - Déterminer lesquels comptent le plus à cet instant. C’est pourquoi ces modèles peuvent faire référence à un passage écrit 50 000 mots plus tôt dans un document sans perdre le fil.
L’article fondateur de 2017 L’attention est tout ce qu’il vous faut a introduit le transformeur architecture entièrement fondée sur un empilement de couches d’attention, remplaçant les réseaux récurrents réseaux de neurones (RNN) qui traitaient les tokens un à la fois. Le changement a été radical : transformeurs pouvaient être parallélisés sur plusieurs GPU, entraînés sur beaucoup plus de données et géraient les dépendances à longue distance de façon bien plus fiable.
L’innovation clé
Pour chaque token, l’attention calcule trois vecteurs : un Requête ('qu’est-ce que je cherche ?'), une Clé ('qu’est-ce que je propose ?'), et une Valeur ('quelles informations est-ce que je porte ?'). Le modèle attribue un score à chaque clé (Key) par rapport à la requête (Query) actuelle, applique une fonction softmax pour obtenir des poids dont la somme vaut 1, puis calcule une somme pondérée de toutes les valeurs (Values). Le résultat est une représentation riche qui combine les informations des tokens les plus pertinents - et pas seulement les plus proches.
Attention multi-têtes
Moderne LLM effectuent de nombreux calculs d’attention en parallèle - Chacun est appelé une « tête ». Les différentes têtes apprennent à suivre différentes relations :
- Une tête peut suivre l’accord grammatical entre le sujet et le verbe.
- Un autre pourrait résoudre la coréférence - Déterminer à quoi renvoie un « il ».
- D’autres captent la similarité sémantique, la négation, l’ordre temporel et bien plus encore.
Les sorties de toutes les têtes sont concaténées puis projetées, ce qui donne au modèle une représentation bien plus riche qu'un seul passage d'attention. Les modèles de la classe de GPT-4 utilisent 96 têtes d'attention ou plus.
Auto-attention vs attention croisée
| Type | Ce à quoi il prête attention | Où c’est utilisé |
|---|---|---|
| Auto-attention | Tous les tokens précédents de la même séquence | Chaque couche du décodeur transformer (génération de texte) |
| Attention croisée | Une séquence d’entrée distincte | Modèles de vision portant leur attention sur des fragments d’image ; des modèles de traduction portant leur attention sur la langue source |
Attention et anciennes architectures RNN
| Caractéristique | RNN / LSTM | Attention (Transformer) |
|---|---|---|
| Ordre de traitement | Séquentiel - Un token à la fois | En parallèle - Tous les tokens à la fois |
| Dépendances à longue portée | Se dégrade avec la distance à mesure que les signaux d’entraînement s’affaiblissent | Coût identique quelle que soit la distance |
| Vitesse d’entraînement | Lent - Impossible de paralléliser les étapes temporelles | Rapide - Entièrement parallélisable sur GPU |
| Coût en mémoire | O(n) selon la longueur de la séquence | O(n²) - Le défi de la croissance quadratique |
Le coût quadratique de l'attention est la principale raison pour laquelle un très long fenêtre de contexte nécessite des techniques d’architecture comme l’attention parcimonieuse, l’attention à fenêtre glissante ou les approximations linéaires. Le contexte de 2 M de tokens de Gemini utilise ces techniques pour rester exploitable à cette échelle.
Pour voir concrètement comment les limites des tokens influencent ce que l’attention « voit », essayez le Compteur de tokens IA pour examiner le découpage de votre texte avant qu'il ne parvienne au modèle.
Exemple d’attention
Si vous utilisez AskAI.free, une façon pratique de comprendre l’attention consiste à demander à un modèle de vous l’expliquer, puis de donner un exemple concret dans votre propre méthode de travail. Par exemple : "Explique l’attention à une personne qui utilise l’IA pour écrire, coder, faire des recherches ou créer des images."
Le terme passe ainsi d’une définition de dictionnaire à un outil d’aide à la décision : vous voyez dans quels cas il influe sur la qualité des instructions, le choix du modèle, la fiabilité des résultats, la confidentialité, le coût ou la quantité de contexte utilisable par l’IA.
Pourquoi l’attention est importante
L’attention est importante, car elle influence votre manière de choisir, d’interroger, de comparer les systèmes d’IA ou de leur faire confiance. Comprendre ce terme permet de poser de meilleures questions, de repérer plus vite les réponses faibles et de choisir le modèle ou l’outil adapté à la tâche.
Une erreur courante consiste à considérer l’attention comme un terme de jargon isolé. Elle est généralement liée à des notions voisines comme Aura farming et BERT, consultez-les ensuite pour avoir une vue d'ensemble.
Erreur courante concernant l'attention
L’erreur la plus courante consiste à employer le terme comme une étiquette sans changer ses pratiques. Quand il est question d’attention, demandez-vous ce qui doit changer : le prompt, le modèle, la longueur du contenu fourni, les preuves demandées ou la manière de vérifier la réponse.
Découvrez-le en action - Interrogez l’IA de votre choix sur l’attention sur AskAI.free.
Demander à l’IA