Données d’entraînement

Données d’entraînement désigne le texte, le code, les images et les autres médias qu’un modèle de fondation utilise pour apprendre pendant le préentraînement. Les LLM sont entraînés sur des volumes de données stupéfiants - Un token se comptent par milliers de milliards, issus de l’ensemble de l’Internet public et de collections sous licence - Représentant ce qui pourrait être les plus vastes corpus de textes produits par des humains jamais réunis. La qualité, la diversité et l’équilibre de ces données façonnent presque tout ce que le modèle sait, croit et comprend de travers.

Volume des données d’entraînement

Ce que contiennent les données d’entraînement

• Common Crawl - Une collecte du Web public à l'échelle du pétaoctet, actualisée chaque mois. Elle constitue la base de la plupart des jeux de données de préentraînement, mais nécessite un filtrage important pour supprimer le spam, les doublons et les contenus de mauvaise qualité.
• Livres - Livres numérisés issus de BookCorpus, Project Gutenberg et de jeux de données sous licence. Améliore la cohérence des textes longs et le raisonnement.
• Code - Dépôts GitHub, Stack Overflow, documentation. Améliore considérablement les modèles pour les tâches de programmation.
• Wikipedia - Du contenu factuel de qualité dans 300+ langues.
• Articles scientifiques - ArXiv, PubMed, revues scientifiques sous licence.
• Données synthétiques - Du texte généré par l'IA utilisé pour compléter des données réelles, notamment pour les tâches où les données annotées par des humains sont rares.

Pourquoi la composition des données est importante

La composition des données d’entraînement détermine directement les points forts et les angles morts d’un modèle. Un modèle entraîné sur davantage de code est meilleur en programmation. Un modèle exposé à davantage de textes multilingues est meilleur en traduction. Les modèles entraînés sur la littérature médicale sont plus performants pour les tâches cliniques. Ajustement fin après le préentraînement peut combler certaines lacunes, mais ne peut pas compenser entièrement les connaissances absentes des données d’entraînement initiales. La qualité des données est de plus en plus considérée comme plus précieuse que leur quantité brute : des jeux de données soigneusement sélectionnés surpassent souvent des ensembles plus volumineux mais plus bruités.

Controverses et défis

Les données d’entraînement sont au cœur de plusieurs débats actuels :

• Droit d’auteur - Des auteurs, des médias et des développeurs ont intenté des procès, estimant que la collecte de leurs œuvres sans autorisation ni rémunération enfreint le droit d’auteur. Les décisions rendues influenceront la constitution des futurs jeux de données.
• Biais - Des données d’entraînement qui surreprésentent les points de vue occidentaux et anglophones produisent des modèles qui reflètent ces biais. Cela influence aussi bien les noms que le modèle associe à des professions que sa manière de s’exprimer dans d’autres langues que l’anglais. Voir alignement pour comprendre comment les laboratoires tentent de corriger cela.
• Risques des données synthétiques - Utiliser des textes générés par IA comme données d’entraînement peut créer des boucles de rétroaction dans lesquelles les modèles renforcent leurs propres erreurs. Les chercheurs appellent cela l’« effondrement du modèle ».
• Date limite des connaissances - Les données d’entraînement s’arrêtent à une date fixe, après laquelle le modèle ne connaît aucun événement mondial. Voir date limite des connaissances.

Une question revient souvent ensuite : vos propres conversations servent-elles de données d’entraînement ? Sur AskAI.free, ce n’est pas le cas - la FAQ Entraînez-vous des modèles d’IA sur mes conversations ? explique pourquoi les conversations ne sont jamais utilisées pour l’entraînement.