BERT

BERT (représentations bidirectionnelles d’encodeurs issues de Transformers) est un modèle de Google de 2018 qui a transformé le traitement du langage naturel - en comprenant le texte plutôt qu’en le générant. BERT a ouvert la voie à bidirectionnel préentraînement : au lieu de lire le texte de gauche à droite, il a été entraîné à prédire des mots masqués en utilisant simultanément le contexte des deux côtés. Cela lui a donné une compréhension du langage plus riche que celle des modèles précédents et a ouvert la voie à LLM révolution qui a suivi.

BERT et les LLM génératifs

Le point essentiel à comprendre sur BERT est son architecture : c’est un encodeur, pas un décodeur. Cette seule différence détermine tout ce qu’il peut et ne peut pas faire.

Variantes de BERT encore utilisées

Le BERT d’origine a donné naissance à une famille de successeurs spécialisés qui restent largement déployés en production :

• RoBERTa - Un entraînement plus robuste avec davantage de données et de meilleurs hyperparamètres. La référence pour les tâches de classification.
• DistilBERT - 60 % plus petit et 40 % plus rapide, tout en conservant 97 % des performances. Très courant dans les chaînes de traitement en production sensibles à la latence.
• DeBERTa - Amélioration attention mécanisme avec encodage positionnel dissocié. Toujours compétitif sur les benchmarks de traitement du langage naturel en 2026.
• BioBERT / ClinicalBERT - Ajusté finement sur la littérature médicale pour des tâches de traitement automatique du langage clinique, comme l’extraction d’entités à partir de dossiers patients.
• LegalBERT - Entraîné sur des corpus juridiques pour l’analyse de contrats, la recherche juridique et la classification de clauses.
• sentence-transformers - Des modèles fondés sur BERT, affinés pour produire, à l’échelle de la phrase, des éléments de haute qualité de type plongements vectoriels, la base de la plupart des RAG chaînes de traitement.

Où retrouve-t-on BERT aujourd’hui ?

Pour la plupart des utilisateurs, BERT fonctionne discrètement en arrière-plan :

• Recherche Google - BERT permet de comprendre les requêtes. Lorsque vous cherchez « puis-je prendre de l’ibuprofène avant un vaccin » et que Google saisit la nuance clinique, c’est une compréhension de type BERT.
• Modération des e-mails et des contenus - La détection du spam, le filtrage des contenus toxiques et l’application des règles à grande échelle utilisent des variantes de BERT affinées, car elles sont rapides et peu coûteuses à exécuter.
• Recherche documentaire en entreprise - La recherche sémantique dans les bases de connaissances d’entreprise utilise des plongements vectoriels issus de BERT pour trouver des correspondances de sens, au-delà des mots-clés.
• RAG infrastructure - L’étape de récupération dans la plupart des RAG les systèmes utilisent un modèle de plongement vectoriel dérivé de BERT pour trouver les passages pertinents des documents avant la coûteuse LLM les traite.

Pour les utilisateurs qui souhaitent chat avec l'IA, BERT a été entièrement supplanté par LLM chatbots comme Claude et ChatGPT. Mais les modèles de plongement vectoriel dérivés de BERT restent un élément essentiel - et souvent invisible - de l'infrastructure qui rend ces systèmes utiles.