Multimodal

A multimodal modèle peut traiter plusieurs types d’entrées. La combinaison la plus courante associe texte et images, mais les modèles de pointe en 2026 prennent aussi en charge l’audio, la vidéo et les documents. Le terme « multimodal » décrit principalement les capacités d’entrée : le modèle peut recevoir ces formats et raisonner sur leur contenu en parallèle du texte. La sortie reste généralement textuelle, même si certains fournisseurs proposent la génération d’images comme une fonctionnalité distincte en aval.

Types de capacités multimodales

• Vision / compréhension des images - Décrire, analyser, extraire le texte par OCR et répondre aux questions sur des images et des captures d’écran. Voir aussi : modèle de vision.
• Analyse syntaxique de documents - Traitez les PDF, feuilles de calcul et présentations comme des données d’entrée structurées, en extrayant les tableaux et le texte sans copier-coller manuel.
• Compréhension audio - Transcrivez la parole, analysez le ton et répondez aux entrées vocales en temps réel.
• Analyse vidéo - Résumez un contenu vidéo ou posez des questions à son sujet, image par image. Actuellement une spécialité de Gemini.
• Génération d’images - Génération d’images à partir de texte, distincte de la compréhension. Essayez Générateur d'images IA sur AskAI.free.

Comparaison de modèles multimodaux

Comment fonctionne l’encodage visuel

Les images ne peuvent pas être directement transmises à un transformeur. À la place, un encodeur visuel (souvent un ViT - Vision Transformer) découpe l’image en petits blocs et convertit chaque bloc en une représentation numérique plongement vectoriel, et transmet ces fragments plongements vectoriels dans le modèle de langage aux côtés des tokens de texte. Le attention mécanisme peut alors associer les zones de l’image aux mots et inversement. La résolution de l’image compte : les images de faible résolution ou floues produisent moins de patchs, contenant moins d’informations, ce qui réduit la précision. Les images haute résolution consomment davantage de token budget à partir du fenêtre de contexte.

Cas d'usage concrets

• Extraire le texte d’un reçu, d’une facture ou d’une note manuscrite
• Déboguer une interface à partir d’une capture d’écran : 'Quel est le problème avec cette mise en page ?'
• Décrire un graphique ou un diagramme en langage clair pour un rapport
• Traduire un menu, un panneau ou un document en langue étrangère à partir d’une photo
• Résolvez un problème de maths manuscrit en photographiant vos calculs
• Analyser un schéma ou une esquisse architecturale pour vérifier qu'il ne manque rien

Comparez les modèles multimodaux sur le Claude Sonnet 4 vs Gemini 2.5 Pro la page de comparaison. L'importation d'images est disponible sur AskAI.free - voir tarifs pour connaître les limites.