Interroger une IA sur une image : ce qui fonctionne et ce qui échoue
- Les questions sur les images donnent de meilleurs résultats lorsque vous vous concentrez sur un seul élément d’une seule image.
- Tâches fiables : décrire une scène, lire du texte imprimé, expliquer un graphique, identifier un objet ou une plante, traduire un panneau, résumer une capture d’écran d’erreur, suggérer des améliorations pour une pièce ou un visuel.
- Tâches peu fiables : compter de nombreux petits objets, prendre des mesures exactes, déchiffrer une écriture brouillonne, identifier une personne à partir de son visage et porter un jugement médical ou juridique.
- Le modèle découpe votre image en petits carrés et estime ce qu’ils représentent le plus probablement. Il ne mesure rien.
- Vous pouvez corriger la plupart des mauvaises réponses avec quatre gestes : recadrer plus près, ajouter de la lumière, importer un fichier plus volumineux et poser une seule question à la fois.
Vous avez une photo et une question à son sujet. Une plante dont vous ignorez le nom, un menu dans une langue que vous ne lisez pas, un encadré d’erreur rouge sur un écran. Vous l’importez, la réponse arrive vite et semble sûre d’elle. Le plus difficile est de savoir si cette assurance est justifiée.
Ce qui se passe vraiment quand vous importez une image
Le modèle ne regarde pas votre photo comme vous. Il découpe l’image en une grille de petits carrés. Chaque carré devient une liste de nombres. Ces nombres sont comparés aux régularités que le modèle a apprises à partir de millions d’images légendées.
Il rédige ensuite la description la plus probable. Ce dernier mot compte. Probable ne veut pas dire vrai. Si votre image montre un chat gris à poils longs sur un canapé, le modèle a vu cette scène très souvent et s'en sort donc bien. Si votre image montre un tas de 43 vis, il n'a aucun moyen de les compter une par une. Il devine un nombre qui semble plausible pour un tas de cette taille.
Gardez ce principe en tête et le reste de cette page prendra tout son sens. Tout ce qui repose sur l'apparence fonctionne bien. Tout ce qui nécessite une règle, un mètre ruban ou une vérification dans des dossiers fonctionne mal. Le Glossaire IA explique les termes que vous rencontrerez, comme modèle de vision et multimodal.
Sept questions efficaces sur les images
Voici les tâches pour lesquelles un chat avec images se révèle utile. Copiez les prompts et remplacez les détails par les vôtres.
1. Décrivez une scène
Utile pour les textes d’accessibilité, les photos d’annonces ou un second avis sur ce qui apparaît dans le cadre.
Describe this photo in three sentences. Say what the main subject is, what is in the background, and what mood the lighting gives it.
2. Lire du texte imprimé
Tickets de caisse, étiquettes, emballages, pages de livres, diapositives. Les caractères imprimés sont nets et régulièrement espacés : c'est donc l'un des usages les plus fiables.
Type out all the text in this receipt exactly as printed. Keep the line breaks. Mark anything you cannot read clearly as [unclear].
3. Expliquer un graphique ou un schéma
Demandez ce que montre le graphique, pas les valeurs exactes. La tendance compte plus que les décimales.
Explain what this chart shows in plain words. What is on each axis, what is the main trend, and what is the single biggest change?
4. Identifier un objet, une plante ou une race
Demandez une sélection restreinte accompagnée de raisons plutôt qu’un seul nom présenté avec assurance. Vous repérerez beaucoup plus vite une mauvaise supposition.
Give me the three most likely species for this plant. For each one, say which visible feature made you pick it, and what I should check to rule it out.
5. Traduire un panneau ou un menu
Les menus et les panneaux de rue utilisent des expressions courtes et courantes. C’est un terrain favorable pour un modèle.
Translate this menu into English. Keep the original item names next to the translation, and flag any dish that usually contains dairy.
6. Résumer une capture d’écran d’erreur
Les captures d’écran sont naturellement nettes, donc le texte est parfaitement lisible. Collez-en une dans une discussion et demandez la cause probable, ou ouvrez le Outils de programmation IA si vous souhaitez obtenir une correction rédigée.
Here is an error screen. In plain words, what broke, what most likely caused it, and what are the first two things I should try?
7. Suggérer des améliorations pour une pièce ou un design
Les questions de goût n’ont pas de réponse unique : une suggestion affirmée ne vous coûte donc rien.
This is my living room. Suggest five cheap changes that would make it feel brighter, ordered from easiest to hardest.
Les limites des questions sur les images
Six problèmes surviennent assez souvent pour qu’il vaille mieux les anticiper.
- Comptage de nombreux petits éléments. Dix visages dans une foule, des perles dans un bocal, des briques dans un mur. Attendez-vous à un nombre plausible, pas à un nombre exact.
- Mesures exactes. Quelle est la hauteur de cette clôture, la largeur de cet espace, la taille de ce boulon ? Une photo en deux dimensions ne donne aucune échelle, sauf si vous y placez une règle.
- Écriture manuscrite peu lisible. Les lettres majuscules bien formées sont souvent correctement reconnues. Les pattes de mouche des médecins, l’écriture cursive et les lettres anciennes se transforment en absurdités présentées avec assurance.
- À qui appartient un visage. La plupart des outils refusent d’identifier des personnes réelles, et c’est la bonne décision. Deviner une identité à partir d’un visage est peu fiable et injuste.
- Décisions médicales, juridiques et liées à la sécurité. La photo d’un grain de beauté, d’une fissure dans un mur, d’une éruption cutanée, d’une clause de contrat. La réponse peut être bien rédigée et pourtant erronée, avec des conséquences coûteuses.
- Texte minuscule en basse résolution. Numéros de série, notes de bas de page, capture d’écran photographiée sur l’écran d’un téléphone. Dès que les lettres deviennent floues, le modèle les complète par habitude.
Remarquez le point commun. Chaque échec nécessite une mesure, un comptage ou une trace. Le modèle n’a rien de tout cela. Il se fie aux apparences.
Tableau de fiabilité : que demander et que corriger en priorité
| Tâche sur image | Quel degré de fiabilité | Faites ceci pour augmenter vos chances |
|---|---|---|
| Décrivez la scène | Élevé | Fixez un nombre de phrases pour garder une réponse ciblée |
| Lire du texte imprimé | Élevé | Prenez la photo bien de face, sans angle. Évitez les reflets et les ombres |
| Expliquer un graphique | Élevée pour la tendance, moyenne pour les valeurs exactes | Demandez la tendance. Lisez les chiffres vous-même |
| Traduire un panneau ou un menu | Élevé | Une page par envoi. Recadrez pour retirer la table et les couverts |
| Identifier un objet, une plante ou une race | Moyen | Demandez trois options justifiées, puis vérifiez-en une vous-même |
| Expliquer une capture d’écran d’erreur | Moyen à élevé | Faites une capture d’écran, pas une photo de l’écran. Incluez le message complet |
| Suggérer des modifications de décoration ou d’aménagement | Moyen, et selon les goûts | Indiquez votre budget et vos contraintes dans le prompt |
| Compter de nombreux petits objets | Faible | Divisez la photo en quatre. Faites une demande distincte pour chaque quart |
| Donnez une mesure | Faible | Placez une pièce ou une règle dans le cadre, puis demandez une estimation du rapport de taille |
| Lire une écriture manuscrite | Faible à moyen | Augmentez le contraste, recadrez sur quelques lignes et demandez-lui de signaler les mots peu lisibles |
| Identifier une personne à partir de son visage | Non pris en charge, et ne devrait pas l’être | Posez plutôt une question sur les vêtements, le cadre ou l’époque |
| Diagnostiquer un problème médical ou juridique | Pas assez fiable | Utilisez-le pour préparer des questions à poser à un vrai professionnel |
La règle du recadrage surpasse tous les prompts ingénieux
La plupart des mauvaises réponses sur une image ne viennent pas du prompt. Elles viennent des pixels. Votre sujet n’occupe qu’une petite partie d’une grande photo et reçoit donc très peu de cases de la grille. Moins de cases, c’est moins de détails à exploiter.
Chiffres d’exemple pour illustrer le compromis. Ce qui compte, c’est la tendance, pas le chiffre exact : un cadrage plus serré de la même photo fournit au modèle bien plus de détails sur la partie qui vous intéresse.
Recadrez donc avant d’importer. Retirez le sol, le ciel, la table, votre pouce. Si la réponse reste vague, prenez une deuxième photo de plus près au lieu de reformuler la question une quatrième fois.
Passez cette liste en revue avant d'importer
Deux habitudes pour repérer rapidement une réponse erronée
D’abord, demandez le niveau de confiance dans le même message. Par exemple : After your answer, rate your confidence low, medium or high, and say what in the image made you unsure. Un modèle qui indique une confiance moyenne lors de l’identification d’une plante vous a donné une information utile.
Deuxièmement, posez deux fois la même question sur l’image en la reformulant. Si les deux réponses concordent, tout va probablement bien. Si elles divergent, l’image n’est pas assez claire pour répondre à la question. Passer à un autre modèle dans la même fenêtre permet de faire rapidement ce test.
Les outils d’analyse de l’apparence permettent de le constater facilement par vous-même. Le Quel âge fais-je ? l’outil analyse un visage et estime un âge. Le Score looksmaxxing par IA explique comment l’éclairage, le cadrage et la présentation visible influencent un portrait. Le Test de l’échelle PSL par IA applique une grille numérique plus stricte au même type d’indices photographiques. Aucun de ces outils ne lit un fait dans un registre. Un chapeau, l’angle de prise de vue ou un éclairage différent peuvent modifier le résultat.
Quand la réponse n’est pas l’essentiel
Parfois, vous ne voulez pas une description, mais une image modifiée. Un chat ne peut pas retoucher votre photo dans la conversation. Pour créer une nouvelle image à partir d’une idée écrite, utilisez Générateur d'images IA à la place, et décrivez l’image souhaitée dans le prompt.
Le chat sert à comprendre une image. Les outils d’image servent à en créer ou à en modifier une. Les confondre fait perdre beaucoup de temps.
Essayez sur une photo dans les cinq prochaines minutes
Choisissez une photo sur laquelle vous avez déjà une vraie question. Une étiquette, un graphique du travail, une plante sur votre balcon. Recadrez-la au plus près, ouvrez l’outil gratuit Chat IA et posez une question claire à son sujet. Vous pouvez poser une question sans inscription, et un compte gratuit vous donne 100 000 tokens de départ à utiliser avec des modèles comme ChatGPT 4o, Claude Sonnet 3.5 et Gemini Flash. Les images consomment davantage de ces tokens que le texte seul ; si vous posez des questions sur des images toute la journée, les formules payantes et leur essai de 7 jours méritent le détour.
Évaluez ensuite la réponse selon la règle donnée sur cette page. Votre question portait-elle sur l'apparence, ou sur un nombre, une mesure ou une identité ? Dans le premier cas, faites-lui confiance et passez à la suite. Dans le second, prenez la réponse comme point de départ et vérifiez-la.