Détecter quand ton IA raconte n'importe quoi le manuel anti-trust aveugle

Tu poses une question pointue à ChatGPT. Il te sort une réponse détaillée, structurée, avec des dates précises et des citations d'experts. Tu reprends ça dans ton mémo client. Une semaine après, le client te corrige : « l'article que vous citez n'existe pas ». Embarrassant.

Bienvenue dans le monde des hallucinations. C'est inhérent au fonctionnement des LLM. La bonne nouvelle : avec un peu de pratique, tu repères 90 % des cas à risque d'un coup d'œil.

§Les 6 signaux qui doivent t'alerter

1. Dates récentes et événements actuels

Les LLM ont un knowledge cutoff — une date après laquelle leur entraînement s'arrête. Tout ce qui s'est passé après est inconnu au modèle. S'il répond avec aplomb sur un événement récent, il invente. Règle : tout événement récent → vérifier ailleurs (web search activé, Google, Wikipedia).

2. Chiffres précis (statistiques, mesures, prix)

« Le marché du SaaS représente 247,3 milliards $ en 2024 selon Gartner » — cette précision est trop précise pour être fiable. Le modèle a vu plein de chiffres approximatifs et prédit un nombre plausible, pas le vrai. Règle : tout chiffre à plusieurs décimales = suspect par défaut. Croise avec la source primaire.

3. Citations précises (livres, articles, papers)

« Comme l'écrit Kahneman dans Système 1 / Système 2, page 247… » — le modèle invente fréquemment des numéros de page ou des phrases entières attribuées à de vrais auteurs. Règle : pas de citation littérale sans avoir le livre/article ouvert sous les yeux.

4. Noms de personnes peu connues

Les gens très connus (Einstein, Macron) = fiables. Les gens moyennement connus (un chercheur d'une université précise) → le modèle peut inventer la personne ou en mélanger plusieurs. Règle : si la personne te sert d'autorité dans ton argument, trace-la (Google Scholar, site de l'université).

5. Code obsolète ou inexistant

Pour les devs, le modèle peut inventer :

• des fonctions qui n'existent pas dans une lib,
• des paramètres obsolètes (une API qui a changé de version),
• des packages npm inexistants, aux noms plausibles.

Règle : vérifie la doc officielle ; npm view <package> te dit si un package existe vraiment.

6. Jargon trop confiant sur un domaine ultra-niche

Sur un domaine très spécialisé (recherche pointue, droit fiscal niche, jurisprudence locale), le modèle peut simuler la confiance sans avoir l'info. Signal : aucun hedging (« il semble que », « généralement »), des affirmations péremptoires là où un expert nuancerait. Règle : domaines critiques (médical, légal, financier perso) → toujours croiser avec un humain pro. L'IA explore, elle ne remplace pas le conseil professionnel.

§Le protocole « trust but verify » en 3 étapes

Étape 1 — Classer le niveau de risque

Avant d'utiliser l'info : « si c'est faux, qu'est-ce que ça coûte ? »

• Faible (brainstorming, idées créatives, perso) → confiance haute, pas de vérif.
• Moyen (article de blog, post LinkedIn, présentation interne) → vérifie les faits précis (chiffres, citations, dates récentes).
• Élevé (décision business, conseil client, livraison pro, médical/financier) → vérifie chaque fait avec source primaire.

Étape 2 — Vérifier les éléments à risque (2–5 min/fait)

1. Date récente → Wikipedia EN (souvent plus à jour) + une source d'actu reconnue.
2. Chiffre / stat → la source primaire citée (Gartner, INSEE, Eurostat…).
3. Citation → Google la phrase exacte entre guillemets. Zéro résultat → c'est inventé.
4. Paper scientifique → Google Scholar avec le titre.
5. Fonction de code → doc officielle de la lib.

Étape 3 — Demander à l'IA de s'auto-évaluer

Tu m'as dit que [info précise]. Peux-tu me dire :
1. À quel point tu es confiant (1-10) ?
2. Quelle est la source originale de cette info ?
3. Y a-t-il des aspects où je devrais chercher confirmation ailleurs ?

Les modèles récents sont étonnamment honnêtes sur leur confiance quand on le demande explicitement. Si la réponse est « je ne suis pas sûr à 100 %, vérifie sur X », prends-le au sérieux.

§Boîte à outils gratuite pour fact-check rapide

§Quand l'IA est plutôt fiable (relâche la vigilance)

• Elle reformule / résume un texte que tu lui donnes (pas d'invention possible).
• Elle fait du brainstorming créatif (le critère n'est pas « vrai » mais « intéressant »).
• Elle explique un concept connu et stable (photosynthèse, TCP/IP…).
• Elle traduit (vérifie juste les nuances culturelles importantes).
• Elle corrige ton propre texte (orthographe, structure).

Garde ton énergie de vigilance pour les cas à risque.

§Le mindset : « trust but verify »

L'IA n'est pas un oracle. C'est un assistant de recherche brillant mais distrait, qui peut débiter le faux avec autant d'aplomb que le vrai. Ton job : gagner 10× en vitesse sur ce qui te prendrait une heure (brainstorming, recherche, rédaction), tout en gardant ton cerveau allumé sur les faits qui doivent être justes.

Avec la pratique, tu repères les signaux en 2 secondes, tu fact-checkes uniquement ce qui le mérite — et tu ne te fais plus jamais griller par une hallucination.