Tu demandes une bibliographie à l'IA. Elle te sort un titre, des auteurs, une revue, une année, un DOI bien formé. Tout est plausible, tout est propre. Et une référence sur deux n'existe pas. Pas « approximative » : inexistante. Le DOI ne résout vers rien, le papier n'a jamais été écrit.
Le réflexe, c'est de redemander au modèle : « tu es sûr que cette source est réelle ? » Il répond oui. Toujours. Tu viens d'interroger le faussaire sur l'authenticité de son faux.
L'hallucination est plausible par construction
Un LLM ne stocke pas une base de données de publications. Il génère des suites de mots probables. Une citation, pour lui, c'est une forme : un nom de famille, une initiale, deux autres noms, une majuscule de revue, une année récente, dix chiffres de DOI. Il produit cette forme à la perfection, parce que c'est exactement ce qu'il sait faire. Le contenu n'a pas besoin d'être vrai pour être plausible, il a juste besoin de ressembler.
C'est pour ça que l'hallucination de référence est si vicieuse : elle ne ressemble pas à une erreur. Une faute de calcul saute aux yeux. Une citation inventée a l'air d'une vraie citation, jusqu'à ce que tu cliques.
Ne demande pas au coupable
La règle d'or tient en une phrase : ne jamais demander au modèle qui a halluciné une citation si cette citation est réelle. Pour deux raisons qui se cumulent. D'abord il n'a pas l'information : il n'a pas accès à un registre, il ne peut que régénérer du plausible. Ensuite, même s'il doutait, son biais d'auto-évaluation le pousse à confirmer ce qu'il a déjà produit. Tu obtiens un « oui » qui ne vaut rien.
La vérification doit venir d'ailleurs. D'une source que le modèle ne contrôle pas et ne peut pas inventer : une API de métadonnées.
Trois filtres : existence, crédibilité, fidélité
Dans mon pipeline de rédaction de dossiers techniques, aucune référence n'entre dans le document avant d'avoir passé trois filtres, dans cet ordre.
Existence. Le DOI doit résoudre. C'est binaire, et c'est gratuit. Crossref expose toute sa base :
curl -s "https://api.crossref.org/works/10.1145/3290605.3300233" \
| jq '.message.title[0], .message.author[0].family, .message["published"]'Si l'API renvoie un titre et des auteurs, le papier existe. Si elle renvoie un 404, la référence sort, point. Pour les preprints, même logique avec l'API arXiv (export.arxiv.org/api/query) ou HAL pour la recherche française. Cette seule étape élimine la majorité des hallucinations, parce qu'un DOI inventé ne résout jamais.
Crédibilité. Exister ne suffit pas. Une revue prédatrice, qui publie n'importe quoi contre paiement, donne un DOI valide à un papier sans valeur. Le filtre vérifie que la revue ou la conférence est réelle et reconnue, pas une coquille. Le DOI prouve que la source existe, pas qu'elle vaut quelque chose.
Fidélité. Le filtre le plus exigeant, et celui que l'API ne fait pas à ta place. La source existe, elle est sérieuse, mais dit-elle vraiment ce que tu lui fais dire ? Il faut lire le papier, repérer ce qui est mesuré et ce qui est seulement avancé, et ne pas extrapoler au-delà de son résumé. Une citation réelle plaquée sur une affirmation qu'elle ne soutient pas reste une fausse preuve.
Le même principe pour tout RAG
Ce pipeline n'a rien de spécifique aux dossiers académiques. Dès qu'un agent cite une source, un ticket, un numéro de CVE, une page de doc, un commit, la même discipline s'applique : la référence doit se résoudre contre le système qui fait autorité, pas contre la mémoire du modèle. Un agent qui dit « d'après le ticket JIRA-1242 » doit avoir résolu JIRA-1242 ; sinon, il a peut-être inventé le numéro avec autant d'aplomb qu'un DOI.
L'erreur d'architecture la plus commune en RAG, c'est de faire confiance à la couche génération pour s'auto-vérifier. Elle ne peut pas. La vérification est une étape séparée, branchée sur une vérité externe, exécutée avant que la sortie n'atteigne l'utilisateur.
Conclusion
On parle beaucoup de faire baisser le taux d'hallucination des modèles. C'est le mauvais combat : un générateur de texte plausible hallucinera toujours un peu, c'est sa nature. Le vrai levier n'est pas de rendre le modèle plus honnête, c'est de cesser de le croire sur parole. Une citation qu'on ne peut pas résoudre contre un registre externe n'est pas une citation. C'est une supposition en blouse blanche.