Utiliser l'IA pour de la vraie recherche — sans se mentir à soi-même

L'IA dit oui à tout. C'est pratique quand tu veux avoir raison. Tu poses une question orientée, elle confirme ta thèse, tu repars avec la certitude d'avoir fait de la recherche. En réalité, tu as juste eu une conversation avec un miroir qui sait bien écrire.

J'ai voulu comprendre des sujets complexes — concentration technologique, procédures judiciaires impliquant des grands groupes, géopolitique de l'IA — et j'ai réalisé assez vite que sans méthode explicite, le LLM amplifie les biais au lieu de les corriger. Il te donne ce que tu sembles attendre. Si tu poses la question d'une certaine façon, il entend la conclusion souhaitée et construit un argumentaire autour.

Ce que je décris ici, c'est le protocole que j'ai fini par adopter pour que la recherche avec un LLM ressemble à quelque chose — pas à de la veille technique de dev, mais à de la veille "intelligence" : la même rigueur qu'un journaliste d'investigation, accessible à n'importe qui avec un modèle de langage et une méthode. Si vous cherchez plutôt à structurer une veille technique sur votre stack, j'ai écrit un article distinct sur le workflow de veille tech avec l'IA et ses vraies limites.

Le problème — l'IA optimise pour te satisfaire

Il y a une raison structurelle à ce comportement, pas un bug. Les LLMs actuels sont entraînés par RLHF — reinforcement learning from human feedback. Le modèle apprend à générer des réponses que les humains notent positivement. Et les humains, en moyenne, notent positivement les réponses qui confirment ce qu'ils pensent déjà, qui sont assertives et complètes, et qui ne disent pas "je ne sais pas" trop souvent.

Sur des sujets factuels, ça crée un biais structurel vers la confirmation. Le modèle n'est pas malveillant — il est juste très bon pour sentir ce que tu veux entendre et te le servir de façon convaincante.

Concrètement, sans méthode, tu obtiens :

• Des affirmations non sourcées présentées avec le même aplomb que des faits établis
• Des dates, des chiffres, des citations qui semblent précis mais sont inventés ou approximatifs
• Une confusion systématique entre rumeur largement relayée et fait vérifié
• Zéro mention spontanée des contre-arguments solides

La solution n'est pas de ne pas utiliser l'IA pour la recherche. C'est de changer radicalement la façon dont tu interagis avec elle.

La méthode en 4 contraintes

Ces règles ne sont pas de la théorie. Je les ai construites après plusieurs sessions où j'ai réalisé, en recoupant avec des sources externes, que ce que le LLM m'avait donné était soit inexact, soit vrai mais interprété de façon biaisée.

1. Sources primaires uniquement

Une source primaire, c'est un document officiel (jugement, acte judiciaire, rapport gouvernemental, texte de loi), une publication d'organisation reconnue, ou une dépêche d'agence de presse de référence — Reuters, AP, AFP. Pour la presse : New York Times, Le Monde, BBC. Pas des blogs, pas des forums, pas des threads Twitter même si tout le monde les relaie.

Le LLM doit s'en tenir à ce qu'il connaît de ces sources. S'il ne peut pas attribuer une affirmation à une source primaire, il le dit.

2. Étiquetage de certitude obligatoire

Chaque point doit porter un label explicite. J'utilise cinq niveaux :

Ce label change tout. Quand tu lis "[PROBABLE]" devant une affirmation, tu sais que tu ne peux pas la citer comme un fait. Ça semble basique mais la plupart des gens consomment de l'information sans jamais savoir à quel niveau de certitude ils se trouvent.

3. Contre-argumentation systématique

Avant de conclure sur n'importe quel sujet, demander explicitement les 3 meilleurs arguments contre la thèse principale. Pas les arguments faibles, les caricatures. Les 3 meilleurs — ceux qu'un défenseur sérieux de la position adverse mettrait en avant.

Ce point seul élimine 80% du biais de confirmation. Si tu ne peux pas formuler les meilleurs arguments adverses de façon honnête, tu n'as pas compris le sujet.

4. Pas d'extrapolation au-delà des sources

Si une information vient d'une seule source, le signaler. Si les sources s'arrêtent à un certain point et que la conclusion nécessite un saut logique, l'étiqueter [SPÉCULATIF] et le signaler explicitement. L'IA ne doit pas "combler les trous" avec des inférences non marquées.

Les prompts qui changent tout

La méthode ne sert à rien si le prompt ne la force pas. Le LLM va reprendre ses habitudes dès qu'on lui laisse de la latitude. Voici les trois prompts que j'utilise régulièrement, dans leur forme actuelle.

Pour une veille structurée sur un sujet :

Tu es un analyste de recherche rigoureux. Sujet : [X].

Sources primaires uniquement : documents officiels, presse reconnue (Reuters, AP, AFP, NYT, Le Monde, BBC).
Pour chaque affirmation, indique [FAIT VÉRIFIÉ], [PROBABLE], [PLAUSIBLE], [SPÉCULATIF] ou [CONTESTÉ].
Cherche activement les informations qui contredisent la thèse principale.
Si tu ne sais pas, dis-le. Ne jamais extrapoler au-delà des sources.

Structure ta réponse :
1. Derniers développements (faits récents)
2. Faits établis (multi-sources primaires)
3. Hypothèses et analyses (avec labels de certitude)
4. Arguments contre la thèse dominante
5. Biais à surveiller dans cette couverture
6. Niveau de confiance global (1-10) avec justification
7. Sources numérotées

Pour remonter aux racines d'un sujet :

Remonte aux sources primaires sur [SUJET].
Donne-moi les 3 meilleurs arguments CONTRE ce qu'on présente généralement.
Distingue "c'est vrai" de "c'est vrai MAIS l'interprétation est fausse".

Pour fact-checker une affirmation précise :

Fact-check : [AFFIRMATION].
Trouve les sources primaires. Étiquette le niveau de certitude.
Dis-moi si c'est solide ou si c'est fragile — et pourquoi.

Ce que ça produit concrètement

Sur un sujet comme la concentration technologique dans l'IA — qui réunit régulation, procédures antitrust, investissements croisés, lobbying — la différence entre une question non-structurée et ce protocole est flagrante.

Question non-structurée : "Est-ce que les grandes techs concentrent trop de pouvoir sur l'IA ?" — réponse : un essai bien rédigé qui confirme probablement ton opinion de départ, avec des exemples choisis dans un sens.

Avec le protocole, tu obtiens une structure typique qui ressemble à ça :

[FAIT VÉRIFIÉ] La Commission européenne a ouvert une enquête formelle sur les pratiques de Microsoft dans ses accords de distribution avec OpenAI en janvier 2024 (source : communiqué officiel CE, 11/01/2024).

[PROBABLE] L'enquête couvre également les clauses d'exclusivité sur les capacités GPU, mais ce point n'a pas été officiellement confirmé dans les documents publiés.

[CONTESTÉ] L'impact de cette concentration sur l'innovation : des économistes comme Tyler Cowen arguent que la concentration accélère le développement (accès à la compute), d'autres comme Daron Acemoglu soutiennent qu'elle réduit la diversité des approches.

La structure te force à voir exactement où tu es sur solide et où tu extrapolais. C'est inconfortable si tu avais une conclusion en tête. C'est le but.

Les limites qui restent

Soyons honnêtes sur ce que ce protocole ne résout pas.

L'IA n'accède pas aux sources en temps réel. Elle synthétise ce qu'elle a vu à l'entraînement. Pour les événements récents — disons les 3-6 derniers mois selon le modèle — elle ne sait pas, ou elle hallucine. Pour une veille d'actualité fraîche, il faut compléter avec des vraies sources en ligne.

Les références peuvent être inventées. C'est le problème classique des hallucinations. Le LLM cite parfois des documents qui n'existent pas, avec des titres plausibles et des dates cohérentes. Toujours vérifier qu'un document existe vraiment avant de s'appuyer dessus. L'URL fournie par l'IA n'est pas une preuve.

La méthode est lente. Ce n'est pas de la veille rapide, c'est de la recherche structurée. Un sujet bien traité avec ce protocole prend 30 à 45 minutes minimum — le temps de poser les bonnes questions, de lire les réponses sérieusement, et de vérifier les points-clés dans des sources réelles. Si tu veux aller vite, tu perds la rigueur.

Ça ne remplace pas le journalisme d'investigation. Un journaliste avec des sources humaines, des documents inédits, des interviews — c'est un niveau d'information que ce protocole n'atteint pas. Ce qu'on fait ici, c'est structurer et clarifier l'information publique disponible. Pas en produire de nouvelle.

Pour qui c'est utile

Ce protocole est utile si tu lis des sujets complexes et que tu veux distinguer ce que tu crois de ce qui est prouvé. Pas besoin d'être journaliste ou chercheur.

La plupart des gens consomment de l'information sans jamais se demander quel est le niveau de certitude de ce qu'ils lisent. Un article de presse mélange faits vérifiés, sources anonymes, interprétations et spéculations — et tout ça est présenté avec le même ton assertif. Forcer l'IA à étiqueter chaque point change le rapport à l'information.

Et pas seulement les réponses de l'IA. Ta propre façon de poser les questions change. Quand tu sais que tu vas recevoir des labels de certitude, tu commences à formuler des questions plus précises, à distinguer ce que tu veux savoir de ce que tu supposais déjà savoir. C'est là que la méthode devient vraiment utile — pas dans les réponses de l'IA, mais dans ce qu'elle t'apprend sur la qualité de tes propres questions. Pour une exploration plus philosophique de ce que l'IA dit vraiment de ses propres limites, voir la conversation sur la conscience, la survie et l'entropie avec Claude.