Cinq de mes agents étaient d'accord. C'était le même biais, copié cinq fois

Je développe un petit roguelite spatial, Galactic Rogue. Après des mois de bricolage, j'ai voulu faire un état des lieux honnête. Plutôt qu'une relecture unique, j'ai lancé une revue multi-perspectives : plusieurs relecteurs, un par dimension (technique, design, contenu, équilibrage, et ainsi de suite). Sept au total. Peu importe l'outil qui les fait tourner ; ce qui compte, c'est qu'ils regardaient chacun le projet sous un angle différent.

Ils étaient largement d'accord. Et une conclusion précise revenait, estampillée « citée par 5 des 7 relecteurs » : le playtest humain était LE jalon, avant quoi rien ne pouvait se figer. Cinq sur sept. J'ai failli prendre ça pour une vérité solide.

C'en était une, mais pas pour la raison que je croyais.

Mes sept relecteurs avaient tous lu les mêmes documents de conception. Or ces documents répétaient la même phrase, « le playtest est le juge de paix », une bonne demi-douzaine de fois. Le « cité par 5 sur 7 » n'était pas une convergence indépendante. C'était cet ancrage renvoyé en écho.

C'est le vrai danger des revues en parallèle : le contexte partagé fabrique un faux consensus. Le chiffre paraît robuste, il n'est qu'un seul a priori multiplié. Ça vaut pour des agents logiciels comme pour un comité humain briefé par la même note de cadrage : on croit avoir cinq avis, on a un avis lu cinq fois.

Une revue ne confirme que ce qu'elle a regardé. Ses angles morts, par définition, elle ne les voit pas. J'ai donc lancé une seconde passe, adversariale, dont la seule mission était d'attaquer la première : chercher ce qui manquait, pas confirmer ce qui était là.

Verdict de cette passe : 23 constats confirmés, 4 nuancés, 1 réfuté. Chiffres rassurants. Sauf que sa vraie trouvaille n'était aucun de ces jugements.

C'était une omission. Le build que mes joueurs avaient réellement entre les mains était la version cassée. J'avais corrigé deux bugs d'équilibrage dans le dépôt, puis jamais réuploadé. La correction vivait chez moi, le bug vivait chez les joueurs. Le constat le plus important, le plus actionnable, était quelque chose que personne n'avait jugé, parce que personne n'avait regardé là.

J'ai vu le même mécanisme sur un autre projet, côté code. Une flotte d'agents adverses, lancée sur un lot que je croyais propre et testé, a remonté environ huit failles confirmées. La plus grave : une injection qui passait par le titre, un canal auquel mes propres tests n'avaient pas pensé. Mes tests validaient exactement ma défense ; ils ne pouvaient pas valider le trou de ma défense. Même principe : la passe indépendante trouve la classe de bugs qu'on ne peut pas trouver soi-même, parce qu'on ne teste pas ce qu'on n'a pas imaginé.

Dernière leçon d'humilité : cette seconde passe a retourné son scepticisme contre la première. Elle a attrapé un biais d'ancrage que la première avait laissé passer, et fait redescendre une note « solide » sur le suivi du projet à « correcte », rature visible à l'appui, une fois regardés les vrais trous (aucune version du jeu figée et étiquetée, un build en ligne périmé).

J'ai plus confiance dans une relecture qui se dédit visiblement que dans une qui revient sans accroc. La seconde a peut-être juste évité les sujets qui fâchent.

Trois réflexes, transposables à n'importe quelle relecture, humaine ou non :