Quand « ce n'est qu'un indicateur » devient un alibi

Galactic Rogue, mon roguelite spatial, a un cœur que je soigne : une logique de jeu déterministe, testée. Pour l'équilibrer sans jouer mille parties à la main, j'ai écrit un simulateur : un programme qui rejoue des milliers de parties automatiquement et me sort des taux de victoire et de survie. De là je tirais mes constantes de difficulté.

Chaque rapport de balance se terminait par une liste de caveats, ces précautions honnêtes qu'on colle en bas de page : « la sim est un indicateur, pas la bible », « le pilotage humain dépasse mes heuristiques », « l'usure réelle du vaisseau est sous-estimée ». J'en étais fier. Ça sonnait rigoureux.

Un audit a retourné cette prudence contre moi.

Le problème n'était pas que mes caveats étaient faux. Ils étaient vrais, et à côté de la plaque.

Un simulateur à heuristiques fixes ne joue pas comme un humain. Le mien bornait le pire cas dans un sens précis : pessimiste sur la victoire (un joueur qui pilote vraiment bat mes règles automatiques) et optimiste sur la survie (il repartait avec une coque neuve à chaque combat, donc sous-estimait l'usure). Ça, un bon instrument peut le déclarer : voici mon enveloppe de confiance, voici ce que je ne sais pas mesurer.

Ce qu'un simulateur sait faire, c'est classer et localiser : ce build est plus fort que celui-là, le mur est ici. Ce qu'il ne sait pas faire, c'est fixer une valeur finale. Mes constantes portaient d'ailleurs l'étiquette honnête « ancrage provisoire, valeur finale = playtest ».

Sauf que mon instrument était aveugle à 40% des nœuds d'une partie, ces points de la carte que le joueur traverse un à un. Les événements et la boutique, il les sautait purement et simplement. Il équipait aussi le vaisseau d'une façon impossible dans le vrai jeu. Et mes caveats, eux, récitaient une prudence générique (« le pilotage humain, l'usure ») sans jamais nommer ce trou-là.

C'est ça, le piège. « Ce n'est qu'un indicateur » avait cessé d'être une précaution. C'était devenu une caution : une formule qui m'autorisait à trancher des chiffres de difficulté sur un instrument qui ne voyait pas 40 % du jeu.

J'ai fini par me donner une règle simple pour distinguer les deux. Devant un caveat, je demande : est-ce qu'il énumère les trous spécifiques de cet outil-ci, ou est-ce qu'il déroule une humilité passe-partout qui vaudrait pour n'importe quel modèle ?

« Le pilotage humain dépasse la sim » : vrai partout, donc informatif nulle part. « La sim ne simule ni les événements ni la boutique, soit 40% des nœuds » : voilà un trou nommé, qu'on peut aller boucher.

Et une fois le trou nommé, la bonne réponse n'était pas d'ajouter un caveat de plus. C'était de réparer l'instrument, puis de re-mesurer. J'ai fait jouer les événements et la boutique à la sim, corrigé l'équipement, branché la station. La re-mesure honnête a sorti des chiffres que l'ancienne version ne pouvait pas voir. Aucune quantité de prudence en bas de page ne les aurait révélés.

Ce qui m'a piégé n'était pas un excès de confiance, c'était l'inverse : une humilité si bien affichée qu'elle m'a dispensé de regarder. Un avertissement sincère fait le même travail qu'une garantie mensongère quand il sert à clore la question au lieu de l'ouvrir.

On retrouve ça partout où un modèle éclaire une décision. Un backtest financier (rejouer une stratégie sur les données passées) surligné de « les performances passées ne garantissent rien ». Un benchmark d'IA emballé dans « ne reflète pas tous les usages ». La phrase est vraie, et c'est justement ce qui la rend dangereuse : sa vérité générale endort la seule question qui compte. Pas « ai-je mis un avertissement ? », mais « qu'est-ce que cet instrument-ci ne voit pas, et est-ce que je décide quand même ? ».