Posted on 15 May 2024 — Updated on 20 Jun 2024
Est-ce que vous connaissez l’histoire des serpents de New Delhi ? C’est l’une de mes anecdotes préférées.
Pendant la période coloniale britannique en Inde, les Anglais s’inquiétaient du nombre trop importants de cobras dans la ville. Ils offrirent donc une prime à tout individu qui leur ramènerait un cobra mort. Les habitants ont très vite compris le filon et ont mis en place d’authentiques élevages de cobras afin de gagner le plus d’argent possible. Les Anglais se rendent compte de l’arnaque et mettent un terme au système de récompense. Qu’à cela ne tienne ! Les éleveurs de cobras les relâchent alors dans les rues. Résultat : plus de serpents qu’au début2.
Cette histoire illustre très bien le principe suivant :
Quand une métrique qui approxime le but réel devient l’objectif, elle cesse d’approximer le but réel.
Ce principe a beaucoup de nom et beaucoup de formulations selon le domaine d’applications : loi de Goodhart en macro-économie, loi de Campbell en sciences sociales, ou encore critique de Lucas en économie toujours.
Dans la suite de cette entrée, j’aimerai étendre ce principe aux révisions des étudiant·e·s et introduire le principe des serpents !
Peu importe que vous ayez fait un programme de révisions ou non, vous avez très certainement une métrique pour suivre votre progression. Cela peut être la quantité de cours vus chaque jour, le nombre de pages que vous avez tourné dans votre manuel, le temps passé à la bibliothèque ou que-sais-je.
Et dès qu’il y a une métrique en jeu, le principe des serpents peut s’appliquer. Ici le but réel, c’est de travailler son cours, faire des exercices, bref progresser dans le domaine que l’on a choisi d’étudier. Si vous le perdez de vue et que vous vous concentrez sur la métrique, vous risquez de vouloir optimiser cette dernière à tout prix, très souvent au détriment de votre but réel :
Dans toutes ces situations, votre but réel est remplacé par l’optimisation d’une métrique qui perd peu à peu son lien avec votre but réel.
Comment se sortir des travers du principe des serpents ? Choisir une métrique peu manipulable peut vous aider. Par exemple si votre objectif est d’avoir plus de 16/20 lors de vos entraînements, il va être plus difficile de le déformer que si vous vous basez sur le nombre d’entraînements faits3. Garder en tête votre but réel. Cela peut paraître trivial, mais on oublie rapidement pourquoi on fait les choses. Pour l’exemple de la médecine, le but est d’être un·e professionnel·le compétent·e qui arrivera à soigner la population, pas de cartonner au concours de l’internat.
Cette première partie s’inspire grandement de l’article Wikipédia sur le sujet. ↩
Cette histoire est probablement inventée mais il y a un exemple très similaire avec des rats au Vietnam qui serait plus documenté. ↩
Quoique vous pourriez vous mettre à choisir des sources d’entraînements trop faciles… ↩