Menu
ForsidePriserWebinarer
Connexion
Kontakt
Kontakt

La preuve était en Calibri

Une affirmation a circulé neuf ans avant qu’on puisse la vérifier. Ce qui l’a fait tomber n’était pas une autorité : c’était une police de caractères restée dans un tableur.

10 min
Planche imprimée de 1681 montrant des dizaines de polices de caractères différentes, chacune nommée et disposée en colonnes
« Proeven van Letteren », spécimen des caractères de Christoffel van Dijck, 1681 — domaine public / Wikimedia Commons

La preuve — épisode 11

L’idée avait tout pour elle.

Quand quelqu’un remplit un formulaire où il pourrait être tenté de mentir — son kilométrage, ses revenus, ses dépenses — ne lui faites pas certifier son honnêteté à la fin. Faites-le signer au début, avant la déclaration. L’engagement devient présent au moment précis où la tentation opère. Une intervention minuscule, presque gratuite, qui ne retire aucune option à personne. Le nudge parfait.

En 2012, Lisa Shu, Nina Mazar, Francesca Gino, Dan Ariely et Max Bazerman publient ce résultat dans les Proceedings of the National Academy of Sciences. Deux expériences de laboratoire, et surtout une expérience de terrain sur 13 488 clients d’un assureur automobile : ceux qui signent en haut du formulaire déclarent environ 2 400 miles de plus que ceux qui signent en bas — 10,3 % d’écart. Comme déclarer davantage de kilomètres leur coûte de l’argent, les auteurs y lisent une déclaration plus honnête.

L’idée voyage. Elle est citée, enseignée, reprise dans les débats de politique publique. Des administrations la mettent en œuvre.

Neuf ans plus tard, elle tombera à cause d’une police de caractères.

Ce qui devait revenir ne revient pas

Un résultat ne devient pas solide parce qu’il est publié. Il faut pouvoir le retrouver.

En 2020, Ariella Kristal, Ashley Whillans et Max Bazerman publient dans PNAS, avec les cinq auteurs de l’article d’origine, cinq réplications conceptuelles portant sur 4 559 participants, plus une réplication directe, préenregistrée et bien plus puissante que les expériences initiales, sur 1 235 participants.

Aucune ne retrouve l’effet. Le titre ne s’embarrasse pas de nuance : Signing at the beginning versus at the end does not decrease dishonesty.

Les auteurs restent pourtant précis, et la précision compte : ils ne démontrent pas qu’une signature en haut d’un formulaire ne pourrait jamais rien produire dans aucun contexte. Ils concluent qu’il n’existe plus de bonne raison de tenir ce mécanisme pour une solution simple à la malhonnêteté.

L’histoire pourrait s’arrêter là — une petite étude spectaculaire, de plus grandes expériences qui ne la retrouvent pas, la connaissance qui se corrige. Sauf qu’en revenant sur l’expérience de terrain, quelque chose ne tient pas.

Un effet antérieur à l’expérience

Les clients de l’assureur étaient censés avoir été répartis au hasard entre les deux formulaires. Si la randomisation avait fonctionné, les deux groupes auraient dû être comparables avant l’intervention.

Ils ne le sont pas. Les relevés kilométriques antérieurs diffèrent déjà d’environ 15 000 miles en moyenne d’un groupe à l’autre.

Il faut mesurer ce que cela signifie : l’écart existant avant l’expérience est plus de six fois supérieur aux 2 400 miles qui constituaient le résultat publié. Et une signature placée en haut d’un formulaire ne peut évidemment pas modifier un kilométrage enregistré avant qu’elle existe.

Le papier de 2020 avance l’explication la plus économique : la randomisation a pu échouer, ou ne pas avoir été faite comme prévu. Gênant, mais banal.

Puis les données sont rendues publiques. Et quelqu’un ouvre le fichier.

Descendre d’un étage

À ce stade, l’affirmation possède tout ce qui rend une affirmation facile à transmettre : un article, une grande revue, cinq auteurs reconnus, un résultat mémorable, une référence bibliographique propre. On peut discuter à cet étage pendant des années.

Ou descendre.

Des chercheurs restés anonymes examinent le fichier ; Uri Simonsohn, Joseph Simmons et Leif Nelson poursuivent l’analyse et publient leurs conclusions sur Data Colada en août 2021.

Ils regardent d’abord les kilomètres parcourus entre deux relevés. Dans une population réelle d’automobilistes, quelques-uns roulent beaucoup, beaucoup roulent peu, la distribution est irrégulière. Dans le fichier, elle est presque parfaitement uniforme entre zéro et 50 000 miles : autant de conducteurs à 1 000 miles qu’à 10 000, 20 000 ou 40 000. Puis, net, plus rien. La valeur maximale est 49 997.

Cela ne ressemble pas à des automobilistes. Cela ressemble à un générateur de nombres aléatoires auquel on a donné une borne.

Deuxième anomalie : quand des humains déclarent de grands nombres, ils arrondissent. Les anciens kilométrages du fichier arrondissent, comme attendu. Les nouveaux, presque jamais.

Calibri et Cambria

Reste le détail qui a donné son nom à l’affaire.

Dans une colonne, la moitié des anciens kilométrages est en Calibri, l’autre moitié en Cambria. Exactement 6 744 observations dans chaque police pour le premier véhicule.

Une différence de police ne prouve rien. Alors les chercheurs comparent les lignes. Les observations en Cambria ressemblent étrangement à celles en Calibri : même nombre de véhicules, kilométrages très proches, avec de petits écarts qui ont l’air d’avoir été ajoutés. Sur les dossiers à quatre voitures, la ressemblance devient frappante. Ils lancent un million de simulations pour savoir si une telle proximité peut apparaître par hasard.

Elle n’apparaît pas une seule fois.

Leur reconstruction est alors précise : une partie des observations aurait été dupliquée puis légèrement modifiée à l’aide de nombres aléatoires, et les données du nouveau relevé auraient été générées artificiellement — d’où la borne à 50 000. L’opération a laissé une trace que personne n’avait prévue : la police de caractères de la copie.

En septembre 2021, PNAS rétracte l’article de 2012.

Ce que nous savons, et ce que nous ne savons pas

Ici, la tentation est immédiate : nommer un coupable. Il faut y résister, et pas par prudence juridique — par cohérence avec ce que cet article défend.

L’analyse de Data Colada fournit des éléments très forts pour conclure que les données de l’expérience de terrain ont été fabriquées. Elle ne permet pas d’établir, à partir du fichier seul, qui les a fabriquées. Ses auteurs le disent explicitement.

Des éléments de provenance existent : Dan Ariely supervisait cette partie de l’étude, il était le coauteur en relation avec l’assureur, et le fichier transmis à ses coauteurs venait de lui. Ce sont des faits pertinents pour reconstruire d’où vient le jeu de données. Ariely a pour sa part déclaré ne pas avoir fabriqué ces données.

« Les données de cette étude ont été fabriquées » et « telle personne les a fabriquées » sont deux affirmations distinctes, qui demandent deux chaînes de preuve distinctes. Les fusionner parce que la seconde raconte une meilleure histoire serait très exactement la faute que cet article décrit.

C’est aussi pourquoi la question « peut-on faire confiance à ce chercheur ? » est moins utile qu’elle n’en a l’air. Supposons cent résultats publiés : certains répliqués dix fois, d’autres fragiles, plusieurs contestés, un reposant sur des données fabriquées. Quelle note ? La question ne dit presque rien de ce qu’on veut savoir, qui est plus étroit et plus utile : sur quoi repose cette affirmation-ci ?

Une phrase ne sait pas qu’elle a été rétractée

Voici, pour un registre, le point décisif.

Imaginez une présentation faite en 2015. Une diapositive affirme que signer en haut d’un formulaire augmente l’honnêteté, et cite l’article de 2012. Le fichier est enregistré sur un disque.

Le monde continue. Les réplications échouent. Les données s’ouvrent. Les anomalies apparaissent. L’article est rétracté.

La diapositive, elle, ne sait rien. Sa phrase n’a pas bougé, sa référence non plus. Elle est pourtant devenue fausse à afficher — sans que rien, dans l’objet, ait changé.

Nous traitons volontiers une information comme un objet portant un statut acquis une fois pour toutes. Mais ce que nous savons dépend de relations qui évoluent autour de l’affirmation : une source corrigée, une expérience non reproduite, un document expiré, une vérification ajoutée, une contestation déposée. Le graphe change ; la cellule reste identique.

C’est ce que voulait dire l’article qui ouvre cette série : une preuve n’est pas un fait, c’est un chemin. L’affaire de la signature permet de le prendre au pied de la lettre — le chemin descend d’une conclusion vers une expérience, puis un fichier, puis une colonne, puis quelques cellules dont la mise en forme avait gardé une information que personne ne cherchait.

Ce que les données propres détruisent

Il y a quelque chose de troublant dans ce Calibri.

Le tableur n’avait jamais été conçu comme un système de provenance. Personne n’avait ajouté de colonne signalant que certaines lignes avaient été copiées. Et pourtant l’opération avait laissé une trace, qui a survécu des années et qui, recoupée avec le reste, a permis de reconstruire l’histoire du jeu de données.

Cela devrait rendre prudent devant notre goût des données propres. Uniformiser les polices aurait rendu le fichier plus présentable. Cela aurait aussi effacé l’indice.

La provenance n’est donc pas seulement l’ajout de métadonnées soignées après coup. C’est aussi le fait de conserver assez de l’histoire des objets pour que leurs transformations restent lisibles — y compris les parties dont on ne voit pas encore l’usage.

Ne pas corriger le passé en silence

Après la rétractation, une base de connaissances serait tentée de supprimer le résultat. Mauvaise étude, mauvaise donnée, on efface.

On perdrait l’essentiel. Pendant neuf ans, cette affirmation a existé : des chercheurs l’ont crue, des articles l’ont citée, des administrations l’ont appliquée. Puis les réplications ont échoué, les données ont été ouvertes, quelqu’un les a regardées, la revue a rétracté. La connaissance n’est pas passée d’un coup de « vrai » à « faux » — c’est la chaîne de preuve qui a changé, et avec elle ce qu’il était raisonnable d’affirmer.

L’erreur fait partie de l’histoire. Un registre sérieux ne réécrit pas le passé à chaque révision : il permet de comprendre ce qu’on croyait, pourquoi, et ce qui a fait changer d’avis. L’historisation n’empêche pas la correction — elle la rend intelligible.

Origine France

Une chaîne d’approvisionnement a le même problème, sous une autre forme.

Un producteur déclare une origine. Un document la soutient. Un acheteur la reprend, un transformateur la transmet, un commerçant l’affiche. À la fin, le consommateur lit deux mots : Origine France. Entre les deux, tout le chemin peut avoir disparu — et la phrase, comme la diapositive de 2015, ne saura jamais que le document qui la soutenait a expiré.

Le vrai problème de l’affaire de la signature n’était pas seulement que des données avaient été fabriquées. C’était la distance entre la conclusion et ce qui aurait permis de le découvrir. Pour transmettre le résultat, quelques mots suffisaient. Pour le contester, il fallait retrouver l’article, obtenir les données, examiner une distribution, comparer des milliers de lignes et finir par remarquer une police de caractères.

La conclusion avait un chemin très court pour monter. La vérification en avait un très long pour redescendre.

Une infrastructure de preuve ne promet pas que personne ne mentira, ni que les données seront exactes, ni qu’elle désignera qui mérite la confiance. Elle fait quelque chose de plus modeste : elle raccourcit la descente.

Parce qu’un jour, quelqu’un voudra remonter le chemin. Et ce jour-là, même une police de caractères peut compter.

—

Lisa L. Shu, Nina Mazar, Francesca Gino, Dan Ariely, Max H. Bazerman, « Signing at the beginning makes ethics salient… », PNAS, 2012 — rétracté en septembre 2021. Ariella S. Kristal et al., « Signing at the beginning versus at the end does not decrease dishonesty », PNAS, 2020. L’analyse des données est parue sur Data Colada en août 2021 (Simonsohn, Simmons, Nelson), à la suite du travail de chercheurs restés anonymes. Épisode 11 de la série « La preuve ».

Hvad det betyder for dig

Den samme tankegang udspiller sig forskelligt, afhængigt af hvor du står i kæden.

Du forarbejder, du er et brand

Une allégation reprise d’un fournisseur ne sait pas qu’elle a été démentie en amont. Ce qui vous protège n’est pas la qualité de la source, c’est de pouvoir redescendre jusqu’à elle.

VeraTrace til forarbejdningsvirksomheder →

Du er distributør eller indkøbscentral

Uniformiser les données reçues les rend exploitables et détruit une partie de ce qui permettrait de les contester. Conserver la forme brute à côté du champ normalisé coûte peu et sauve tout.

VeraTrace til detailhandlen →

Du er en kommune eller en offentlig køber

Une exigence documentaire n’a de valeur que si le chemin de vérification est plus court que le chemin de l’affirmation. Sinon vous collectez des conclusions.

VeraTrace til lokalområder →

Behandlede begreber

Comment ces textes sont écrits