L’austérité à cause d’une erreur Excel ?

Les politiques d’austérité, à cause d’une erreur sous Excel ?

17 AVRIL 2020

En ces temps troublés, j’ai eu bien du mal à trouver un sujet à traiter qui me motive, et qui nous sorte des réflexions sur le COVID-19. Le salut est finalement venu d’un sujet un peu en dehors de ma zone habituelle…et qui n’est pas sans résonance avec l’actualité !

Tout d’abord, je voudrais remercier celui par qui ce sujet est arrivé à mes neurones : Cyrille Rossant dont l’excellent livre sur le calcul interactif en Python mentionnait l’article de Reinhart et Rogoff comme une bonne raison de s’intéresser de près à la reproductibilité des expériences numériques.

Je crois que j’en avais déjà entendu parler (probablement dans cette tribune), mais l’histoire était sortie de ma mémoire…

Une sombre histoire de moyenne

Il y a un point technique important que j’évoque dans la vidéo, sans le détailler : la manière « bizarre » de faire les moyennes, utilisées par R&R dans leur papier. Voici le détail.

Dans la base, on a environ 1200 lignes : chaque ligne correspond à un couple Année-Pays. Intuitivement, si l’on veut réaliser une moyenne, on va moyenner sur chaque année-pays, de façon à ce que chaque ligne de donnée ait un poids identique dans le résultat final.

Mais ce qu’on fait R&R, c’est d’abord de grouper en 4 catégories de dette par pays, puis de moyenner. On le voit bien sur la capture d’écran que je montre dans la vidéo :

Cela peut paraitre assez intuitif de faire comme ça, mais cela cache une faille. Sur les chiffres que l’on voit, le 2.4% de UK dans la tranche « >90% » est une moyenne obtenue sur 19 lignes de données (toutes les années entre 1946 et 1964, où le Royaume-Uni a été au-dessus de 90% de dette). En revanche, le -7.9% de la Nouvelle-Zélande correspond à … une seule année : l’année 1951.

A la fin, les deux auront le même poids dans la moyenne qui donnera le fameux -0.1% qui s’est révélé faux. Si on ajoute à cela l’oubli de certaines données et de certains pays dans la moyenne, on voit que le fameux résultat est dû uniquement à cela : l’année 1951 en Nouvelle-Zélande. Si on enlève juste ce point, le -0.1% devient un +1,2%.

Bref, le résultat clé de R&R, c’est juste dû à l’année 1951 en Nouvelle-Zélande et ses -7.6% de (dé)croissance. Ah oui petit détail savoureux : en plus des 3 erreurs mentionnées dans la vidéo, il y avait aussi une 4e erreur « de transcription » qui fait que le vrai chiffre de -7.6% pour la NZ avait été mal recopié en -7.9%.

Edit du 20/04 : Comme beaucoup l’ont remarqué, il y a aussi le caractère totalement arbitraire du fait de segmenter la dette en 4 tranches 0/30/60/90%. De ce que j’en sais, c’est effectivement considéré comme une mauvaise pratique en statistiques de prendre une variable continue, et de la discrétiser de la sorte : on perd en information et on gagne en arbitraire.

Que celui qui n’a jamais fait d’erreur Excel leur jette la première pierre…

J’espère que le ton de la vidéo fait correctement ressortir le message principal, qui n’est pas de se moquer d’une boulette Excel par des pontes de Harvard, mais surtout de mettre en valeur les structures existantes pour éviter que ces erreurs (humaines, et normales) aient des conséquences :

La revue par les pairs : dont je ne comprends pas toujours pourquoi elle ne s’est pas appliquée dans ce cas là. Apparemment c’était un numéro de la revue regroupant des actes de conférence. Mais pourquoi pas de peer-review ? Et comment un article peut-il alors se prévaloir du prestige de la revue ?

Edit du 20/04 : Suite à plusieurs conversations avec des économistes professionnels, j’ai un peu éclairci cette situation. Avant 2018, le numéro du mois de Mai de l’American Economic Review (AER) était consacré aux proceedings de la conférence de l’American Economic Association. Pour les économistes, il était semble-t-il bien connu que ce numéro de Mai était spécial et différent, sans peer-review formel, avec des papiers plus courts, etc. Donc les « pros » savaient faire la différence en voyant que « c’était dans le numéro du mois de Mai ». Toutefois dès qu’on est un peu extérieur au domaine, si on n’a pas cette connaissance, on ne peut pas deviner qu’une publication « dans le numéro de Mai » n’a pas la même valeur qu’une publication dans les autres numéros de l’AER. Depuis 2018, les choses ont été clarifiées car l’éditeur a décidé de transformer ce numéro spécial en une édition à part entière, avec un vrai nom différent « AEA Papers&Proceedings ». Mais en 2010, quand le R&R a été publié, cette distinction n’avait pas encore été faite.

Le partage des données et des codes : il faut reconnaitre que R&R ont quand même eu l’honnêteté intellectuelle de partager leurs données. On n’aurait pas forcément parié dessus, d’autant que la demande émanait de ce qui semble être un « petit » département d’économie voisin. A la fin de cette histoire, c’est quand même David qui a ridiculisé Goliath !

Par ailleurs, sur ce fil Twitter : quelques compléments sérieux  d’un macro-économiste sur ce que l’on comprend des liens entre dette et croissance.

Quelle influence réelle ?

C’est probablement mission impossible d’essayer de savoir quelle influence réelle a exercé cet article sur les décisions politiques prises à l’époque.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *