This Time is Different vs Excel

Résumé :

–  La mise en évidence par Reinhart et Rogoff d’un fort ralentissement de la croissance des pays ayant un ratio dette/PIB supérieur à 90% a constitué une caution académique des discours prônant l’austérité budgétaire.

– Une tentative de réplication du résultat par Hendon, Ash et Pollin (U. Mass.) a montré que ce seuil est le résultat d’erreurs de méthode et de réalisation du calcul.

– Il ne faut toutefois pas surestimer l’influence du seuil de 90% dans la conception des politiques. Les autres volets majeurs de l’étude de R&R demeurent valides, et l’accident doit attirer l’attention sur les risques liés à l’utilisation d’outils inappropriés (ici un tableur) dans des tâches critiques de productions de chiffres.

Source : Hendon, Ash et Pollin (2013)

Depuis la parution d’un papier de l’Institut Roosevelt [1], les réseaux sociaux et la blogosphère économique sont en ébullition : un résultat de Reinhart et Rogoff, que la croissance des pays est pénalisée lorsque leur ratio dette/PIB passe les 90%, apparaît avoir été causé à la fois par des choix méthodologiques discutables et par une erreur dans une formule de tableur [2].

Une large part du débat se focalise sur ce seuil à 90%, qui avait occupé beaucoup d’espace dans le débat public et constitué, à en croire bon nombre de commentateurs, une caution académique pour les politiques d’austérité. Ce n’est cependant pas ce qu’il faut retenir de cet épisode. Leur étude contient des éléments beaucoup plus intéressants sur le processus conduisant aux crises bancaires et sur la répression financière qui s’ensuit. L’épisode lui-même est instructif quant au fonctionnement du débat public et académique, et a le mérite d’attirer l’attention sur le risque lié à l’utilisation d’un tableur pour des calculs dont la fiabilité est importante.

This Time is Different : Le rôle déterminant des bulles de crédit et l’analyse sur la répression financière 

Il n’y a sans doute pas lieu de négliger l’importance de This Time is Different sur la seule base de cette erreur. La détermination d’un seuil d’endettement à partir duquel la dette est un obstacle à la croissance n’est pas la principale contribution de cet ouvrage. C’est probablement sa partie la plus fragile et la moins intéressante. Le grand apport de Reinhart et Rogoff est leur analyse historique profonde des crises bancaires.

Celle-ci a permis de mettre en évidence le rôle déterminant des bulles de crédit, en particulier immobilières dans le déclenchement des crises. Surtout, et c’est ce qui a donné son titre à l’ouvrage, ils montrent très efficacement comment la constitution de ces bulles repose fondamentalement sur des anticipations biaisées, sur la croyance renouvelée que cette fois, c’est différent, et qu’une innovation donnée (Internet et la titrisation étant les deux derniers avatars) modifie en profondeur le fonctionnement de l’économie en augmentant très rapidement les perspectives de croissance.

Il faut également retenir de leur travail toute la partie sur la répression financière. Tout autant que les ratios dette/PIB, cette boîte à outils et son utilisation vont probablement conditionner le fonctionnement des économies européenne, américaine et japonaise pour les dix ans à venir. Il semble que ce versant de l’ouvrage n’a pas reçu l’attention qu’il mérite.

This Time is not Different : La fragilité du seuil à 90% était connue et documentée par les auteurs eux-mêmes

Par ailleurs, il ne faut sans doute pas exagérer la portée réelle de ce seuil à 90%. Il a certes servi de référence dans certains débats, mais tout autre seuil proche, calculé par une méthode similaire, aurait probablement tenu lieu de caution académique. On n’a pas attendu ces travaux pour fixer un seuil dette/PIB dans le traité de Maastricht (60% du PIB, pour mémoire).

La violence de la réaction des milieux académiques s’explique sans doute moins par l’effet de politiques utilisant ce seuil de 90% (ce qui n’est d’ailleurs pas clair : les analyses de soutenabilité de la dette semblent plus complexes) que par un sentiment de trahison. Le travail de Reinhart et Rogoff a été reçu comme une véritable contribution académique, où les auteurs avaient su mettre leurs opinions de côté pour exploiter un jeu de données très riche (et particulièrement difficile à construire). Apprendre que leur résultat est lié à des biais méthodologiques et à une erreur dans une formule est alors décevant, et d’autant plus décevant que leur réaction ne semble pas être à la hauteur.

Ceci étant, il faut aussi garder une certaine mesure dans les réactions. Le fait que ce seuil était calculé sur la base de relativement peu de points, et donc fragile, était un élément connu, et documenté par les auteurs eux-mêmes. Avant même la révélation des erreurs dans le calcul, il y avait amplement de quoi nuancer la portée de ce résultat, ce que ne s’est d’ailleurs pas privé de faire Paul Krugman, avec de bons arguments [3].

Excel, facteur de risque opérationnel

Un pont qu’il me semble important de souligner est la partie liée à l’erreur dans une formule. La faute est vénielle : dans une moyenne, un des chercheurs n’a pas tiré le cadre de sélection assez bas, et ainsi laissé de côté une partie des données. Oui, cela arrive à tout le monde. Non, cela ne devrait pas arriver, pas plus dans un travail académique que dans l’industrie ou la finance.

Le problème ici réside dans le choix de l’outil. Oui, un tableur est un outil fantastique pour faire des calculs de coin de table et avoir une idée sommaire de ce qu’il y a dans des données. Non, un tableur ne devrait pas être utilisé en production. Le vice fondamental du tableur est de rassembler dans une même interface les données, les formules et les résultats. On se retrouve ainsi facilement à éditer des données sans s’en rendre compte (un des no-no de la statistique : on ne change rien aux données sans le documenter), à remplacer une formule par une valeur, ou à éditer un résultat.

La dernière erreur est d’autant plus aisée à commettre que le plus souvent, les formules ne sont pas apparentes, masquées par leur résultat. Un copier-coller valeur, et une formule est remplacée par un résultat fixe. Une formule fautive peut rester cachée longtemps (c’est ce qui est arrivé à la Baleine de la Tamise [4]) ou, dans le cas de Reinhart et Rogoff, ne portée que sur une partie des résultats.

Toutefois, que celui qui n’a jamais commis ce type d’erreur leur jette la première pierre. C’est dire à quel point ces erreurs sont fréquentes, et pour la plupart passent inaperçues malgré des conséquences importantes. Omniprésent dans l’industrie et la finance, le tableur constitue probablement un des facteurs majeur de risque opérationnel – probablement plus significatif que les algorithmes de trading à haute fréquence.

 Notes: