L’analyse de nombreuses études publiées dans les grandes revues médicales et scientifiques le montre : elles sont souvent fausses. La majorité d’entre elles n’est pas réplicable. C’est flagrant en psychologie, en pharmacie et d’une manière générale dans les sciences humaines, mais le phénomène touche aussi une science dure comme la physique des particules. La proportion des études fiables régresse.
Un article de First Thing secoue le milieu des épistémologues américains. Son auteur, l’informaticien William A. Wilson, se fondant sur plusieurs études d’études et sur les travaux de John Ioannidis, professeur à l’école de médecine de l’université de Stanford, tire la sonnette d’alarme : selon lui, la science régresse et les études publiées par les revues scientifiques renommées telles Nature sont fausses en majorité. Plus, le phénomène n’est pas passager, il est structurel.
Les études dans les grandes revues sont fausses en majorité
Le secteur le plus évidemment touché est la psychologie. Sur un échantillon de 2.000 études publiées en 2011 et réexaminées, leurs auteurs ont avoué dans plus de la moitié des cas avoir sélectionné les expériences qui étayaient leur thèse, et 10 % avaient falsifié les données ou les avaient présentées comme statistiquement significatives alors qu’elles ne l’étaient pas. A l’été 2015, l’OSC, l’Open science collaboration, a choisi les cent études les plus réputées de l’année et les a soumises à un test de réplicabilité. On se souvient que, selon les critères définis par le philosophe des sciences Popper, l’un des critères retenus pour déclarer scientifique une expérience est qu’elle soit réplicable, qu’on puisse la répéter avec des résultats approximativement semblables. Eh bien, dans le cas des études examinées par l’OSC, 65 % ne l’étaient pas.
La même chose se constate hélas concernant la pharmacie. La firme Bayer a testé en 2011 les études ayant débouché sur les soixante-sept médicaments anti cancer les plus connus : les trois quarts d’entre elles étaient sans valeur. L’économie et les sciences sociales ne sont pas mieux loties. Toute la communauté scientifique s’est esclaffée quand on s’est aperçu que la thèse de Ken Rogoff et Carmen Reinhardt liant la hausse de la dette publique au ralentissement de la croissance reposait sur… une erreur sous Excel ! Et celle de Steven Levitt liant la baisse de la criminalité à l’avortement sur une grosse faute d’arithmétique.
Même la science physique est touchée
Le plus étonnant dans le phénomène est qu’il touche aussi ce qu’on nomme les sciences « dures » par oppositions aux sciences « molles » que sont les sciences humaines, et l’une des plus dures de toutes, la physique, y compris la physique des particules. Se fondant sur les travaux de Danielle Farelli, Wilson avance que tous les scientifiques ont tendance à biaiser, et qu’ils en ont plus l’occasion dans les sciences molles que dans les sciences dures, mais que cela arrive quand même dans les sciences dures.
En dehors de l’erreur grossière et de la fraude plus ou moins consciente, on constate très simplement que les chercheurs, quand ils sont persuadés de la validité d’une hypothèse, ont tendance à la vérifier par leurs études. Et il ne faut pas croire que la recherche sur un phénomène par plusieurs équipes indépendantes améliore les choses, au contraire. Cela tient à la psychologie de la recherche : les équipes sont en concurrence pour publier dans les grandes revues, or celles-ci ne publient pas des non-résultats, donc la concurrence aboutit à publier, donc à tenir l’hypothèse lancée pour vraie et établie ! Et ce qu’il y a de plus grave, c’est que ces hypothèses aventurées sont reprises dans des dizaines d’études dérivées, sans que celles-ci ne s’attachent à en vérifier la validité pour les confirmer ou les rejeter.
La proportion des études fiables régresse
Le contrôle exercé par les scientifiques attachés aux grandes revues scientifiques n’est pas un garde-fou suffisant non plus. « L’imposture de Sokal » en est la preuve. Un dénommé Alan Sokal a soumis au British medical journal une étude rédigée de façon très obscure dans laquelle il avait glissé huit erreurs scientifiques majeures. Sur les 221 personnes qui l’ont relue, pas une ne les a toutes détectées, et seul 30 % des relecteurs ont demandé son rejet !
Pour Wilson, le diagnostic est sans appel et le pronostic sombre : la science régresse. Établissant un parallèle avec l’apologue de la bibliothèque de Borgès, bibliothèque qui contenait tous les livres vrais et tous les livres faux, et de ce fait ne servait à rien, il émet l’hypothèse que la proportion des études fausses dans la somme des études publiées croît, et que par conséquent, la science, au moment où elle est de plus invoquée comme autorité dans le débat public, y compris politique (voir l’effet de serre), devient aussi de moins en moins fiable.