L’insupportable asymétrie de la foutaise – Brian D. Earp

La science et la médecine ont fait beaucoup pour le monde. Des maladies ont été éradiquées, des fusées ont été envoyées sur la Lune et des explications convaincantes ont été données à une vaste gamme de phénomènes autrefois impénétrables.

Cet article est une traduction de  : The Unbearable Asymmetry of Bullshit

Nonobstant de récentes inquiétudes à propos d’études bâclées, d’échantillons de petites tailles et de difficultés à répliquer des découvertes majeures – des inquiétudes que je partage et sur lesquelles j’ai écrit très longuement – je persiste à croire que la méthode scientifique est le meilleur outil disponible pour atteindre une vérité empirique.

Ou, pour le dire plus simplement (si je peux me permettre de paraphraser la célèbre déclaration de Winston Churchill sur la démocratie) : c’est peut-être le pire outil à l’exception de tous les autres.

En d’autres termes, la science est imparfaite. Et les chercheurs sont des gens eux aussi. Même si il est vrai que la plupart d’entre eux – aux moins parmi ceux que je connais ou avec qui je travaille – sont voués corps et âmes à faire les choses bien, ils ne sont pas pour autant immunisés contre les faiblesses humaines.

Si ils veulent garder leur boulot, du moins, ils doivent composer avec un système de récompense pervers « publier ou périr » qui tend à récompenser les études glamour et la « productivité » de gros volume plutôt que les recherches laborieuses mais fiables. Et par dessus ça, ils ont une réputation à défendre, des égos à protéger et des fonds à trouver. Ils sont fatigués, écrasés, ils ne vérifient pas toujours leurs références ni même ne lisent ce qu’ils citent. Ils ont des limitations cognitives et émotionnelles, sans même parler des biais, comme tout le monde.

Dans le même temps, comme l’a récemment pointé le psychologue Gary Marcus « il est facile de blâmer la science elle-même, les scientifiques les plus prudents et les meilleurs journalistes scientifiques réalisent que toute la science est provisoire, qu’il y aura toujours des choses que nous n’avons pas encore découvertes et même d’autres à propos desquelles nous nous trompons ». Mais la science n’est pas qu’une histoire de conclusion poursuit-il, car elles sont parfois (ou même fréquemment) fausses. Au lieu de cela, « c’est une affaire de méthodologie d’investigation, qui comprend, en son cœur, une implacable propension à questionner ce qui est venu avant ». « Vous pouvez à la fois  »aimer la science » et la remettre en question » conclut-il.

Je suis d’accord avec Marcus. En fait, je suis tellement d’accord avec lui que j’irais même encore plus loin : si vous aimez, alors vous devez la remettre en question, et le faire bien afin qu’elle puisse délivrer tout son potentiel.

Et avec tout cela à l’esprit, je peux aborder le sujet de la foutaise.

Il y a de véritables monceaux de foutaises en sciences*. Lorsque je dis foutaises, je veux dire des arguments, des publications, des données ou même des politiques officielles d’organisations scientifiques qui donnent toutes les impressions d’être parfaitement raisonnables – d’être bien supportées par des preuves du plus haut niveau et tout le reste – mais qui ne résistent pas à un examen détaillé. La foutaise a le vernis de la plausibilité : ça a l’air bien, ça sonne bien mais mais quand vous y regardez de près, ça pue.

Il y a de nombreux moyens de produire de la foutaise scientifique. L’une d’elle est d’asséner que quelque-chose a été prouvé, montré ou découvert et de citer, à l’appui de cette affirmation, une étude qui a été largement critiquée (justement et de bonne fois, précisons-le, car ce n’est pas toujours le cas comme nous allons le voir bientôt) sans jamais piper mot d’aucune des critiques publiées sur l’étude ou de quoi que ce soit qui pourrait donner prise à ses limitations intrinsèques.

Un autre moyen est de se référer aux preuves comme étant de « bonne qualité» simplement parce-qu’elles proviennent d’une étude dont le design est en principe solide, comme un essai randomisé contrôlé, sans aller vérifier quels matériaux ayant été utilisés dans l’étude afin de confirmer qu’ils sont bien adaptés à cette utilisation.

Il y a également le problème de prendre des données issues d’un environnement et les appliquer à un autre complètement différent (sans montrer, ou dans certain cas sans même essayer de montrer, que les deux environnements sont analogues de la façon qu’il faudrait). Il y a d’autres exemples que j’ai exploré dans d’autres contextes, et nombre d’entre eux sont plutôt bien connus.

Mais il y a un exemple sur lequel je suis tombé récemment, et sur lequel je n’ai pas encore vu de discussion sérieuse. Je parle d’une stratégie de publication prolongée, sur le long terme, apparemment faite de façon délibérée (même si les motivations peuvent être difficiles à saisir), résultant en une stupéfiante, et à mon sens dangereuse, accumulation de publication de foutaises scientifiques.

Cela peut-être délicat à détecter de prime abord, sans un œil aguerri – vous devez très bien connaître votre domaine d’expertise pour commencer à le voir – mais une fois que vous l’avez dans le viseur, il devient impossible de ne plus y faire attention.

Je ne sais pas comment appeler ce genre de tactique insidieuse (même si je vais la décrire dans un moment) mais je peux identifier son résultat final et je soupçonne des chercheurs de tous les domaines d’être capables de faire de même dans leur disciplines respectives : c’est une « revue systématique » hyper-partisane et polarisée d’un sujet controversé ayant tous les aspects d’un travail dépassionné et objectif.

Pour expliquer comment cette tactique fonctionne, je vais supposer un chercheur hypothétique s’engageant dans cette voie et vous faire suivre le « processus » pas à pas. Appelons ce chercheur Lord Voldemort, même si tout ce que je vais dire est basé sur des faits réels et sur le vrai comportement de vrais chercheurs, je ne vais citer aucun cas spécifique (pour éviter les cris d’orfraie).

De plus, nous devons faire attention à ne pas confondre Lord Voldemort avec aucun individu en particulier : c’est un amalgame de chercheurs agissant ainsi, il est fictif.

Dans cette histoire, Lord Voldemort est un soutien prolifique d’une certaine procédure médicale controversée, appelons la X, dont beaucoup affirme qu’elle est à la fois risqué et non conforme à l’éthique. Il n’est pas vraiment clair de si Lord Voldemort a des billes dans X, ou toute autre forme de conflit d’intérêt. Mais de toutes façons, il est libre d’exprimer son opinion, le problème est que Lord Voldemort ne joue pas réglo : en fait, il est tellement désireux de défendre son intervention que rien ne l’empêchera d’inonder la littérature avec des arguments et des données qui semblent peser définitivement en sa faveur.

Dans la première étape de sa stratégie à long-terme, il épluche diverses bases de données universitaires et s’il trouve n’importe quel rapport d’une étude empirique qui ne place pas X sous un jour le plus favorable possible, il se fend d’un courrier à l’éditeur attaquant le rapport sur n’importe quel terrain.

Parfois son attaque est justifiée – après tout, toutes les études ont leurs limites – mais souvent, ce qu’il produit est un ergotage, présenté sous la forme d’un exposé.

Ce type de lettre n’est généralement pas revu par les pairs (ce qui ne signifie pas que la revue par les pairs soit un mécanisme de contrôle particulièrement infaillible), au lieu de ça, dans la plupart des cas, ils n’ont droit qu’à une relecture rapide par un éditeur non spécialiste du sujet.

Étant donné que les journaux ont tendance à publier toutes les lettres qu’ils reçoivent du moment qu’elles ne sont pas totalement incohérentes ou manifestement à côté de la plaque (et puisque Lord Voldemort a maîtrisé l’art de la rhétorique aux faux-airs objectifs pour masquer des données et arguments objectivement faiblards), elles finissent par devenir une partie des publications acceptées avec toutes les apparences de critiques légitimes.

Le subterfuge ne s’arrête pas là.

L’étape suivante de notre anti-héros est de rédiger une « revue systématique » à la fin de l’année (ou, en vrai, dès qu’il en a le temps). Celui Qui Ne Doit Pas Être Nommé y rejette (de façon prévisible) toutes les études qui ne supportent pas sa position comme étant « gravement lacunaires » ou ayant été « réfutées par les experts » – comprenez lui et ses collaborateurs, se citant les uns les autres généralement – tandis que dans le même temps, il échoue à relever quelque faille que ce soit dans n’importe laquelle des études présentant sa procédure fétiche sous un jour favorable.

Le résultat de cet exercice de style est une balance bénéfice/risque complètement biaisée en faveur de X, qui peut maintenant être citée par des tiers de bonne foi. À moins que vous ne soyez au courant de ce que trame Lord Voldemort, vous ne remarquerez pas que les maths ont été bidonnées.

Alors pourquoi est-ce que personne ne met un terme à tout ça ? En fait, beaucoup ont essayé. Plus d’une fois, les Lord Voldemort du monde ont été montré du doigt pour avoir utilisé ce genre de tactiques sournoises, typiquement dans les « droits de réponses à l’auteur » réfutant leurs attaques initiales.
Mais ces ripostes sont rarement – restreintes qu’elles sont par une limite de lot réduite par convention, et enterrées dans les recoins d’internet – remarquées et encore moins citées. Elles sont certainement bien moins visibles que les « revues systématiques » brandies par Lord Voldemort et ses troupes, ce qui constitue un genre de Gish Gallop qu’il peut être difficile de contrer.

Le terme de Gish Gallop un de ceux qu’il faut connaître. Il fut inventé par l’éducatrice en sciences Eugenie Scott dans les années 90 pour décrire la stratégie de débat de Duane Gish, qui invitait souvent des scientifiques évolutionnistes mainstream  pour se chicaner avec eux.
Dans son contexte original, on peut comprendre l’expression comme « déverser des torrents de faits erronés que les évolutionnistes n’ont aucune chance de réfuter lors d’un débat ». Elle se réfère aussi à la tendance manifeste qu’avait Gish de tout simplement ignorer les objections soulevées par ses contradicteurs.

Un phénomène similaire peut survenir lors des débats de médecine. Dans le cas de Lord Voldemort, le truc est de sortir tellement de faussetés, de présentations partisanes des preuves et autres affirmations biaisées ou propres à induire en erreur – avec un tel aplomb et si peu de respect pour les normes de l’érudition et/ou du discours académique bienveillant – que votre opposant, qui lui, peut-être se sent tenu à de telles normes et a mieux à faire de son  temps que de rédiger des réfutations à chacun de vos papiers, fait face à un dilemme.

Il peut soit vous ignorer, soit décider de consacrer ses principales recherches à essayer de combattre les pires de vos offenses contre la science.

C’est une situation perdant/perdant. Si n vous ignore, vous gagnez par défaut et si on vous défie vous finissez par gagner tel le proverbial cochon aimant se battre dans la boue.

Comme le programmeur Alberto Brandoli est célèbre pour l’avoir dit : « Le niveau d’énergie nécessaire à la réfutation d’une foutaise est supérieur d’un ordre de magnitude à celui qu’il a fallu pour la créer ».

Voilà l’insupportable asymétrie de la foutaise que je mentionnais dans le titre, et ça pose un problème sérieux pour l’intégrité de la recherche. Développer une stratégie pour le surmonter, pensé-je, devrait être dans une priorité dans l’éthique des publication.

*Note : Il y a aussi plein de trucs qui ne sont pas de la foutaise dans la science !