La science n’est pas foutue

Si vous suivez un peu les gros titres, votre confiance dans la science a dû en prendre un coup ces derniers temps.

La revue par les pairs ? Autant dire revue par soi-même : une enquête du mois de Novembre dernier a révélé une arnaque dans laquelle des chercheurs avalisaient leurs propres recherches, contournant ainsi la revue par les pairs pour cinq éditeurs de haut niveau.

Journal scientifique ? Pas vraiment un gage de légitimité étant donné que l’International Journal of Advanced Computer technologie a récemment accepté pour publication un papier intitulé « Get Me Off Your Fucking Mailing List » (NDT : Virez-moi de votre put*** de mailing list) dont le texte était uniquement composé de ces sept mots répétés sans cesse sur 10 pages. Deux autres journaux ont autorisé un ingénieur se présentant comme Maggie Simpson et Edna Krappabel a publié un article « Flou, configurations homogènes ».

Découvertes révolutionnaires ? Possiblement montées de toutes pièces : en mai, un couple d’étudiants diplômés de l’Université de Berkeley, Californie, ont découvert des irrégularités dans un article marquant de Michael LaCour qui suggérait qu’une conversation à bâtons rompus avec une personne homosexuelle pouvait influencer la façon dont les gens percevait le mariage entre personnes de même sexe.

Le journal Science retira l’article peu de temps après, après que le co-auteur de LaCour ait été incapable de retrouver trace des données.

Prises ensembles, ces gros titres peuvent donner l’impression que la science n’est qu’un truc louche recrachant des tas d’absurdités maquillées. Mais j’ai passé des mois à investiguer les problèmes qui hantent la science et j’ai appris que les cas de mauvaises conduites et de fraude qui font les gros titres ne sont que de simples distractions.

L’état de notre science est solide, mais elles est maudite par un problème universelle : la Science est compliquée – vraiment put*** de compliquée.

Si nous devons voir la science comme un moyen d’accéder à la vérité – et elle reste encore et toujours le meilleur outil à notre disposition pour ça – il est important de comprendre et de rester le fait qu’il est très difficile d’obtenir un résultat rigoureux.

Je pourrais pontifier des heures durant sur pourquoi la science est un domaine ardu, mais à la place, je vais vous laisser expérimenter par vous-même.

Bienvenue dans le monde du p-hackage.

(NDT : Cliquez ici pour aller consulter l’article original et jouer avec l’outil, même sans parler anglais on voit bien comment la sélection des données permet de modifier les résultats.

Si vous avez réussi à tordre les variables jusqu’à ce que vous puissiez prouver que les démocrates sont bons pour l’économie, congratulations ; allez votez pour Hillary Clinton avec le sentiment du devoir accompli. Mais évitez de trop aller vous en vanter partout : vous auriez tout aussi bien pu prouver la même chose avec les Républicains.

Les données de notre outil interactif peuvent être restreintes ou étendues (p-hacké) pour faire paraître correcte l’une ou l’autre des hypothèses. C’est pourquoi répondre à une question scientifique simple – quel parti au pouvoir est corrélé avec une économie florissante – requiert de nombreux choix qui peuvent influencer sur le résultat.

Cela ne veut pas dire qu’on ne peut pas se reposer sur la science, cela veut juste dire que c’est plus exigeant que ce que nous pensons parfois,

Quel parti politique est le meilleur pour l ‘économie semble être une question plutôt simple, mais comme vous l’avez vu, il est plus facile d’obtenir un résultat qu’une réponse. Les variables dans les données disponibles pour tester votre hypothèse avait 1 800 combinaisons possibles.

1 078 d’entre elles atteignaient une valeur-p qui la rendait publiable mais cela ne veut pas dire qu’elles indiquaient vraiment quel parti avait une vraie influence sur l’économie. Ce n’était pas le cas pour la plupart d’entre elles.

La valeur-p ne révèle à peu près rien sur la robustesse d’une preuve, et cependant, une valeur-p de 0,05 est devenue le ticket d’entrée pour une bonne partie des journaux. « La méthode dominante utilisée [pour évaluer une preuve] est la valeur-p » indique Michael Evans, statisticien à l’Université de Toronto, « est la valeur-p est bien connue pour e pas marcher très bien ».

La trop grande tendance qu’ont les scientifiques à se reposer sur la valeur-p a conduit au moins un journal à décider qu’il était temps de faire sans. En février, Basic and Applied Social Psychology a annoncé qu’il ne publierait plus de valeur-p. « Nous pensons que la barre de p<0.05 est trop aisée à franchir et sert parfois d’excuse pour des recherches de moins bonne qualité » écrivent les éditeurs dans leur annonce.

A la place de valeur-p, le journal requerra désormais « des statistiques solides et détaillées, incluant les tailles d’effet ».

Après tout, ce que les chercheurs veulent vraiment savoir est si leur hypothèse est vraie ou pas, et si oui, à quel point la découvert est robuste. « Une valeur-p ne peut pas vous indiquer cela – et elle ne pourra jamais » déclare Régina Nuzzo, statisticienne et journaliste à Washington, DC, qui a écrit un article à propos du problème des valeur-p dans Nature l’année dernière.

Au lieu de cela, vous pouvez penser à ça comme à un indice de surprise : à quel point ces résultats seraient-ils surprenants si vous supposiez que votre hypothèse de départ est fausse ?

Lorsque vous manipuliez toutes ces variables lors de l’exercice de p-hackage ci-dessus, vous avez modelé vos résultats en exploitant ce que les psychologues Uri Simonsohn, Joseph Simmons et Leif Nelson appellent « les degrés de liberté du chercheur », les décisions que prennent les scientifiques tandis qu’ils conduisent leur étude.

Ces choix incluent des choses comme quelles observations enregistrer, lesquelles faut-il comparer entre elles, quels facteurs doit-on contrôler ou – dans votre cas – si on doit mesurer l’économie en utilisant l’inflation ou le taux de chômage (ou les deux).

Les chercheurs font souvent ces choix tandis qu’ils avancent, et il n’y a souvent pas de façon vraiment manifestement correcte de procéder. Ce qui rend assez tentant le fait de tenter différentes choses jusqu’à ce que vous arriviez au résultat que vous espériez.

Les scientifiques qui finassent de cette façon – à peu près tous les font m’a dit Simonsohn – ne commettent pas vraiment de fraude, pas plus qu’ils n’en ont réellement l’intention. Ils deviennent juste la proie de biais naturels humains qui les poussent à paramétrer leurs études ou à faire pencher la balance d’une façon qui conduit à des résultats qui sont de faux positifs.

Puisque publier des résultats novateurs peut faire obtenir à un chercheur des récompenses comme un poste ou une subvention, il y a une grosse incitation au p-hackage. De fait, quand Simonsohn a analysé la distribution des valeurs-p dans les articles de psychologie publiés, il a découvert qu’elles étaient curieusement concentrées autour de 0.05. « Tout le monde avait p-hacké au moins un petit peu » pour Simonsohn.

Mais cela ne veut pas dire que les chercheurs sont une bande d’arnaqueurs a la LaCour (en français et avec la faute dans le texte NDT), cela signifie qu’ils sont humains. P-hackage et autres types de manipulations émergent souvent de biais humains. « Vous pouvez le faire de façon inconsciente – Je l’ai fait de façon inconsciente » avertit Simonsohn. « Vous êtes vraiment certain de votre hypothèse et quand vous avez les données, il y a une ambiguïté sur comment vous devez les analyser ».

Quand la première analyse que vous essayez ne sort pas les résultats que vous voulez, vous continuez à essayer jusqu’à ce que vous en trouviez une pour laquelle ce soit le cas. (Et si ça ne marche pas, vous pouvez toujours vous reposer sur le HARCage – Hypothétiser Après que les Résultats soient Connus.)

De subtiles (ou pas si subtiles) manipulations comme celles-ci sont la plaie de tant d’études que le chercheur en méta-science d’Harvard John Ioannidis a conclu, dans un célèbre article de 2005, que la plupart des découvertes publiées sont fausses. « Il est vraiment difficile de mener une bonne étude » m’a t il déclaré, en admettant qu’il avait sans doute lui aussi publié de fausses études. « Il y a tellement de biais potentiels, d’erreurs et de problèmes qui peuvent interférer qu’il est compliqué d’obtenir un résultat fiable et crédible ».

Cependant, en dépit de cette conclusion, Ioannidis n’a pas abjuré la science, au lieu de ça il a juré de la protéger.

Le p-hackage est généralement vu comme de la triche, mais, au lieu de ça, on le rendait obligatoire ? Si le but des études est de repousser les frontières de la connaissance, alors peut-être que jongler avec différentes méthodes ne devraient pas être vu comme un sale tour, mais encouragé comme étant un moyen d’explorer les frontières.

Un récent projet mené par Bryan Nosek, un fondateur de l’organisation à but non lucratif Center for Open Science, a offert un moyen malin de faire ça.

L’équipe de Nosek a invité des chercheurs à prendre part à un projet collectif d’analyse de données. La configuration était simple : tous les participants recevaient les mêmes données et la même question, est-ce que les arbitres de foot mettent plus de cartons rouges aux joueurs à la peau sombre qu’à ceux à la peau claire ?

Il leur était demandé de soumettre leur approche analytique au retour (le terme utilisé est feedback NDT) des autres équipes avant de se plonger dans leurs analyses.

Vingt-neuf équipes pour un total de 61 analystes ont pris part à l’expérience. Les chercheurs ont utilisé un large panel de méthodes allant – pour ceux qui aiment le gore méthodologique – de techniques de régression linéaires simples à des régressions complexes multi-niveaux et des approches bayésiennes.

Ils ont également pris différentes décisions concernant quelles variables secondaires utiliser ou pas dans leurs analyses.

En dépit du fait qu’ils analysaient les mêmes données, les chercheurs ont abouti à un vaste éventail de conclusions. Vingt équipes ont conclu que les arbitres de foot donnaient plus de cartons rouges aux joueurs à la peau sombre, et neuf équipes n’ont pas trouvé de corrélation entre la couleur de peau et les cartons rouges.

Cliquez sur l’image pour la voir en grand

La variabilité dans les résultats n’était pas due à des fraudes ou un travail bâclé. Il s’agissait d’analystes hautement compétents qui étaient motivés pour découvrir la vérité, rappelle Eric Luis Uhlmann, psychologue à l’école de commerce Insead de Singapour et un des leaders du projet.

Même les chercheurs les plus talentueux doivent faire des choix subjectifs qui auront un lourd impact sur les résultats finaux.

Mais ces résultats disparates ne signifient pas que les études ne peuvent pas nous faire progresser vers la vérité. « D‘un coté, notre étude montre que les résultats sont hautement dépendants des choix analytiques » prévient Uhlmann « de l’autre, elle suggère aussi qu’il y a bien quelque-chose ici. Il est difficile de regarder les données et de dire qu’il n’y a pas de biais envers les joueurs à la peau sombre ».

De la même façon, la plupart des permutations que vous pouvez tester dans l’étude sur la politique et l’économie ne produisent, au mieux, que de faibles résultats. Ce qui suggère que, s’il existe une corrélation entre le nombre de Démocrates et de Républicains aux affaires et l’économie, ce n’est pas un lien très fort.

La leçon importante ici est qu’une seule analyse n’est pas suffisante pour obtenir une réponse définitive. Chaque résultat est une vérité temporaire, dont il est possible qu’elle change lorsque quelqu’un d’autre viendra pour développer, tester et analyser à nouveau.

Ce qui rend la science si puissante est qu’elle est auto-correctrice – bien sûr, de fausses découvertes sont publiés, mais à la fin, de nouveaux résultats sont apportés pour les débouter, et la vérité se fait jour.

Enfin, au moins, c’est comme ça que c’est sensé marcher.

Mais la publication scientifique n’a pas de super canaux de diffusion lorsqu’il s’agit d’auto-correction. En 2010, Ivan Oransky, physicien et directeur éditorial de Medpage Today, a lancé un blog appelé Retractation Watch avec Adam Marcus, éditeur en chef de Gastroenterology & Endoscopy News et Anesthesiology News.

Les deux avaient eu des rapports professionnels et s’étaient liés d’amitié en couvrant l’affaire de Scott Reuben, un anesthésiste dont on avait découvert en 2009 qu’il avait truqué des données dans 21 affaires.

Le premier billet de Retractation Watch, était intitulé « Pourquoi écrire un blog à propos des rétractations ? ». Cinq ans plus tard, la réponse semble évidente : parce que sans effort concerté pour y prêter attention, personne ne se rendra compte de ce qui n’allait pas à la base.

« J’imaginais qu’on ferait un billet par mois » raconte Marcus « je ne crois pas qu’aucun de nous deux n’imaginaient qu’on en ferait deux ou trois par jour à la fin ». Mais après une interview sur une radio public et que des médias aient promu la couverture par le blog de l’affaire Marc Hauser, un psychologue pris à fabriquer des données, les choses ont commencé à s’emballer.

« Ce qui est devenu clair est qu’un grand nombre de personnes œuvrant dans le domaine de la Science étaient frustrées de la façon dont les fautes étaient traitées, et ces personnes nous ont trouvé très rapidement » sourit Oransky. Le site draine maintenant 125 000 visiteurs uniques chaque jour.

Alors que le site se concentre encore sur les rétractations et les corrections, il couvre aussi les fautes et les erreurs au sens plus large. Plus important, « c’est aussi une plate-forme où les gens peuvent discuter et mettre à jour des cas de fabrication de données » indique Daniele Fanelli, chercheur senior au Standford’s Meta-Research Innovation Center.

Les apports des lecteurs ont aidé à créer de nombreux contenus et le site emploie maintenant une équipe de plusieurs membres et travaille à construire une base de données des rétractations compréhensible et accessible gratuitement, aidé en cela par une subvention de $400 000 de la part de la MacArthur Foundation.

Marcus et Oransky s’accorde à dire que les rétractations ne doivent pas être vues comme une tâche sur la Science mais comme le signal qu’elle corrige elle-même ses propres erreurs.

Les rétractations arrivent pour tout un tas de raisons, mais le plagiat et la manipulation d’images (truquer des images de cultures ou de microscopes par exemple, pour montrer les résultats désirés) sont les deux plus communes selon Marcus.

Alors que les études vraiment montées de toutes pièces sont relativement rares, la plupart des erreurs sont justes d’honnêtes gaffes. Une étude de 2012 du microbiologiste Ferric Fang, de l’Université de Washington, et de ses collègues a conclu que les deux tiers des rétractations sont dus à de mauvaises conduites.

Hausse des rétractations au fil du temps

Entre 2001 et 2009, le nombre de rétractations dans la littérature scientifique a décuplé. Savoir si cela est du à une augmentation des mauvaises conduites ou au fait qu’il soit plus facile de les détecter fait encore débat. Fang suspecte, en se basant sur son expérience d’éditeur de journal, que les mauvaises conduites sont devenues plus communes. D’autres en sont moins sûrs.

« Il est facile de montrer – et je l’ai fait – que toute cette montée des rétractations est à mettre sur le compte du nombre de nouveaux journaux qui retirent des articles » proteste Fanelli.

Et, même avec la hausse des rétractations, ce sont moins de 0.02% des articles qui sont retirés chaque année.

La revue par les pairs est sensée protéger contre la science bâclée, mais en novembre, Oransky, Marcus et Cat Ferguson, alors membre de l’équipe de rédaction de Retraction Watch, ont mis au jour un cercle de revue par les pairs frauduleuse dans laquelle certains auteurs exploitaient des failles dans les ordinateurs des éditeurs afin qu’ils puissent relire leurs propres papiers (et ceux de leurs proches collègues).

Même la revue légitime par les pairs laisse passer de nombreuses erreurs. Andrew Vicker est le rédacteur en statistiques du journal European Urology et biostatisticien au Memorial Sloan Kettering Cancer Center. Il y a quelques années, il a décidé de rédiger un guide pour les contributeurs au journal, décrivant quelles étaient les erreurs statistiques les plus communes et comment les éviter. Lors de travaux préparatoires à la rédaction de la liste, lui et ses collègues reprirent des articles que le journal avait précédemment publié.

« Nous avons du revenir 17 articles en arrière avant d’en trouver un sans erreur » se rappelle-t-il. Son journal n’est pas le seul : des problèmes similaires ont été découverts en anesthésie, traitement de la douleur, pédiatrie et dans de nombreux autres types de journaux.

Beaucoup de relecteurs ne vérifient tout simplement pas les sections liées aux statistiques et aux méthodes des articles et, pour Arthur Caplan, éthicien médical à l’Université de New York, cela est en partie dû au fait qu’ils ne sont ni payés ni récompensés pour un travail de relecture pourtant très chronophage.

Certaines études sont publiées sans aucune revue par les pairs du tout : les « revues prédatrices » inondent la littérature scientifique avec des journaux qui sont essentiellement composés de leurres, publiant n’importe quel auteur prêt à payer pour cela.

Jeffrey Beal, bibliothécaire à l’Université du Colorado, a rassemblé une liste de plus de 100 « journaux prédateurs ». Ces revues ont souvent des titres qui semblent très légitimes comme l’International Journal of Advanced Chemical Research et créent des opportunités pour que des zozos donnent à leurs travaux un vernis de légitimité scientifique. (Les articles « Virez-moi de votre put** de mailing list » et « Simpson » ont été publiées dans des journaux semblables).

Nombre de publications scientifiques de la Bibliothèque Digitale Max Planck, par année de publication

Les journaux prédateurs fleurissent, en partie, du fait de l’emprise que la publication des résultats a sur le fait, pour un scientifique, d’obtenir un poste et des fonds, ce qui peut inciter les chercheurs à meubler leur CV de papiers  »bonus ».

Mais Internet est en train de changer la façon dont les scientifiques propagent et discutent les idées et les données, ce qui rend plus difficile de faire passer de mauvais travaux pour de la bonne science. Aujourd’hui, lorsque des chercheurs publient une étude, leurs pairs attendent sur le réseau pour en discuter et les critiquer.

Parfois, des commentaires sont postés sur le propre site du journal, sous la forme de « réponses rapides », et de nouveaux projets comme PubMed Commons et PubPeer fournissent des forums pour de rapides relectures par les pairs post-publications. Des discussions à propos des nouvelles publications sont aussi souvent tenues sur des blogs de science et les médias sociaux, ce qui peut aider à propager l’information selon laquelle un résultat est corrigé ou balancé.

« L‘une des choses pour lesquelles nous nous battons est que les scientifiques, les journaux et les universités arrêtent de faire comme si la fraude n’existait pas » précise Oransky. Il y a de mauvais joueurs en science, tout comme il y en a en politique ou dans le business. « La différence est que la science possède en son sein un mécanisme d’auto-correction. C’est juste que parfois il ne marche pas ».

Le rôle de chien de garde que joue Retractation Watch a obligé à plus de responsabilité. L’éditeur du Journal of Biological Chemistry, par exemple, en a eu tellement marre des critiques de Retractation Watch qu’il a embauché un responsable de l’éthique des publications pour aider ses contributeurs à devenir plus « auto-correcteurs ».

Retractation Watch a mis les journaux sur la sellette – si ils essaient de retirer un papier sans commentaires, ils peuvent s’attendre à ce que l’on parle d’eux. La discussion sur les lacunes de la science est devenue publique.

Après le déluge de rétractations, les histoires de fraudeurs, les faux positifs et l’incapacité à reproduire des études charnières même à haut niveau, certains ont commencé à demander « La science est-elle foutue ? ».

J’ai passé des mois à poser cette question à des douzaines de chercheurs et la réponse qui m’a été donnée est un « non » retentissant. La science n’est pas foutue, pas plus qu’elle n’est indigne de confiance. Elle est juste bien plus complexe que la plupart d’entre nous ne le pense.

Nous pouvons examiner d’encore plus près la conception des études et demander des méthodes analytiques et statistiques plus précises encore, mais cela ne sera qu’une partie de la solution. Pour pouvoir nous fier plus à la science, nous devons modifier les attentes que nous plaçons en elle.

« La science est géniale, mais c’est quelque-chose qui a un faible rendement. La plupart des expériences ratent. Cela ne veut pas dire que le challenge n’en vaille pas la peine, mais on ne peut pas s’attendre à ce que chaque sous dépensé se transforme en un résultat positif. La plupart des choses que vous essayez ne marchent pas – c’est tout simplement comme ça que ça fonctionne ». Au lieu de simplement éviter l’erreur, il faut courtiser la vérité.

La science n’est pas une baguette magique qui transforme tout ce qu’elle touche en vérité. Au lieu de ça, « la science fonctionne comme une procédure de réduction de l’incertitude » précise Nosek, du Center for Open Science. « Le but est d’avoir de moins en moins tort au fil du temps ».

Ce concept est fondamental – quoi que nous sachions maintenant, ce n’est que notre meilleure approximation de la vérité. On ne peut jamais présumer avoir raison en tout.

« Par défaut, nous sommes biaisés et enclins à essayer de trouver des résultats définitifs » affirme Ioannidis, le chercheur en méta-science de l’Université de Standford. Les gens désirent prouver quelque chose et les résultats négatifs n’étanchent pas cette soif.

Le travail précurseur de Ioannidis n’est que l’un de ceux qui ont identifié les façons, conscientes ou inconscientes, qu’ont les scientifiques de faire pencher la balance en faveur du résultat qu’il recherche, mais les failles méthodologiques que lui et les autres chercheurs ont identifiées expliquent seulement comment les chercheurs arrivent à des résultats faussés.

Pour arriver au fond du problème, nous devrions comprendre pourquoi ils sont si prompts à s’accrocher à de fausses idées. Et cela requiert d’examiner quelque-chose de fondamental : la façon dont l’esprit humain forme des croyances.

Certains de ces biais sont utiles, au mojns jusqu’à un certain point. Prenez, par exemple, le réalisme naïf – l’idée que quelque soit la croyance que vous avez, vous y croyez parce-qu’elle est vraie. Cet état d’esprit est absolument nécessaire lorsqu’on fait de la science pour Seth Lloyd, chercheur en mécanique quantique au MIT. « Il faut que vous ayez la conviction que ce que vous croyez est la solution correcte à ce sur quoi vous travaillez afin que cela vous donne l’énergie et la passion dont vous avez besoin pour bosser ».

Mais les hypothèses sont souvent fausses, et lorsque les résultats infirment une idée que l’on a chéri, un chercheur doit apprendre de cette expérience et garder ce que Lloyd décrit comme « la notion pleine d’espérance que  »ok, cette idée était peut être fausse mais la prochaine sera la bonne » ».

Cependant, même face à des preuves manifestes, il est difficile d’abandonner cette « chère idée », notamment lorsqu’on est scientifique qui a construit sa carrière dessus. Et donc, comme tous ceux qui ont déjà essayé de corriger une erreur sur le web le savent déjà, la vérité ne gagne pas toujours. Tout du moins pas au début, parce que nous analysons les nouvelles preuves en fonction du prisme de ce que nous croyons déjà.

Le biais de confirmation peut nous aveugler, nous sommes rapide pour nous faire une idée et lents pour en changer en face des faits.

Il y a quelques années, Ioannidis et ses collègues ont fouillé la littérature scientifique à la recherches de références à deux études épidémiologiques bien connues suggérant que des suppléments en vitamine E pourraient protéger contre les maladies cardiovasculaires. Ces études avaient été suivies par plusieurs grands essais cliniques randomisés qui n’ont pas pu montrer de bénéfice et d’une méta-analyse qui mettait en avant un risque accru de décès lors de prise de fortes doses.

La faillibilité humaine amène le processus scientifique à des départs, arrêts et mauvaises directions plutôt que sur une ligne droite menant d’une question à la vérité.

En dépit des preuves contradictoires issues de tests plus rigoureux, les premières études continuaient d’être citées et défendues dans la littérature. Des affirmations branlantes sur la capacité du béta-carotène à réduire les risques de cancer et le rôle des estrogènes dans la prévention de la démence sénile ont persisté aussi, même après qu’elles aient été infirmées par des études plus définitives.

Une fois qu’une idée est fixée, il est difficile de la retirer de la sagesse conventionnelle.

Parfois, des idées scientifiques persistent en dépit des évidences parce que les histoires que l’on nous racontent à propos d’elles sonnent vraies et confirment ce que nous croyons déjà.

Il est naturel de penser à une explication possible pour un résultat scientifique – c’est pourquoi nous les remettons dans un contexte et que nous vérifions leur degré de plausibilité. Les problèmes arrivent lorsque nous nous mettons à tellement aimer ces explications que nous rejetons les preuves qui les réfutent.

Les médias sont souvent accusés de faire du buzz sur les études, mais les scientifiques ont tendance à surestimer leurs travaux aussi.

Prenez, par exemple, l’étude « petit déjeuner ». Publiée en 2013, elle s’intéressait au fait de savoir si ceux qui prennent un petit déjeuner prenait moins de poids que ceux qui le saute et si le petit déjeuner pouvait aider à prévenir l’obésité.

Le chercheur ès obésité Andrew Brown et ses collègues ont découvert qu’en dépit des 90 mentions de cette hypothèse dans des médias et des journaux, les preuves en faveur de « l’effet petit déjeuner » étaient aussi ténues que circonstancielles. Cependant, les chercheurs de ce domaine semblaient aveugles à cette lacune, surestimant les preuves et utilisant des éléments de langages causaux pour décrire l’association entre petit-déjeuner et obésité.

Le cerveau humain est fait avant tout pour trouver des causalités, même lorsqu’elles n’existent pas, et les scientifiques ne sont pas immunisés contre cela.

En tant que société, nos histoires racontant comment la science fonctionne sont toutes aussi sujettes à l’erreur. La façon standard de penser à la méthode scientifique est : poser une question, faire une étude, obtenir une réponse. Mais cette vision est énormément simplificatrice.

Une voie bien plus courante vers la vérité serait plutôt : poser une question, faire une étude, obtenir une réponse partielle ou ambiguë, puis faire une autre étude et puis en faire encore une autre pour tester de potentielles hypothèses et continuer jusqu’à une réponse un peu plus complète.

Ce que les médias font de la science à tendance à lisser ces nuances, et il est facile de comprendre pourquoi. Tout d’abord, les journalistes et les éditeurs qui couvrent la science n’ont pas toujours l’entraînement nécessaire sur comment interpréter une étude. Et les titres qui indiquent « Une étude faiblarde et non répliquée trouve un lien ténu entre certains légumes et le risque de certains cancers » ne se retrouvent pas aussi vite en tête d’affiche ni n’apportent autant de clics que « cet aliment combat le cancer ».

Les gens s’amusent souvent de la nature yoyotesque de la science et des gros titres sur la santé – le café est bon pour vous un jour et mauvais le suivant – mais ce sac et ressac illustre parfaitement ce en quoi consiste le processus scientifique. Il est difficile d’évaluer l’impact des régimes sur la santé, rappelle Nosek.

« Cette variation [dans les résultats] arrive parce que la science est compliquée ». Isoler comment le café influe sur la santé nécessite de nombreuses études et de nombreux résultats, et c’est seulement au fil du temps et grâce à de nombreuses, très nombreuses, études que les preuves commencent à mener vers une conclusion qui soit défendable. « La variation dans les découvertes ne devrait pas être vu comme un danger » rassure Nosek, « elle indique que les chercheurs travaillent sur des problèmes complexes ».

La méthode scientifique est la voie la plus rigoureuse vers la connaissance, mais elles est aussi désordonnée et dure. La science mérite le respect justement parce qu’elle est difficile – pas parce qu’elle a tout le temps raison du premier coup.

L’incertitude inhérente à la science ne signifie pas que nous ne pouvons pas l’utiliser pour prendre d’importantes décisions. Elle signifie simplement que nous devons rester circonspects et adopter un état d’esprit qui soit ouvert au changement lorsque de nouvelles données se font jour.

Nous devrions prendre les meilleures décisions possibles en tenant compte des connaissances disponibles à un moment donné tout en faisant attention à ne pas perdre de vue la robustesse (ou la faiblesse) de ces dernières.

Ce n’est pas un hasard si toutes les études contiennent les mots « plus d’études sont nécessaires », il y a toujours quelque-chose à apprendre.

Traduit de : Science isn’t broken