Associations Libres

"Faut pas croire tout ce qu'on voit sur le web" – Einstein

Pourquoi il est temps de publier les « ratages » de la recherche

Après des heures de test, de re-tests et de confirmation, le Dr Jones ferme son carnet d’expérience : ses expériences n’ont pas permis de réfuter l’hypothèse nulle et ne sont pas compatibles avec sa nouvelle théorie. Elle laisse donc ses résultats négatifs derrière elle en se remettant au travail sur quelque-chose de neuf, dans l’espoir d’arriver à un résultat positif la prochaine fois.

En attendant, ce qui se passe dans son labo reste dans son labo, inutile de publier des résultats négatifs après tout.

Ou peut-être que si ?

Le biais de publication nuit au corpus des connaissances scientifiques de diverses façons, notamment en y créant de faux résultats statistiquement positifs. Cela signifie que le résultats de milliers d’expériences ayant échoué à valider l’efficacité d’un traitement ou d’un vaccin – y compris les résultats venant d’essais cliniques – ne voient jamais la lumière du jour.

Actuellement, un mouvement prend de l’ampleur pour contrer ce biais.

Récemment, l’OMS a précisé sa position sur la publication des résultats d’essais cliniques, demandant à ce que les principales découvertes soient publié dans un journal peer-review dans les 12 mois après la fin de l’étude et que tous les résultats auparavant non rédigés – ce qui inclut les résultats négatifs – soient publiés.

Pendant ce temps, de récents journaux comme New Negative in Plant Science, des approches telles que Registered Report et des initiatives à l’instar de la campagne All Trials essayent d’équilibrer la littérature en encourageant les chercheurs à publier leurs résultats négatifs.

Pour comprendre le défi auquel ils font face, il faut comprendre pourquoi la recherche et les publications sont concentrées sur les résultats positifs, et la réponse n’est pas aussi simple que ce que l’on pourrait penser.

Dans son recueil de 1963 « Conjectures et réfutation : la croissance de la connaissance scientifique », le philosophe des sciences Karl Popper écrit « les réfutations ont souvent été vues comme la démonstration de l’échec d’un scientifique, ou tout du moins de sa théorie. Or c’est une erreur de point de vue, chaque réfutation devrait être considérée comme un grand succès. […] Même si une nouvelle théorie […] devait trouver une mort précipitée, elle ne devrait pas être oubliée , au lieu de cela nous devrions nous souvenir de sa beauté, et l’histoire devrait enregistrer notre gratitude à son égard« .

Ce qui est peut-être l’une des plus connues des réfutations a eu lieu en 1897 quand Albert A. Michelson et Edward . Morley ont publié les résultats de leurs expériences visant à détecter le mouvement relatif de « l’éther luminifère ». Leur article « Sur le mouvement relatif de la Terre et de l’éther luminifère » dans le American Journal of Science décrivait ce qui est maintenant connu comme le ratage le plus célèbre ayant jamais eu lieu.

Les auteurs résument ainsi leur décevante découverte « cette nouvelle explication […] échoue à rendre compte du fait constaté par l’expérience que l’aberration demeure inchangée quand les observations sont faites avec un télescope rempli d’eau« .

Quelques années plus tard, Einstein développa sa théorie de la relativité restreinte, motivé en partie par le manque de preuve que Michelson et Morley avaient en faveur de l’éther luminifère. Ceci est largement reconnu comme le point de départ de la « seconde révolution scientifique » et a contribué au fait que Michelson soit récompensé par un prix Nobel de Physique en 1907 – une distinction rare pour un résultat négatif. Mais pourquoi cet exemple est-il si inhabituel ?

Le pouvoir des résultats négatifs

Dans leur éditorial à Modèles et Mécanisme des Maladies, le Dr Natalie Matosin et ses collègues de l’Université de Wollongong et de l’Institut de Recherche sur la Schizophrénie de Sidney déclarent que « la science est, de par sa nature, une discipline collaborative et l’une des principales raison en faveur de la publication des résultats négatifs est que nos collègues ne gaspillent pas leur temps et leurs ressources à répéter nos découvertes« .

La majorité des résultats négatifs servent ce but : s’ajouter aux connaissances et fonctionner en tant qu’outil collaboratif. Mais certains, comme l’expérience Michelson-Morley, se révèlent avoir une énorme importance.

Lorsqu’il a regardé en arrière sur son travail afin de rédiger ses mémoires, le professeur et docteur Anthony Cerami, pionnier de la médecine translationnelle et professeur invité de médecine à l’Université de Leiden, a été surpris de constater à quel point les résultats négatifs y avaient eu du poids : « beaucoup des plus grandes découvertes de ma carrière étaient le résultat de l’échec d’un autre projet de recherche. […] Échec sonne comme quelque-chose de négatif mais il semble que dans mon histoire personnelle, cela ait été une étape, une expérience essentielle sur le chemin de découvertes importantes« .

Il décrit ainsi l’un de ces échecs : lui et ses collègues en étaient à tester un certain nombre de composés pouvant potentiellement combattre l’infection au trypanosome, un parasite du bétail et avaient voyagé jusqu’au Kenya pour en tester un en particulier in vivo. Le bétail était mort à peine quelques minutes après l’administration du composé…

Le « traitement » était rapidement devenu une blague pour tout la ville mais le professeur Cerami avait compris la valeur de ce résultat et noté qu’il devait y avoir quelque-chose d’autre que le parasite qui provoquait des maladie dans le cheptel.

Il avait raison et put isoler la protéine appelée « facteur de nécrose tumorale », après avoir travaillé dessus, il mit en évidence son rôle important dans les maladies inflammatoires (arthrite rumathoïde incluse).

Le biais de publication, un problème d’édition ?

Malgré leur potentiel, les résultats négatifs sont presque systématiquement relégués au carnet de labo, au tiroir et à la poubelle. Et ce n’est pas un phénomène nouveau : une recherche publiée dans Controlled Clinical Trials en 1987 montrait que des essais cliniques statistiquement significatifs (comprendre « positifs » NDT) avaient trois fois plus de chances d’être publié que ceux supportant l’hypothèse nulle (c’est à dire négatifs NDT).

Il est peut-être surprenant de constater que les auteurs de l’étude conclurent que plutôt qu’un résultat d’une politique éditoriale, le problème venait de scientifiques incapables de rédiger et soumettre des articles décrivant leurs résultats négatifs.

Quand Matt Shipman, chargé d’information publique à l’Université de Caroline du Nord, s’est interrogé à propos de la publication des résultats négatifs, il a généré une tornade d’activité sur les réseaux sociaux. Beaucoup de chercheurs pensaient que c’était important mais certains n’étaient pas emballé par l’idée. Peter Dudek est un des gens qui lui ont répondu sur Twitter : « si j’avais du décrire tous les résultats négatifs de mes études, ma thèse n’aurait pas fait 200 pages mais 20 000« .

La communauté universitaire a développé une culture qui soutient massivement les résultats statistiquement significatifs, les « résultats positifs » et les chercheurs eux-mêmes aspirent à ces résultats et se ruent pour les publier, en laissant les « négatifs » derrière eux. Comment cette culture peut-elle être changée pour donner de la valeur aux résultats négatifs ?

Le rôle de la publication dans le changement des mentalité

Le fait de publier est un facteur majeur de la réussite universitaire, et donc l’industrie de la publication est en position de changer cette culture et ce biais de publication. Ces dernières années, éditeurs et journaux ont d’ailleurs encouragé la publication de résultats négatifs, notamment pour les essais cliniques.

C’est un domaine dans le quel le biais de publication est attaqué de plusieurs angles à la fois. Initié par Sense About Science en 2013, la campagne All Trials appelle à ce que « tous les essais cliniques passés et présents soient déclarés et leurs méthodes et résumés décrits« . Selon le site web de la campagne, « des millions de volontaires ont participé à des essais cliniques pour aider à en savoir plus sur les effets de traitements contre des maladies, et pourtant cet important principe éthique qu’est la publication a été largement ignoré« .

L’annonce de l’OMS est une grande victoire pour la campagne All Trials, dont les réponses expliquent l’importance de la publication de tous les résultats : « c’est une prise de position forte pour l’OMS et elle a été saluée par des patients, des médecins et des chercheurs partout dans le monde. Les meilleurs preuves disponibles montrent qu’environ la moitié des essais clinique qui ont été conduits n’ont jamais vu leurs résultats publiés. […] Cela signifie que des informations à propos de médicament que nous utilisons tous les jours pourraient être perdues pour toujours« .

Pour promouvoir et faciliter la publication actuelle des nouvelles données d’essais cliniques, de nombreux journaux encouragent les chercheurs à soumettre leurs résultats négatifs. Un journal publié par Elsevier va encore plus loin : Cortex a mis en place une section appelée « Registered Report » qui engage à publier les résultats d’essais avant même que ceux-ci soient terminées.

« Notre but avec Registered Report est d’améliorer la transparence et la reproductibilité de la Science en vérifiant les protocoles d’études avant que l’expérience ait lieu » indiquait le Pr Chris Chamber, rédacteur en chef de la publication et un des fondateurs du concept lors de l’annonce de son lancement. « Si nous pensons que le protocole en vaut le coup, nous nous engageons à l’avance à en publier les résultats. Une fois muni de cet accord préalable, les auteurs peuvent poursuivre leurs recherches en étant certains que les résultats eux-même ne détermineront pas si l’article sera publié ou non ».

Un journal des sciences végétales dédié aux résultats négatifs

La littérature des essais cliniques n’est pas la seule à manquer de résultats négatifs, toutes les sciences expérimentales basées sur des hypothèses courent le risque d’être exposées à ce biais.

« Tous ces résultats existent mais ne sont pas publiés » observe le Dr Emma Granqvist, éditrice de la revue d’Elsevier (un des plus importants éditeurs de revue scientifique avec près de 7000 collaborateurs NDT) New Negatives in Plant Science (Nouveautés Négatives en Recherche végétale NDT) et ancienne chercheuse en biologie moléculaire végétale. « Les chercheurs disent que si ils soumettent ces résultats, les éditeurs de journaux rejetteront leurs manuscrits car ils ne sont ni intéressants si à haut facteur d’impact ».

New Negatives in Plant Science vise à corriger cela en ne publiant que des résultats négatifs. « Certaines personnes ne sont pas d’accord avec le fait de ne publier que des résultats négatifs car ils pensent que ça n’est pas la bonne approche, que tous les journaux devraient publier ce type de résultats » signale le Dr Granqvist. « Idéalement, il faudrait que ce soit le cas, mais ça n’est pas réaliste, un changement comme celui-ci prend du temps car il faut changer les mentalités. C’est un premier pas, un coup de projecteur sur le fait que les résultats négatifs manquent énormément à la littérature ».

Le lexique qui les entoure joue aussi ajoute le Dr Granqvist : « en les appelant des résultats négatifs on les considère immédiatement comme moins attrayants, cela est particulièrement vrai pour les chercheurs qui ne les publient généralement pas.

Mais ce n’est pas un problème pour toutes les disciplines : en mathématiques par exemple les contre-preuves et les preuves par incompatibilités sont toutes considérées comme logiques et ne sont pas aussi facilement vues comme des erreurs.

Peut-être devrions-nous nous inspirer de ces champs d’études et commencer à donner la même valeur à tous les résultats ».

Des journaux positivement négatifs

De plus en plus de journaux publient activement des résultats négatifs, en voici quelques-uns :

  • New Negatives in Plant Science.  Publie des études scientifiques basées sur des hypothèses et décrivant des résultats inattendus, controversés, minoritaires ou négatifs dans le domaine de la bilogie végétale.

  • Journal of Negative ResultsFournit un support en ligne permettant de publier des travaux scientifiques en écologie et biologie de l’évolution solides et revus par les pairs mais n’atteignant pas les seuils statistiques arbitraires permettant de dégager une conclusion significative.

  • Journal of Negative Results in BioMedicinePlateforme de publication et de discussion de résultats inattendus, controversés, provocants et/ou négatifs dans un contexte dogmatique donné.

  • Journal of Pharmaceutical Negative ResultsPublie des articles originaux, novateurs et innovants obtenant des résultats négatifs ainsi que des communications théoriques et empiriques décrivant découvertes négatives et erreurs de recherches dans le domaine pharmaceutique.

  • The All Results journals. Le principal objective de ces quatre journaux (Chimie, Biologie, Nano et Physique) est de découvrir et publier des résultats négatifs.

Traduit de Why it’s time to publish research “failures”

Advertisements

3 commentaires sur “Pourquoi il est temps de publier les « ratages » de la recherche

  1. AlainCo
    3 juin 2015

    Pour les résultats négatifs il faut aussi distinguer, les résultats négatifs qui montrent que ca ne marche pas dans certaines conditions, et les résultats non convainquants et autres ratages (mauvaise précision, fausse manip).

    les deux ont leur utilité. Savoir tout ce qui ne marche pas, ou au moins ce qui une fois n’a pas marché (un résultat négatif n’est pas forcément définitif) , apporte de l’information.
    Les résultats non convaincants, et surtout les catastrophes et erreurs sont aussi très éducatifs. ca peut être le symptome d’anomalies à réinterpréter, et c’est informatifs pour les réplicateurs.
    les débuts des semiconducteurs dopés par accident (genre germanium dans les années 20), des supraconducteurs haute température, ont été mis dans les tiroirs alors que c’était de superbes résultats positifs si on les réinterprétait aujourd’hui.

    il faut aussi savoir rester modeste quand aux échecs, à ne pas les interpréter comme des résultats négatifs « positivement ».
    Quand on ne maitrise pas une technologie, que la théorie est absente (si si ca existe… on l’oublie parfois, mais la théorie parfois suis les expériences), il est tout a fait normal qu’on arrive pas à reproduire quelque chose qu’on ne comprend pas.

    pour connaitre la réalité des résultats négatifs, des anomalies, on peut retrouver les premier résultats ignorés sur le Germanium dans les années 20,
    (se souvenir de l’hilarant pauli à ce sujet http://blog.disorderedmatter.eu/2009/03/16/wolfgang-pauli-speaking/ )
    les supraconducteurs HT
    http://www.mosaicsciencemagazine.org/pdf/m18_03_87_04.pdf
    les quasicristaux
    http://www.theguardian.com/science/2013/jan/06/dan-shechtman-nobel-prize-chemistry-interview

    le vrai problème des scientifique ce n’est pas les résultats négatifs, c’est d’une part la tendance bien identifié par Kuhn a ne penser qu’a travers une théorie et à revisiter les expériences dans ce cadre exclusif, et d’autre part cette incapacité à comprendre l’incertitude, l’ignorance.

    je parle d’expérience.
    beaucoup de scientifique confondent absence de théorie avec inexistence, difficulté à répliquer avec non réalité, et expérience ratée avec preuve d’une inexistence du phénomène…
    Etrangement l’ingénieur n’a pas ce problème car il maitrise mieux l’histoire des théories, don’t il utilise plusieurs versions successives, et gère l’incertitude, l’erreur, le biais cognitif, les théories changeantes, les difficultés de réplications, comme des facteurs naturels de son métier.

    Le mouvement actuel de « bonne science » comme beaucoup de mouvement moraux peut tout a fait virer à l’anti-science et au dogmatisme, voir la science par le consensus ou par la démocracie.
    Je vois bien la demande d’interdire la mauvaise science, mais j’observe aussi que à ce jeux, c’est la vrai science, les vrais médicaments, les vrais dangers, qui vont perdre fasse aux illusions, aux peurs irrationnelles, aux pseudomédecines… qui seront défendues par la majorité, par la politique, par l’argent et les idéologies…

    Laisser plus de liberté, notamment de publier les ratages (et donc augmenter son publish or perish avec des échecs), comme de les ignorer et de tenter de recommencer, de s’entêter, de se tromper, de proposer des théories fausses, aura a mon avis un effet bien plus positifs que de rationaliser la chasse au cygne noir .

    J'aime

    • Maeelk
      3 juin 2015

      Merci pour le commentaire Alain !

      En effet le « publish or perish » est une vraie plaie à mon sens, le soucis c’est qu’il n’y a pas vraiment de moyen envisagé actuellement pour lutter contre ça.

      Même si la publication des échecs peut faire bouger un peu les choses, il risque de se passer un bon bout de temps avant que les chercheurs arrêtent de se tirer la bourre pour publier du positif et prennent autant de temps pour rédiger résultats positifs et « non-conclusions ».

      P/r à ça, les travaux de Hartgerink et Nosek sont très bien, mais ils concluent eux-même qu’ils ne voient pas vraiment de solution au problème…

      Et merci pour les liens, j’irais jeter un œil là-dessus !

      J'aime

      • AlainCo
        3 juin 2015

        Ma conclusion « libérale » est qu’il faut surtout pas chercher la perfection, la rationalisation.
        Kepler était un illuminé, et Newton un intégriste très toxique sur divers sujets (lentilles achromatiques, calcul différentiel). Les avoir rationalisé ou puni, nous aurait privé de pas mal de géni. Avoir laissé Newton tenter d’imposer ses vues contres les autres a été une perte, mais heureusement a l’époque Leibnitz ne souffrait pas trop de l’intégrisme de newton.
        on ne peut pas en dire autant de Semmelweiss, Oliver Gordon de Aberdeen, qui ont été bloqués, jusqu’a ce qu’un chimistes un peu commercial , pasteur, ne remette la réalité au centre du débat…

        Une clé, que les scientifique moderne refusent d’accepter, et que étrangement les ingénieurs et entrepreneurs intègrent, est que en matière de science et d’innovation, l’erreur et l’échec doivent être la règle, et le succès une exception.

        Un scientifique qui refuse de poursuivre une recherche parce que ca a peu de chance de marcher, parce que c’est contraire à la théorie, ne fait pas son boulot.
        Pourtant les scientifiques rament, se battent , mais ils semblent en avoir honte.

        Dans les faits j’ai observé que ce sont ceux a qui on prèterais le moins de cette inconscience, les ingénieurs, ceux qui payent leur échecs avec des vies, qui tentent l’impensable… les science appliquées (chimie, matériaux) portent aussi un peu de cette folie salvatrice.
        Mon hypothèse est que les ingénieurs savent ce qu’est un risque, comme nassim Nicholas taleb le sait en tant que trader de volatilité, et donc savent quand le risque est inversé et que le plus couteux est de ne pas essayer, parce que l’échec est bénin, que le ridicule ne tue pas. Le ridicule semble effrayer les scientifique, et surtout les éditeurs, a un point qu’il bride l’innovation.

        Il faut plutot chercher à évaluer les résultats, plutot qu’à empêcher de les produire, ou les prédire.

        J'aime

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s

Information

Cette entrée a été publiée le 2 juin 2015 par dans Confirmé, et est taguée , , , .
%d blogueurs aiment cette page :