Évaluer la qualité des recherches scientifiques

Un des aspects les plus fastidieux qu’un sceptique a à discuter lorsqu’il débunke (1) ou réfute pseudosciences et « junk-sciences » (des variations sur un même thème) est la nature des vraies preuves.

On pourrait penser que c’est facile, « des preuves scientifiques » devrait être le plus haut standard possible. En fait il y a tout un éventail de preuves, des plus pourries aux plus convaincantes.

Alors voilà un guide de la preuve scientifique pour amateurs (et pour professionnels aussi si le boulot est bien fait), une mise à jour majeure de ce sujet, avec moins importance donnée à Wikipédia et plus de détails à propos des autorités scientifiques et de la hiérarchie des preuves.

Dans le monde actuel de l’info en continu, mêmes et analyses en 140 caractères surgissent partout dans les médias sociaux et prétendent nous instruire d’une manière qui présente tous les aspects de l’autorité. Même détaillés, les articles de 2000 mots que l’on trouve sur ce blog sont souvent considérés comme trop longs et les gens ne lisent que le titre et la conclusion.

Cela arrive tout le temps dans les cercles scientifiques, par exemple beaucoup de gens ne lisent que l’abstract (2) – et parfois même juste la conclusion de l’abstract – des articles parus dans les revues à peer-review(3).

L’article le plus populaire de ce blog est celui qui réfute complètement la rumeur absurde selon laquelle la banane soigne le cancer (une mise à jour d’un autre article). Ce délire était basé sur la mauvaise interprétation d’une étude d’un « scientifique japonais » (l’auteur principal était américain en fait, chaque fois que vous lisez quelque-chose qui essaie de faire autorité sans citer de nom, faites gaffe).

De plus, la conclusion faite par l’auteur du « truc » était basé sur son ignorance :

• de comment un facteur de croissance appelé « facteur nécrotique tumoral » (FNT) ne fait pas du tout ce que prétend son nom,

• du fait qu’une banane ne produira jamais de FNT

• de la destruction du FNT par le système digestif

• de l’impossibilité de transporter le FNT du système digestif vers le sang

• du nombre astronomique de banane que vous devriez manger pour obtenir la bonne dose de NFT (si elle en contenait)

• des (mauvais) effets que le NFT aurait sur votre santé.

La rumeur n’était basée sur aucune hypothèse sérieuse. Au-cu-neuh.

Et pourtant c’est encore une croyance populaire, allez sur Facebook et vous finirez par trouver quelqu’un propageant la bonne parole… Comme toutes les rumeurs anti-scientifiques, c’est un zombie, elle revient continuellement d’entre les morts, diffuse sa pseudoscience quelques mois tandis que des dizaines de personnes font des recherches pour tenter de la confirmer.

OK, ça a des avantages, les sceptiques qui débunkent ça finissent par apprendre plein de choses sur le NFT…

Alors, comment est ce qu’on regarde ce genre de chose de manière sceptique ? Comment doit-on les critiquer et/ou les infirmer ? On peut trouver des pages FB qui clament que l’huile de cannabis soigne le cancer, que les vaccins tuent les enfants ou que 14 cachets de vitamine C (20€ la boîte, cliquez sur le lien juste là) soignent la grippe…

Quels sont les processus qui permettent de savoir si ces affirmations sont vraies ou fausses ? Et est ce que c’est compliqué ?

Où trouver de bonnes études scientifiques ?

Wikipédia est un site qui peut être capable du meilleur comme du pire, avec des sources menant à des pseudosciences et des promoteurs de fausses médecines.

Par exemple, l’article anglais sur la maladie d’Alzheimer est un des meilleurs de la section médecine de l’encyclopédie. Il est rédigé d’une façon très logique, avec un excellent résumé, des discussions sur les causes, les pathologies, les mécanismes, les traitements etc etc

Bon, ça n’est peut-être pas au niveau d’un article peer-review mais ce serait un très bon départ pour un jeune étudiant désireux de faire des recherches ou quelqu’un dont un membre de la famille est atteint de la maladie.

A peu près tout le contenu de l’article est référencé via des articles récemment parus dans des journaux de référence. De plus, l’article fait de son mieux pour éviter les sources primaires (celles auxquelles les auteurs ont participé directement ou qui sont viennent de leur propres expériences) et se concentrent sur les sources secondaires (qui résument une ou plusieurs sources primaires – ou secondaires – généralement pour permettre un aperçu de la compréhension d’un sujet médical, pour faire des recommandations ou combiner les résultats de plusieurs études).

La raison qui fait que les sources secondaires sont meilleures, c’est qu’elles synthétisent le travail de plusieurs auteurs (et vraisemblablement plusieurs labos), ce qui élimine les biais d’un seul labo ou d’une seule étude.

Elles incluent également des répétitions des expériences qui supportent ou réfutent les hypothèses. Comme on le dit souvent, faites plus confiance aux sources secondaires qu’à tout le reste !

Une autre méthode pour gagner du temps de recherche, c’est de lire ce qui se fait de mieux en termes de blog médical et scientifique. On va se concentrer sur la médecine et chaudement recommander Science Based Medecine, qui est alimenté par un groupe de scientifiques et de praticiens utilisant un savant mélange de scepticisme, de preuves scientifiques et de remarques sarcastiques pour dénoncer la « mauvaise science » qui envahit la médecine et la façon dont les gens la perçoivent.

Mais, ce n’est pas une source primaire, ni même secondaire, il n’y a pas de revue par les pairs et vous devez croire les auteurs sur parole. Bon, depuis le temps, ils ont tout de même donné pas mal de garanties dans ce sens !

Bien, supposons que toi, lecteur, veuille t’y mettre. Explorons ensemble les procédés logiques qui permettent de discerner une bonne preuve scientifique.

Facteur d’impact et revue par les pairs :

Une des meilleures façons d’être certain de la qualité d’une recherche publiée est de regarder la qualité du journal. Les articles des journaux très qualitatifs sont cités plus souvent car ces journaux attirent les meilleurs articles (qui sont cités plus souvent).

Oui, c’est un système qui se mord la queue. Mais ça n’est pas si mal : certains des journaux les plus prestigieux existent depuis plus d’un siècle, et leur réputation est méritée.

Évidemment, les meilleurs articles sont envoyés à ces journaux en partie du fait du prestige du journal, mais également car les comités de relecture y sont les plus minutieux. Les journaux utilisent un système de mesure appelé « facteur d’impact » qui consiste essentiellement à compter combien de fois en moyenne un article est cité dans les index d’autres revues.

L’amplitude du facteur d’impact va de 0 (personne ne l’a cité) à bien plus, mais la moyenne se situe autour des 50-70. Un des plus hauts facteurs d’impact est celui du journal « Annual Review of Immunology », qui tourne habituellement autour de 50. Un article moyen de ce journal est ainsi cité plus de 50 fois par d’autres articles, ça devient un assez bon indicateur de l’importance de ce qui y est publié : d’autres articles dans d’autres journaux ont besoin de s’y référer pour faire avancer la science.

Le facteur d’impact a ses défauts. Par exemple, un journal très ésotérique mais de bonne qualité aura un facteur d’impact modéré alors qu’il peut tout de même être très respectable.

Un nouveau venu aura un facteur d’impact artificiellement faible (mais être quand même très bon ) avant que ses articles ne soient lus et cités. Dans ce cas, observer une forte poussée du facteur d’impact peut être un bon indicateur de qualité.

Certains titres ont également un facteur assez faible, mais sont tout de même cités des dizaines de fois par an…

Quasiment tous les journaux fournissent leur facteur d’impact (à moins d’avoir de bonnes raisons de ne pas le faire, comme être si bas qu’il en devient risible) dans leur en-tête ou dans la section « à propos ».

Tapez juste « journal XY impact factor » dans Google pour le trouver. Mais faites attention au nom du journal : le « Journal of XY » peut être totalement différent du « XY Journal », ça arrive souvent.

Parmi les méthodes objectives de jauger la qualité d’une publication, le facteur d’impact est une des meilleures. On considère que tout ce qui est au dessus de 10 est de très bonne qualité, notamment dans des domaines de recherches hyper-spécialisés comme les sciences biomédicales. Tout ce qui est entre 5 et 10 est encore de bonne qualité, surtout si le journal publie beaucoup d’articles très cités.

Le problème avec le facteur d’impact, c’est que c’est une moyenne, donc beaucoup de revues publient des articles populaires qui vont être beaucoup cités et d’autres très obscurs ou ultra-ciblés qui le seront très peu.

Les journaux dont le facteur d’impact est compris entre 2 et 5 peuvent être de bonne qualité, notamment s’ils sont récent ou centrés sur un domaine très spécialisé. Tout ce qui est en dessous de 2 doit être revu à la lumière d’investigations plus large.

Lorsque la science arrive à un consensus sur une idée (hypothèse ou théorie), cette dernière est de plus en plus publiée et dans des journaux à facteur d’impact de plus en plus élevé. Quand on fait des recherches sur les allégations des pseudosciences, on tombe souvent sur des articles écrits par ceux qui supportent ces idées en utilisant la technique du « cherry picking (4) » pour donner une illusion de vraie science. Malheureusement pour eux, ils utilisent à peu près tout le temps des articles issus de revues dont le facteur d’impact est de 1 ou 2 car les journaux à haut facteur rejettent ces études.

Et bien sûr, cela amène à des théories risibles sur de prétendues conspirations de journaux réputés bloquant les « sciences innovantes ». En fait, les revues prestigieuses le sont justement car elles promeuvent parfois des concepts très novateurs, à condition qu’ils soient étayés.

Le facteur d’impact peut aussi être un indicateur de la revue par les pairs (un des présupposés pour être vu comme étant de qualité) dont le niveau est souvent égal au final à celui de la qualité de l’article. La revue contrôlée par les pairs est un processus où un article est soumis à une relecture anonyme par plusieurs autres chercheurs (pour supprimer certains biais).

Il y a différents niveaux de contrôle des revues qui vont de la simple correction orthographique (sans rire, certaines revues prédatrices(5) ou à très faible facteur d’impact se contentent de ça) à la réinterprétation des statistiques, au contrôle des citations et à la critique de la méthode (sans oublier cependant l’orthographe et la grammaire).

Les meilleurs journaux ont généralement de plus hauts standards et de meilleurs relecteurs.

Ce n’est pas une méthode parfaite permettant de trier le bon grain de l’ivraie mais ça permet de savoir qui fait des affirmations manquant de preuves.

Autorités et experts :

La qualité des recherches peut souvent être confirmée (ou infirmée) en se basant sur les références et le « passif » des chercheurs présentant une étude. On peut trouver ici (en anglais), un très bon article sur ce qui fait qu’un expert est bon ou pas.

La lecture vaut le coup, en voici néanmoins un résumé.

Un vrai expert est quelqu’un qui :

• a une excellente connaissance d’un domaine et une compréhension exceptionnelle de l’articulation des faits pour arriver à un résultat utilisable

• peut discerner mieux que ses pairs ce qui distingue deux cas similaires mais non identiques

• a des jugements plus cohérents que les autres professionnels du domaine étudié

• est reconnu par ses pairs comme un expert.

Bien sûr, quelqu’un peut avoir une expertise dans un domaine sans remplir tous ces critères, par exemple s’il vient d’atteindre ce statut. Mais même s’il s’agit de nouveaux venus munis de nouvelles informations frappantes, les autres chercheurs en parleront, les mentionneront et les complimenteront le cas échéant.

Cela étant, être un expert requiert savoir et expérience, deux choses qui s’acquièrent avec le temps.

Le billet de blog donne aussi une liste de «signaux rouges » qui signalent un non-expert :

• S’affranchir des limites d’expertise : l’expert putatif essaie de prétendre que puisqu’il est un expert dans un domaine, on doit donner du crédit à son opinion sur d’autres sujets. On voit cela tout le temps avec les anti-vaccins, notamment un certain ophtalmologiste devenu porte-étendard de cette mouvance et publiant dans des journaux au facteur d’impact le plus bas possible – Lucija Tomljenovic et Charles Shaw.

• L’appel au témoignage : l’expert putatif se vante de posséder de chaudes recommandations venues de clients ou de personnes reconnaissantes

• Le syndrome de Galilée : l’expert putatif insiste sur le fait qu’il est un génie méconnu ne rentrant pas « dans le rang » et que la « science officielle’ refuse de le prendre au sérieux. Une fois de plus, on trouve un bon exemple chez les anti-vax.

• Les théories conspirationnistes : l’expert putatif prétend que les « scientifiques institutionnels » étouffent ses idées

• Le « Gish gallop » (ou torrent d’affirmations) : l’expert putatif débite le plus rapidement possible une longues liste d’affirmations sans apporter de preuves ni laisser le temps de répondre. Cf : La lune est faite de fromage (en français).

Voilà deux listes de pistes utilisables pour déterminer si un expert est crédible ou pas.

Peter Doshi, qui nie le lien entre SIDA et HIV, critique le vaccin anti-grippal alors qu’il n’est ni épidémiologiste, ni virologue ni immunologue est un parfait exemple d’appel à la fausse autorité.

C’est difficile et ça expose à un certain degré de subjectivité, mais sur PubMed, en cliquant sur le nom d’un auteur, vous pouvez avoir la liste de ses publications (attention cependant car des gens avec des noms très communs peuvent donner des résultats non pertinents).

Vous pouvez donc déterminer si les autres articles sont parus dans des journaux réputés, s’ils sont cités souvent et savoir si leurs recherches actuelles collent avec les précédentes.

Neil deGrasse Tyson est un expert réputé en astrophysique mais s’il se met d’un coup à publier des articles en immunologie qui racontent que tout ceux avant lui avaient tort… méfiez vous !

La hiérarchie des preuves :

Après avoir vu les deux premiers critères d’évaluations (juger de la qualité d’un journal et de la crédibilité d’un expert), voyons maintenant le troisième : évaluer la valeur d’une preuve.

Même si cette liste sera centrée sur les recherches médicales, elle peut être utilisée pour tous types d’études. Les sites d’infos et pas mal de blogs mettent en scène de fausses polémiques lorsqu’ils présentent des informations scientifiques en créant du débat là où il y a en fait consensus.

Et dans ces faux débats, un côté utilisera des preuves scientifiques, alors que l’autre se servira de données biaisées et/ou réfutées depuis leur parution (si elles sont jamais vraiment parues).

Pour donner un exemple, si on devait faire un débat télévisé sur le réchauffement qui rendrait compte de l’état actuel du consensus parmi les climatologues, on aurait d’un coté 1000 scientifiques armés chacun de dizaines et de dizaines d’études, de livres, de modèles et de données et de l’autre un type tout seul (vraisemblablement même pas un expert dans le domaine) avec un petit dossier comportant des sondages sur ce que les gens croient du réchauffement, des pétitions et quelques papiers publiés dans des journaux de mauvaise qualité.

Bien sûr, les services d’infos (et les blogs…) n’ont pas le temps d’organiser ce genre de choses (et ça n’attirerait pas grand-monde). Généralement on se retrouve avec un climatologue, un pseudo-expert et le présentateur qui nous annonce avec un grand sourire que « le débat continue dans la communauté scientifique » avant d’introduire le sujet suivant (le monstre du Loch Ness).

Bref… quelles sont les meilleures preuves ? Des meilleures jusqu’au pire :

1 ) Les études secondaires publiées dans des journaux à revues à contrôle par les pairs à fort impact : ces études incluent les méta-analyses, les articles de vérification et les contrôles par Cochrane Collaboration(6) (ou la Haute Autorité de Santé en France). Ce sont des travaux qui vont compiler et comparer les données de plusieurs autres articles (parfois des dizaines) en tentant d’identifier les travaux de mauvaise qualité et les données biaisées.

Elles sont surtout utiles lors de l’examen de nombreux essais cliniques randomisées (7) en fournissant au lecteur de nombreuses données et de (généralement) meilleures analyses statistiques.
De temps à autre, des méta-analyses de faible valeur apparaissent dans des journaux à faible impact (et rarement à fort impact). Ce sont souvent des études qui vont faire du cherry-picking en ne retenant que les données allant dans le sens des hypothèses de l’auteur mais elles sont heureusement rares.

Si Cochrane peut être vu comme le plus haut des standards, ce n’est pas parfait pour autant car on a pu constater l’existence de biais persistant dans leurs recherches (notamment lorsque ladite recherche va contre les croyances de l’auteur).

Les études systématiques nécessitent une analyse fine et de grosses compétences en statistiques, et beaucoup de journaux ne sont pas Cochrane. Ainsi, les méta-analyses secondaires sont le pinacle de la science, mais ça ne veut pas dire non plus qu’il ne faut pas être critique avec.

2) Les essais randomisés contrôlés à résultats définitifs : elles incluent de très grands effectifs (en général plus de 1000 personnes par groupes) avec des marges d’erreurs qui ne se recouvrent pas et montrent un effet significatif. Et elles sont publiées dans des revues à fort impact bien sûr !

3) Les essais randomisés contrôlés à résultats non définitifs : ce sont de plus petits test, généralement avec des marges d’erreurs plus grande et qui ne font que suggérer un effet clinique. A un certain niveau, ce type d’étude confine au niveau d’études observationnelles et demandent à être confirmées (ou infirmées) par de plus grandes études.

4) Les études de cohortes (ou études rétrospectives) : ce sont des analyses de facteurs de risque qui suivent un groupe de personnes non touchées par une maladie et pointent les corrélations permettant de déterminer le risque absolu pour une personne d’attraper cette maladie. Ces travaux sont généralement entrepris pour mettre en évidence (ou réfuter) un lien de causalité que l’on suspecte.

De fait, pour des raisons éthiques évidentes, il n’est pas possible de mettre en place des tests randomisés en double aveugle pour les vaccins (même si des gens étaient volontaires pour faire partie des non vaccinés risquant d’attraper la polio – ou autre – cette démarche briserait le double aveugle et la randomisation). On suit donc des dizaines de milliers (voire des millions) de gens sur une longue période (parfois en comparant une situation avant/après) ce qui permet d’obtenir des données les plus fiables possibles.

Par exemple, les vaccins ne causent pas l’autisme et les téléphones ne donnent pas le cancer.

5) Les études comparatives cas/témoin : ces études analytiques rassemblent des groupes de personnes atteints d’une maladie (les « cas ») à des personnes saines (les « témoins »). On compare ensuite les deux groupes en fonction de (par exemple) la fréquence d’exposition à tel ou tel facteur intéressant.

Cette méthode peut permettre de dégager des liens de corrélations (mais pas forcément de causalité) entre la maladie et le facteur étudié.

6) Les enquêtes transversales : ce sont essentiellement des études où les chercheurs n’étudient qu’un seul aspect d’une population donnée. Elles ne disent que peu de choses sur les corrélations (et encore moins sur les causalités) mais sont utiles pour savoir par exemple quel pourcentage d’une population est atteint d’une maladie.

7) Les études de cas : elles sont souvent publiées dans des journaux d’excellente qualité mais ce ne sont généralement que des observations faites sur un ou deux patients. Leur but est de mettre en avant une constatation mais n’ont pas de validité scientifique au-delà. Elles signalent l’existence d’un fait sans permettre d’en tirer des conclusions générales et ne peuvent pas servir d’argument pour un autre cas particulier.

8) Les tests sur animaux ou cultures cellulaires : ce sont des recherches qui peuvent être applicables à l’homme mais aussi ne pas l’être. Il ne faut pas s’y fier car il peut se passer 20 ans entre une avancée sur les souris et des médicaments pour l’homme (quand il y en a).

Une étude montrant que le cannabis « soigne » le cancer du sein chez la souris a été publiée et elle est utilisée pour promouvoir sa consommation sauf qu’il n’y a aucun début de démonstration d’un effet clinique chez l’homme, la valeur de ce type d’étude est très limitée jusqu’à ce qu’un effet significatif puisse être montré lors d’une « vraie » étude : une vieille blague de chercheur dit que le cancer a été éradiqué chez les souris il y a des décennies.

En outre, il faut leur appliquer les mêmes critères que pour les autres études (publication dans un journal prestigieux, crédibilité des experts, etc.). Il y a une tendance à surestimer les résultats des études sur les animaux, alors qu’une minorité des composés testés fera objet d’une étude, qu’encore moins seront testés sur des humains et que sur ces derniers, bien peu obtiendront une autorisation de mise sur le marché.

Aux États-Unis, le National Cancer Institute a recensé plus de 400.000 molécules (ou associations de molécules) ayant fait l’objet de recherches sur animaux et cultures cellulaires, parmi elles entre 20.000 et 30.000 ont atteint le stade de l’étude clinique et à peine une poignée est utilisée dans la médecine moderne.

Il faut rester très prudent lorsqu’on lit un article grand public basé sur un communiqué de presse, surtout s’il s’agit d’une étude primaire.

9) Les powerpoints et les brochures d’information : il y en a des centaines de meetings et de conventions scientifiques par an et des recherches préliminaires y sont souvent présentées.

Il y a généralement beaucoup de séries de questions/réponses qui précisent le sujet mais n’apparaissent pas a posteriori dans les infographies. En gros, ces présentations varient de l’étude prête à être publiée à la spéculation la plus complète et ne sont pas soumises aux critères normaux de publication (revue par les pairs entre autres).

Elles manquent souvent d’explications à propos de la méthode utilisée, de l’analyse de données et de tout ce qui est nécessaire à une bonne compréhension. Dans un article dans JAMA, un auteur a montré que dans les 3 ans après leur présentation, 50% étaient publiées dans des journaux corrects, 25% dans des journaux à faible ou très faible impact et que 25% ne faisaient pas l’objet d’une publication.

Il est intéressant de noter que les 39 abstracts (résumés de l’hypothèse, de la méthode, des données et de la conclusion) qui avaient fait l’objet de gros titres dans les journaux avaient un taux de publication qui était grosso modo identique à ceux des autres. L’auteur concluait que « les abstracts présentés dans les meetings génèrent une forte attention dans les médias mais un nombre substantiel n’est pas publié, ce qui exclue une évaluation par le reste de la communauté des chercheurs ». En d’autres termes, tant qu’une étude n’est pas réellement publiée, il est impossible d’évaluer sa valeur et son importance.

10) Les communiqués de presse et les journaux grand public : rejetez les conclusions établies par les services de presse des universités (même cotées) : elles n’ont pas été revues. On peut même y trouver des erreurs grossières.

Mais on peut s’en servir pour avoir accès à l’étude une fois publiée, donc ça n’est pas totalement inutile.

11) SantéNutrition et les sites du même genre : soyons clairs, ces sites sont remplis de pseudoscience, d’allégations mensongères et parfois dangereuses et vont jusqu’à se contredire eux-mêmes d’un article à l’autre.

Rien n’y est jamais vérifié et lorsqu’on trouve une source exploitable, l’étude est mal interprétée les rares fois où elle avait un rapport avec le sujet. Ne faites pas confiance aux sites qui n’indiquent pas la provenance de leurs informations et/ou où les rédacteurs sont anonymes ou présentés à travers de jolies histoires.

Dans le faux débat imaginé plus haut, il ne faudrait pas prendre en compte seulement le nombre mais aussi la qualité des preuves avancées.

Quand d’un coté on a 5 ou 10 études, revues et méta-analyses qui vont dans le sens du consensus scientifique et que de l’autre coté il y a quelques études mal fagotées, parfois même pas publiées et des citations de EspritScienceMétaphysique, on ne peut même pas appeler ça un débat.

L’importance au plan clinique :

Il y a aussi quelque-chose qui doit être pris en compte en même temps que les études publiées : les résultats qui ne montrent qu’un vague effet statistique. Si prendre de la vitamine XYZ ne réduit en moyenne la durée d’une grippe que de quelques minutes, quelle importance accorder à ce résultat ?

David Gorski, grand chef ès-sarcasme du blog ScienceBasedMedecine, a bien résumé quelques points importants à propos des effets cliniques.

Dans les études faites directement sur des sujets humains, le problème est différent. On dit souvent en médecine qu’un effet statistique significatif n’implique pas forcément une découverte qui le sera aussi. En d’autres mots, on trouve de petites différences dans les effets des traitements ou les associations entre divers marqueurs et des maladies variées qui sont statistiquement significatives tout le temps. Néanmoins, elles sont souvent trop faibles pour être cliniquement utiles.

Par exemple, est ce que la détection d’un allèle dont la présence signifie qu’un risque augmente de 5% chez une certaine partie de la population est utile ? Ça peut l’être si le risque initial est inférieur à 5%, mais s’il est déjà de 50%, c’est nettement moins pertinent.

Le problème se pose tout le temps en oncologie quand on se pose de la question de l’utilité de tel ou tel adjuvant en chimiothérapie. Si une chimiothérapie augmente de 2% le taux de survie à 5 ans pour une tumeur qui a un énorme taux de survie après chirurgie, est-elle utile ? Si une variable augmente de 5% ET in vitro la probabilité de développer une maladie est ce que c’est une donnée utilisable ?

Bien sûr, ça implique une part de subjectivité, mais de faibles bénéfices statistiques ne donnent pas forcément des traitements utilisables.

Comme Gorski le dit, c’est un peu de l’approximatif, « à l’instinct », mais personne n’accepterait de diagnostic basé sur des effets si faibles. On le voit pourtant, avec des médecines alternatives dont les études « prouvent » qu’elles ont des résultats au delà de l’effet placebo ; mais si un thérapeute vous déclare « mangez du trucmuche et votre risque de machin baissera de 5% », il faut savoir que ce genre de statistique est tout à fait compatible avec le hasard !

C’est un travail difficile de discerner la « bonne science » de ce qui n’en est pas, c’est peut être ce qui fait que les américains pensent qu’il y a encore un débat autour du réchauffement global, des vaccins ou de l’évolution. Parfois, il faut faire confiance aux vrais experts. Et le nombre et la qualité de ces experts sont importants.

Il est important de se rappeler que tout ne se vaut pas en science : pratiquer du cherrypicking pour ne garder que ce qui va dans votre sens n’est pas de la science, donner un poids égal à tout ce que vous trouvez n’est pas de la science et penser qu’une experte en antiquité est qualifiée pour vous parler des vaccins n’est pas de la science.

L’évolution est un fait, le changement climatique est causé par l’homme, les vaccins sont incroyablement efficaces et sûrs et les OGM ne sont pas plus risqués qu’autre chose pour les humains, les animaux et l’environnement en général.

Et ça n’est pas à débattre car il n’y a pas de débat, à moins que l’on ne donne valeur de preuve à des études mal faites ou partisanes.

Les sciences bien faites, celles qui utilisent rigueur et méthode sont ainsi. Ce n’est pas un processus magique, irrationnel : c’est en fait une méthode logique pour répondre à une question. Ce n’est pas une opinion basée sur l’arrogance ou la vanité pas plus qu’une croyance basée sur l’ignorance ou les sophismes. Ces affirmations sont basées sur ce que dit le consensus scientifique et cela compte plus que n’importe quelle croyance ou opinion, à moins d’apporter des preuves de bonne qualité qui valident lesdites croyances ou opinons !

Il est important de se rappeler une chose, ce n’est pas parce que la science ne corrobore pas un point de vue qu’elle se trompe : c’est le point de vue qui est mauvais. C’est le rôle de la science que de combattre croyances et ignorances.

La version : trop long, j’ai pas lu :

1. Seuls les articles de bonne qualité, revus par les pairs et publiés dans des journaux avec un bon facteur d’impact comptent lors d’un débat en sciences.

2. L’expertise compte, et ce n’est pas quelque-chose que l’on déclare soi-même ou avec quelques lettres de fans. Elle est déterminée par le respect de ses pairs (et le nombre de ceux-ci).

3. Tout ne se vaut pas en science, et les meilleures recherches sont les méta-analyses qui montrent un effet cliniquement significatif.

4. Dans la recherche biomédicale, ce qui compte le plus est la hauteur de l’effet clinique.

5. Créer une fausse équité ou donner un poids immérité à des croyances marginales qui ne sont pas soutenues par des recherches n’est pas une façon correcte de faire et ce genre de procédé doit être combattu.

1) Le terme de « débunk » n’a pas d’équivalent en français, il s’agit du fait de décortiquer une fausse information en tentant au mieux d’en comprendre la genèse et de la corriger

2) L’abstract est un document court et (souvent) compréhensible par un non-spécialiste résumant la problématique d’une étude, le protocole d’expérimentation, les données récoltées et la conclusion tirée des données.

3) Le « peer reviewing » ou « revue/contrôle par les pairs » est le processus qui conduit un journal scientifique à faire relire et évaluer une étude par des spécialistes groupés en comité de relecture.

4) Le « cherry picking » est une technique d’argumentation consistant à ne sélectionner que les faits, études, données, etc allant dans le sens de la thèse défendue.

5) On appelle « prédatrices » les revues scientifiques ayant une politique d’édition très agressive : elles sollicitent fortement les chercheurs et sont souvent prêtes à publier n’importe quoi.

6) La collaboration a pour but de regrouper des données scientifiquement validées de manière accessible et résumée. Elle conduit des revues systématiques (méta-analyses) d’essais randomisés contrôlés d’interventions en santé (Source : Wikipédia)

7) Lors d’une étude randomisée, les sujets sont répartis aléatoirement entre groupe test et groupe témoin afin de minimiser les différences entre ces groupes. de plus chaque sujet ignore de quel groupe il fait partie (tout comme les chercheurs, c’est ce que l’on appelle le « double aveugle »).

Traduit de http://www.skepticalraptor.com/skepticalraptorblog.php/how-evaluate-quality-scientific-research/