Étude retirée du Lancet : la science à l'épreuve des revues scientifiques ?

Les titres dans la presse sont souvent similaires lorsqu'il y est question de révélations scientifiques. Ils débutent ou se concluent presque toujours par trois mots : "Selon une étude…". Le cas de la publication sur l'hydroxycholroquine en mai 2020 n'a pas échappé à la règle. "(…) Ni la chloroquine, ni son dérivé l'hydroxychloroquine ne se montrent efficaces contre le Covid-19 chez les malades hospitalisés, et ces molécules augmentent même le risque de décès et d'arythmie cardiaque, prévient une vaste étude parue vendredi 22 mai dans The Lancet (…)", expliquaient nos confrères de France Info. Pour appuyer le propos — comme il est courant de le faire — un qualificatif appuyant le sérieux et la rigueur de la revue qui a publié l'étude, était employé : "(…) ces deux traitements (…) "ne bénéficient pas aux patients du Covid-19", déclare le docteur Mandeep Mehra, auteur principal de l'étude publiée dans la prestigieuse revue médicale."

Prestigieuse. Toute la polémique sur la validité et la qualité des publications scientifiques dans les revues internationales spécialisées est contenue dans ce qualificatif. Comment et pourquoi une revue médicale prestigieuse, donnant donc tous les gages de sérieux, a-t-elle pu publier une fraude scientifique, c'est-à-dire une étude biaisée se basant sur des fausse données ? Que sont ces revues et sur quoi repose leur prestige ?

Evaluation par les pairs

Démontrer scientifiquement quelque chose qui ne l'a pas encore été, ne fait pas partie du travail de journaliste. Ce travail est celui des chercheurs, ceux que l'on appelle de façon générale, "les scientifiques". Et le journaliste se fie à leur travail, puisque le monde de la recherche est régulé par un système de contrôle de la validité des études avant leur publication dans des revues scientifiques. Avoir un diplôme d'État attestant de connaissances scientifiques pour effectuer des recherches ne permet pas de "sortir une étude" et de la faire publier sur sa seule bonne foi ou celle des responsables du laboratoire où elle a été effectuée. Une étude, doit être vérifiée à l'extérieur du laboratoire. Les données utilisées, les calculs, les procédés qu'elle utilise — et normalement le plus souvent sa reproductibilité — doivent donc être soumis à une évaluation par les pairs. D'autres scientifiques du domaine doivent s'y atteler. C'est ce système "d'évaluation par les pairs" qui est censé réguler les travaux issus des recherches scientifiques. The Lancet, dans le domaine médical, est censée contrôler que cette évaluation par les pairs est bien respectée et même y participer.

Comment l'étude frauduleuse sur l'hydroxycholoroquine a-t-elle donc pu — dans ces conditions — être évaluée positivement dans l'une des revues médicales scientifiques les plus "prestigieuses" au monde, The Lancet ? Le chercheur en biologie moléculaire et génétique, Philippe Froguel, a dénoncé pour sa part sur France Info The Lancet, comme étant "un tabloïd de la presse médicale", avec une volonté "de faire le buzz (…) coutumiers du fait, de temps en temps, de s'asseoir sur la déontologie". C'était le 5 juin dernier, le jour où trois des quatre chercheurs de la fameuse étude se sont rétractés et ont avoué que leur étude n'était pas fiable. La prestigieuse revue n'avait pourtant rien vu de gênant dans cette étude, une étude qui lui a fait une publicité mondiale, au point que l'OMS décidait à la suite de sa publication de suspendre "temporairement" les essais cliniques autour de l'hydroxychloroquine… par mesure de précaution.

• Lire notre article : Coronavirus : l'étude du Lancet "porte un coup sérieux à l’hydroxychloroquine, mais n’est pas suffisante"

Ce sont plusieurs dizaines de sientifiques qui ont permis de "lever le lièvre" sur cette étude et ses résultats soi-disant "explosifs", dont toutes les données étaient fournies par une petite startup appartenant… à l'un des quatres médecins chercheurs ayant réalisé l'étude.

La startup s'appelle Surgisphere et son PDG, le docteur Sapan Desai. Surgisphere est très récente et est spécialisée dans la collecte de données médicales. Elle en a déjà fourni à plusieurs laboratoires qui en ont tiré des études, publiées dans des revues médicales. Repérer la fraude n'a malgré tout pas été très compliqué pour les scientifiques : l’étude faisait par exemple état de 73 décès dans six hôpitaux australiens, alors que le pays n’avait déclaré que 67 décès à la même date. Autre énormité : selon l'étude, la moitié des patients australiens prenaient de la chloroquine, alors que seule l’hydroxychloroquine est autorisée dans le pays. Pour finir de peindre le tableau sur le manque de sérieux de Surgisphere, comme le Figaro le souligne : "Sur Linkedin, l’entreprise n’avait que six employés, parmi lesquels une actrice de films érotiques et un auteur de science-fiction. Mais aucun scientifique."

Pour autant, l'étude sur l'efficacité du traitement à base d'hydroxychloroquine du docteur Raoult — à l'origine de contres-études dont celle publiée par The Lancet — n'est pas scientifiquement recevable, n'a pas été passée au crible de l'évaluation par les pairs. l’Institut national d’excellence en santé et en services sociaux (INESSS) au Québec a publié le 15 juin 2020, un document analysant les résultats de plus de 10 études sur le traitement à l'hydroxychloroquine. Il en ressort qu'aucune preuve scientifique suffisante ne permet de démontrer son efficacité ou son inefficacité :

La science de l'étude de la science peut donc s'accorder, parfois, à dire qu'elle "ne sait pas"… dans l'état de la science.

Selon une étude scientifique, les études scientifiques ne sont pas fiables…

C'est ainsi que le quotidien Libération titrait un article de 2015 traitant de "Reproducibility Project" (Projet reproductibilité). L'instigateur de cette méta-recherche est un chercheur en sciences sociale, Brian Nosek, décidé à vérifier la fiabilité des études en psychologie.

Financé par la fondation Laura et John Arnold — puisque le chercheur ne trouvait aucun fonds pour l'aider à mener sa recherche — le Projet reproductibilité de Brian Nosek a fini par faire travailler plus de 270 chercheurs pour reproduire 100 expériences de psychologie et de sciences sociales. Nosek a publié ses résultats en août 2015, dans la revue Science. Une véritable bombe qui a explosé dans la sphère scientifique mondiale : son armée de chercheurs n’est parvenu à reproduire qu'à peine 40 % des études, 64 % des résultats n’ayant jamais pu être reproduits. 

Pour autant, peut-on alors penser que la recherche scientifique n'aurait plus de valeur, qu'elle serait majoritairement fausse ou biaisée ? Richard Horton, le rédacteur en chef de The Lancet, déclarait pour le domaine de la recherche médicale, en 2016 : "Une grande partie de la littérature scientifique, sans doute la moitié, pourrait être tout simplement fausse. Affligée d’études avec des échantillons réduits, d’effets infimes, d’analyses préliminaires invalides, et de conflits d’intérêts flagrants, avec l’obsession de suivre les tendances d’importance douteuse à la mode, la science a pris le mauvais tournant vers les ténèbres."

Cette affirmation — passée plutôt inaperçue — est pourtant lourde de conséquences : il y aurait un problème majeur sur la valeur des études scientifiques en recherche médicale, selon… le directeur d'une des revues de publications scientifiques médicales les plus renomées. Pour autant, la plupart des revues scientifiques à comité de lecture à "fort impact", souvent les plus anciennes — et donc les plus réputées —, ne publient pas majoritairement des études fausses, biaisées, fabriquées ou orientées. Mais depuis plusieurs années ces revues sont contestées dans le milieu scientifique, avant tout de par leur fonctionnement.

Facteur d'impact par citations

Les revues scientifiques sont, pour les plus réputées, des publications anciennes créées par des scientifiques : la revue Science a été créée par le célèbre Thomas Edison en 1880. Nature a été fondée en 1869 par Joseph Norman Lockyer, un astronome britannique. The Lancet est une revue de 1823 créée par un chirurgien britannique, Thomas Wakley. Mais The Lancet est depuis 1991 la propriété du groupe d'édition Reed Elsevier, une multinationale à la tête de 2 500 titres de presse, dont le chiffre d’affaires atteignait 2,8 milliards d’euros en 2018, pour… un milliard de bénéfices.

Les revues scientifiques à comité de lecture sont en réalité des entreprises privées de presse. Leur réputation dépend de la quantité d'articles qu'elles publient, mais surtout de l'influence qu'elles exercent sur le monde scientifique par le nombre de citations qu'elle déclenchent dans d'autres revues. Ce système du nombre de citations, sorte d'indice de popularité, est nommé le "facteur d'impact".

C'est ce système de facteur d'impact que chaque revue veut le plus élevé possible pour elle-même, qui pousse à la quantité de publications dans l'urgence. Le chercheur en endocrinologie et biologie moléculaire, professeur au CHRU de Lille, Philippe Froguel expliquait le phénomène, toujours sur France Info le 5 juin dernier : "Je suis un relecteur pour eux et il m'arrive régulièrement de recevoir un email me disant "on veut publier ça, on vous l'envoie, mais on veut la réponse dans trois jours, et de toute façon, on va le publier". C'est ce qu'on appelle les "reviews-proofs", comme on dit waterproof pour quelque chose qu'on peut mettre dans l'eau, c'est-à-dire que, quoi qu'on dise, de toute façon, ils le publieront." Sachant que le FI de revues prestigieuses peut être fortement contesté, comme ce fut le cas en 2016, avec l'arrivée d'un nouveau calcul, le Citescore, concurrent du FI — historique — de Clarivate : The Lancet passait avec ce nouveau système d'un facteur de 44 à… 7,7. De quoi créer la confusion parmi les recruteurs et les dirigeants des plus prestigieuses universités, qui se fient depuis des années au facteur d'impact des publications pour juger de la qualité de leurs chercheurs. Des universités qui vont jusqu'à désormais déterminer l'évolution des carrières par le bais du FI : plus le chercheur a publié dans des revues à gros facteur d'impact, plus il gagne des points lui permettant de s'élever hiérarchiquement.

C'est face aux problèmes causés par le facteur d'impact qu'une alternative a été développée par trois université espagnoles, l'indicateur SJR. Il mesure de l'influence scientifique de revues académiques en tenant compte à la fois du nombre de citations obtenues par la revue et de l'importance des journaux d'où proviennent ces citations, le tout étant pondéré par un autre indicateur et géré par un algorithme équivalent à celui de Google (Page rank). Avec cet indicateur, The Lancet (la revue générale) n'est plus qu'à la 32ème place (avec une note de 15,871) tandis que Science tombe à la 45ème place (13,251 point). Pour comparaison, la revue la mieux notée, A cancer journal for clinicians (CA), obtient 72,576 points.

Clarivate et son FI continue malgré tout de faire la loi en terme de notation pour le prestige des revues scientifiques en 2020. Ce monopole de l'évaluation de la recherche scientifique a pourtant été remis en cause depuis quelques années, avec la Déclaration de San-Francisco sur l'évaluation de la recherche, en 2013. Instiguée par des scientifiques de l'American Society for Cell Biology et un groupe d'éditeurs de journaux scientifiques, cette initiative mondiale pour améliorer l’évaluation de la recherche scientifique, voulait mettre en cause l'usage croissant du classement bibliométrique dont le FI est l'emblême. Plusieurs milliers de personnes et plus de 200 organisations scientifiques l'ont signé. Sans succès, comme il est facile de la constater 7 ans après : les revues scientifiques à comité de lecture sont toujours classées de la même manière et leur prestige repose toujours sur le système de facteur d'impact.

Le récent scandale qui a éclaboussé The Lancet souligne donc ce problème majeur du monde scientifique : le contrôle des contrôleurs des études n'est pas suffisant et la valeur accordée aux revues scientifiques à comité de lecture n'est pas basée sur la qualité de leurs publications. Mais changer un système qui  tient lieu de gouvernail depuis plus de 50 ans au monde de la recherche, semble une tâche insurmontable.
Celui ou celle qui parviendra à démontrer cette nécessité et trouver un nouveau procédé — plus adapté—, méritera peut-être d'être publié par l'une des plus prestigieuses revues scientifiques ?