Pocos artículos clínicos revisados por pares sobre la pandemia contenían datos originales, y muchos de los que lo tenían poseían un diseño experimental deficiente.
por Max Kozlov
Como los científicos llevaron a cabo las investigaciones iniciales sobre el nuevo coronavirus el invierno pasado y la primavera, los editores de revistas vieron un enorme aumento en las publicaciones de COVID-19. Un estudio publicado el 4 de enero en BMC Medical Research Methodology informa que la mayoría de los primeros estudios clínicos sobre la pandemia carecían de datos originales, y los que sí lo hicieron se apresuraron y no incluyeron las medidas adecuadas para reducir el sesgo.
Los investigadores evaluaron más de 10,000 artículos médicos relacionados con COVID-19 publicados en inglés o chino antes de mayo de 2020. Entre los artículos revisados por pares, los investigadores encontraron que el 56,1 por ciento eran opiniones que no contenían ningún dato nuevo. Los artículos originales que incluían datos de pacientes representaron solo el 9,6 por ciento de los estudios revisados por pares. Luego, los investigadores evaluaron la calidad de la investigación de los artículos originales utilizando herramientas validadas para evaluar el diseño del estudio y concluyeron que el 80 por ciento estaba en riesgo de sesgo, principalmente debido a la escasez de participantes, la corta duración del seguimiento, la selección de pacientes no representativa o la mala interpretación de los datos. .
El científico realizó una entrevista por correo electrónico con el nefrólogo y epidemiólogo del Paris Transplant Group Alexandre Loupy y el estadístico del Paris Transplant Group Marc Raynaud, coautores del nuevo estudio.
Marc Raynaud (izquierda) y Alexandre Loupy (derecha) – GRUPO DE TRASPLANTES DE PARÍS
The Scientist : ¿Cuál fue la motivación para realizar este metaanálisis?
Alexandre Loupy: Desde que comenzó la pandemia de COVID-19, todos hemos visto el aumento espectacular en la cantidad de publicaciones relacionadas con COVID-19. A medida que el virus se propagaba por todo el mundo, generó una sensación de urgencia global que tuvo consecuencias para la investigación médica. Vimos que la mayoría de las primeras publicaciones eran principalmente personas que daban consejos y su reacción personal a la pandemia. Lo que temía era ver que los estándares de la ciencia médica bajaran y que el sistema de revisión por pares perdiera calidad. . . . Nos entristeció observar que los estudios publicados durante la primera ola de la pandemia estaban lejos de cumplir con los estándares convencionales de calidad científica.
Este riesgo de la ciencia acelerada ha sido expresado por muchos otros investigadores, ya que muchas decisiones clave de salud pública se tomaron en base a estos primeros estudios. Además, como saben, hay ejemplos concretos bien conocidos de publicaciones que fueron retractadas, con consecuencias directas para la salud pública, como fue el caso de ‘Lancet Gate’. En ese contexto, estábamos seguros de que se justificaba una revisión exhaustiva de las tendencias científicas y una crítica sólida y honesta. Esta fue nuestra principal motivación: revisar, categorizar y evaluar críticamente toda la investigación de COVID-19. Otros equipos no habían llevado a cabo una investigación de este tipo, dada la enorme cantidad de trabajo necesario para evaluar críticamente toda la literatura médica.
TS : ¿Cómo decidió qué estudios incluir en su análisis?
Marc Raynaud: En realidad, esto fue bastante sencillo: dado que queríamos tener una visión amplia de toda la investigación de COVID-19, necesitábamos identificar y revisar todas las publicaciones relacionadas con COVID-19, independientemente del diseño o tipo. Por tanto, no hubo restricciones en las publicaciones identificadas en nuestro estudio. Creo que este enfoque es una de nuestras grandes fortalezas, ya que nuestra revisión es la única que abarca todos los tipos de estudios y diseños, tanto preimpresos como artículos revisados por pares.
Nos centramos principalmente en los estudios publicados durante los primeros seis meses de la pandemia. Pensamos que este era un período clave para evaluar la calidad de la producción científica, ya que muchas decisiones extremadamente importantes tomadas por gobiernos y agencias, incluida la Organización Mundial de la Salud (OMS), se tomaron en base a esta literatura científica temprana.
El primer paso fue así crear un consorcio internacional con expertos de Francia, Estados Unidos y China, incluidos expertos en metodología, revisión sistemática, epidemiología, salud pública, medicina interna, cirugía y patología. Entonces podríamos comenzar la larguísima tarea de revisar todas las publicaciones de COVID-19.
TS : ¿Le sorprendió la cantidad de estudios con datos originales que encontró?
AL :Esto confirmó la impresión que todos teníamos: los artículos ‘sin datos’ impulsaron gran parte del enorme aumento de publicaciones de COVID-19. Para darle una idea, en la investigación revisada por pares, casi el 60% de las publicaciones de COVID-19 fueron artículos sin datos. ¡Esto no tiene precedentes! Muestra la disposición y la prisa de muchos científicos que prefirieron comentar de inmediato sobre la pandemia en lugar de diseñar estudios apropiados. Pero quiero subrayar que el estudio no es para culpar a nadie, sino que es una forma de que el campo reflexione y tal vez se prepare mejor para situaciones futuras igualmente difíciles. Hubo una carrera por publicar y las revistas se enfrentaron a una avalancha de artículos. Fue una epidemia de artículos científicos dentro de una pandemia mundial. Era importante destacar este fenómeno con datos reales y ponerle números y estadísticas.
TS : Usted hace una distinción entre estudios con datos originales en comparación con estudios de casos o artículos de opinión. ¿Qué papel juegan esas otras piezas en el panorama editorial científico durante una pandemia?
AL: Creemos que los estudios de caso pueden tener varios roles. En ocasiones, los lectores de alguna especialidad médica, como cardiología, han solicitado estudios de casos para mejorar y adaptar su práctica clínica porque se enfrentaban a un gran aumento en el número de pacientes con COVID-19. Pero muchos estudios de casos tuvieron resultados contradictorios, y temíamos que pudieran haber desviado la atención de estudios más válidos y mejor diseñados. También pensamos que muchos médicos e investigadores querían contribuir, lo que llevó a muchos a publicar los primeros hallazgos, sin tomarse el tiempo para diseñar correctamente [sus estudios] y analizar sus datos.
El problema fue el mismo con los numerosos artículos de opinión que identificamos; muchos querían comentar sobre la pandemia. Aunque se han publicado algunos consejos y recomendaciones valiosos, creo que esto ha generado confusión en general. Conozco a muchos médicos que no sabían a quién escuchar, en qué estudio confiar. Se perdieron en el laberinto de investigaciones médicas contradictorias.
TS : Los preprints jugaron un papel importante en la difusión del conocimiento científico durante la pandemia. ¿Cuáles fueron sus hallazgos sobre los preprints?
MR: En general, hubo un aumento importante del número de preimpresiones; descubrimos que casi un tercio de la investigación de COVID-19 eran preimpresiones. Nuestros hallazgos muestran que la mayoría de ellos tenían datos originales. Pero deben considerarse con cautela; una preimpresión [es] un estudio no revisado por expertos. Una preimpresión podría terminar eventualmente en el New England Journal of Medicine , mientras que otra tal vez nunca se publique en ninguna parte debido a fallas extensas. El proceso de revisión por pares tiene valor, después de todo. Otros estudios han destacado que la mayoría de los preprints permanecen en su estado preprints y no pasan al ámbito de la revisión por pares. Por tanto, estoy de acuerdo en que los preprints tuvieron una influencia sustancial, pero deberíamos considerar esos estudios con el escepticismo adecuado.
TS : En su análisis, habla del delicado equilibrio entre la velocidad y la calidad de la publicación durante una emergencia de salud pública. ¿La comunidad científica dio prioridad a unos sobre otros durante esta pandemia?
SEÑOR:Como hemos subrayado en nuestro estudio, la evaluación de la calidad de la investigación es un paso fundamental en el avance del conocimiento científico. Sin embargo, en una pandemia, en un momento apremiante, converger hacia el rigor científico parece ser particularmente difícil. El equilibrio entre la velocidad y el rigor de la ciencia es, por tanto, muy difícil de lograr. Lo que nuestro estudio dice es que el 80% de los estudios originales tienen un riesgo de sesgo de medio a alto, de acuerdo con métricas y herramientas de evaluación sólidas y ampliamente adoptadas. Por lo tanto, diría que nuestro estudio revela mucha prisa en realizar y aceptar estudios durante los primeros seis meses de la pandemia. Aunque vemos que la calidad de la investigación finalmente (y lentamente) está mejorando ahora, muchos investigadores se han apresurado a publicar estudios mal diseñados con escasos datos y, lamentablemente, algunos todavía lo hacen.
TS : Mirando hacia el futuro, ¿qué consejo le daría a los científicos que esperan publicar un artículo durante una emergencia de salud pública?
AL : Primero, aconsejaría tomarse un tiempo para leer lo que ya se ha publicado sobre el tema. En segundo lugar, sugiero ser deliberado en la formulación correcta de su hipótesis de investigación y diseño de estudio. En tercer lugar, los científicos deben asegurarse de tener datos suficientes y relevantes. Cuarto, es importante aplicar análisis estadísticos apropiados. Creo que la pandemia ha demostrado que demasiados carecen de habilidades en metodología, por lo que en mi opinión estos cuatro puntos son una buena forma de comenzar.
Por último, como médico, me gustaría hacer este diagnóstico final: aunque ahora hemos desarrollado vacunas para el COVID-19, algunos científicos todavía llevan un virus dañino: el virus de la ‘prisa por las publicaciones’, cuya única vacuna es la crítica. y luego un compromiso con un buen diseño e hipótesis de investigación, datos apropiados y análisis sólidos.
Referencia: M. Raynaud et al., “Investigación médica relacionada con COVID-19: una meta-investigación y evaluación crítica”, BMC Med Res Methodol , doi: 10.1186 / s12874-020-01190-w, 2021.