Los organizadores de la Semana de Revisión por Pares 2024 informan de una respuesta “notable” a la encuesta comunitaria, escriben Maria Machado y Anne T Stone
por María Machado y Anne T Stone
- Liderando el cambio y acelerando la innovación en el sector editorial
- ¿Cómo se puede mejorar la experiencia del proceso de revisión por pares?
- Actitudes de los investigadores sobre el uso ético de la IA
- ¿Cómo se utiliza la IA en la revisión por pares?
- Desarrollo de directrices para el uso ético de la IA
- Referencias
La Semana de Revisión por Pares (PRW) 2024 con el tema “Innovación y tecnología en la revisión por pares” está a solo unas semanas de distancia.
Confiamos en haber seleccionado el tema en función de la respuesta de la comunidad a nuestra encuesta, pero no anticipamos el ritmo del cambio. Es notable. También hubo un gran interés en la ética y en IDEA (Inclusión, Diversidad, Equidad y Accesibilidad). Esperamos ver qué comparten las organizaciones sobre sus esfuerzos por innovar en septiembre.
¿Es usted un defensor del cambio o siente que la innovación es tarea de otra persona en su lugar de trabajo? Todos pueden cultivar una mentalidad innovadora para sí mismos y para su organización. Siga leyendo para conocer las perspectivas y los avances del sector en 2024 en materia de innovación y gestión del cambio, las actitudes de los investigadores sobre la revisión por pares y el uso ético de la IA en la investigación y la comunicación académica.
Liderando el cambio y acelerando la innovación en el sector editorial
En la Feria del Libro de Londres celebrada en marzo, Charlotte Talmage, experta en cambios en la industria , reunió a un panel de tres líderes editoriales para abordar estrategias de gestión del cambio. Talmage abordó temas como la adopción de la adaptabilidad, el empoderamiento de los empleados como propietarios del cambio y el fortalecimiento de la alineación interna mediante una comunicación clara y una toma de decisiones colaborativa. Los panelistas ofrecieron nueve conclusiones clave para líderes e individuos.
Antonia Seymour, del Institute of Physics Publishing, dijo a la audiencia: “Crear conciencia sobre las fortalezas individuales y colectivas fomenta la adaptabilidad necesaria para responder con agilidad a medida que evolucionan las condiciones. Celebremos los pequeños éxitos a lo largo del camino”.
Soren Kaplan, de la Escuela de Negocios Marshall de la USC, reflejó recientemente esta idea en un artículo de Harvard Business Review: ofrecer tres pasos para desarrollar una mentalidad innovadora : abrazar la curiosidad, fomentar el aprendizaje continuo y alentar la colaboración abierta.
¿Cómo se puede mejorar la experiencia del proceso de revisión por pares?
Las organizaciones priorizan las áreas de innovación y cambio en las que ven oportunidades. El informe State of peer review 2024 de IOP Publishing ofrece información de la comunidad de ciencias físicas sobre las oportunidades para mejorar la revisión por pares. Las tres principales necesidades de innovación e iniciativas para mejorar “significativamente” o “abrumadoramente” la experiencia de los encuestados en el proceso de revisión por pares fueron:
- Mejoras en los sistemas de envío de manuscritos y reseñas en línea;
- Mayor reconocimiento y comunicación entre autores, revisores y editores respecto a la retroalimentación sobre la calidad de los informes y la influencia en las decisiones editoriales; y
- Una formación en revisión por pares mejor y más accesible.
Impulsada por el creciente volumen de envíos y las demandas de publicaciones rápidas, la adaptación de los sistemas de envío y revisión por pares ha sido una constante desde que se lanzaron E-Journal Press, ScholarOne y Aries Editorial Manager a principios de este siglo.
La IA ya forma parte de muchas soluciones que utilizan los editores y los proveedores de tecnología. Por ejemplo, iThenticate, que se lanzó en 2011, utiliza grandes modelos de lenguaje para detectar plagio y está ampliamente integrada en flujos de trabajo y plataformas. En la conferencia anual de la Society for Scholarly Publishing (SSP) en mayo, los proveedores de tecnología y los editores presentaron nuevos productos y mejoras centrados en la experiencia del autor, desde la escritura y el envío hasta la revisión y publicación. Varias herramientas utilizan la IA para evaluar y mejorar la calidad de los envíos, al tiempo que abordan la velocidad y la facilidad. Es posible que los revisores pares y los autores no sepan cuándo y cómo se utilizan estas herramientas. Garantizar que la capacitación y las pautas se actualicen a medida que evoluciona el uso de la tecnología es esencial para cumplir con los compromisos de transparencia.
A medida que disminuyan los rechazos de los artículos, habrá más presión sobre los editores para encontrar revisores pares calificados más rápido, y existen nuevas soluciones de inteligencia artificial para abordar este problema. El uso de inteligencia artificial para detectar indicadores de mala conducta antes de enviar un artículo puede ahorrar tiempo y mitigar los riesgos, pero surgen preocupaciones sobre los falsos positivos y las consideraciones éticas. Es necesario considerar los principios de transparencia y equidad y actualizar las políticas sobre denuncia de mala conducta.
El año pasado, la NISO publicó la Terminología estándar para la revisión por pares con el fin de fomentar normas para la comunicación sobre la revisión por pares. La NISO alienta a los editores a actualizar las guías para autores y revisores para incluir información sobre las herramientas técnicas utilizadas en el proceso editorial. Y, en junio, EASE lanzó una herramienta de evaluación de la calidad de la revisión por pares que puede ayudar a dar forma a la comunicación y los ciclos de retroalimentación entre revisores y editores.
Actitudes de los investigadores sobre el uso ético de la IA
Cuando OpenAI lanzó ChatGPT en noviembre de 2022, lo hizo como una “vista previa de investigación disponible de forma gratuita”. OpenAI alguna vez fue una empresa sin fines de lucro que publicaba sus proyectos y códigos al público, pero como producto comercial, ChatGPT no es de código abierto. La naturaleza de caja negra de las herramientas de IA generativa y la falta de transparencia en relación con los datos que entrenan estas herramientas siguen siendo problemáticas.
Elsevier encuestó a 2284 investigadores y 1007 médicos entre diciembre de 2023 y febrero de 2024 para elaborar Insights 2024: Attitudes toward AI (Perspectivas 2024: Actitudes hacia la IA ). La gran mayoría (85 %) tenía inquietudes sobre las implicaciones éticas de la IA en su área de trabajo, y el 40 % de ellos (n=2561) creía que “la falta de regulación o gobernanza” era una desventaja.
Sin embargo, la principal desventaja de la IA surgió como su incapacidad para reemplazar la creatividad, el juicio y/o la empatía humanos, mientras que las preocupaciones por la confidencialidad ocuparon un lugar mucho menor.
Durante la conferencia SSP en mayo, Abhi Arun, director ejecutivo de TNQTech , reflexionó sobre la naturaleza de la investigación : “El nuevo conocimiento requiere un pensamiento divergente, que es esencial para la investigación. La IA influirá en el proceso de investigación, incluida la forma en que se lleva a cabo y se comunica. Una danza equilibrada y coordinada entre las capacidades de procesamiento de la IA y la intuición humana conducirá a nuevas perspectivas, acelerando la investigación y nuevas formas de conocimiento.
“Un riesgo potencial es la excesiva dependencia de las soluciones de la inteligencia artificial, que pueden restringir la creación de nuevos conocimientos. La innovación y el pensamiento divergente van de la mano. Si bien la inteligencia artificial ha demostrado un gran potencial para sugerir ideas y patrones que los humanos podrían no reconocer de inmediato (como lo demuestra el proyecto AlphaFold de Google DeepMind), la verdadera divergencia es un valor exclusivamente humano que la inteligencia artificial no puede reemplazar”.
¿Cómo se utiliza la IA en la revisión por pares?
¿Podría la revisión por pares aumentada por IA propagar los sesgos existentes? Esta parece ser su característica inherente, incluso cuando se entrena con datos seleccionados[1]. Sin embargo, la velocidad del proceso podría acelerarse con la ayuda de herramientas que ayuden a los editores abrumados con envíos de baja calidad.
Esto es lo que nos cuenta Chris Leonard, director de Estrategia e Innovación de Cactus Communications, quien es la mente detrás de Scalene, un boletín informativo sobre la intersección de la revisión por pares, la IA y los seres humanos. Chris cree que estamos muy lejos de los informes de revisión por pares generados por IA. El debate sobre si trasladar el proceso de revisión por pares a la etapa previa al envío de los artículos ha estado latente, y muchos defienden que el papel del revisor por pares no se ha ampliado tanto, sino que definitivamente se ha modificado. Siempre se deben reconocer las tecnologías en evolución que ahora están disponibles para ayudar a los revisores humanos con su trabajo de interpretación de nuevos conocimientos científicos.
Aunque ahora parezca poco probable, el uso potencial de informes de pares generados por IA merece consideración. Chhavi Chauhan, Director de Difusión Científica de la Sociedad Estadounidense de Patología Investigativa, y George Currie, Gerente de Contenido de eLife, concluyen: “Es una cuestión de cuándo, en lugar de si, veremos una revista adoptar Gen AI como un revisor “pares”, ya sea además de las revisiones humanas o como un reemplazo” en su comentario reciente [2]. Consideran dos estudios a gran escala que muestran que los modelos de IA califican los manuscritos de manera similar a los revisores humanos, y la mayoría calificó la retroalimentación de Gen AI como más beneficiosa que algunas revisiones humanas . Las ventajas de Gen AI en una etapa temprana de la preparación del manuscrito, los flujos de trabajo editoriales acelerados, la evaluación comparativa de la calidad de los informes de los revisores y la posibilidad de Gen AI como un tercer o cuarto revisor son todas oportunidades para explorar. Reconociendo los riesgos reales de exacerbar las desigualdades existentes y crear nuevas barreras, instan a todas las partes interesadas a desarrollar políticas claras para permitir el uso responsable de Gen AI en la revisión por pares.
Desarrollo de directrices para el uso ético de la IA
Los Institutos Nacionales de Salud de Estados Unidos prohíben el uso de tecnologías de IA generativa para las revisiones por pares de subvenciones y han actualizado los acuerdos de seguridad, confidencialidad y no divulgación para los revisores por pares. En el evento Charleston in Between, Mohammad Hosseini presentó “Por qué es importante la integridad en la investigación y la publicación” (grabado), en el que se analizan varios problemas a los que se enfrentan los científicos que utilizan IA en el contexto de las normas éticas de la ciencia. Resnick y Hosseini [3] proponen nueve recomendaciones para el uso ético de la IA en la investigación en el contexto de las normas éticas de la investigación para cerrar las brechas en las políticas y directrices para la conducta responsable de la investigación y la publicación.
En el ámbito editorial, Springer Nature identificó cinco principios y Elsevier comparte sus principios de IA responsable . Los temas comunes que surgen son principalmente la equidad y la transparencia. Las políticas, los procesos y la tecnología deben abordar normas de rendición de cuentas, objetividad y responsabilidad social, junto con requisitos legales, de rigor y de reproducibilidad.
Cactus, proveedor de servicios y soluciones tecnológicas para investigadores y editores, compartió la versión 1.0 de su política de IA generativa para autónomos a finales de julio. En ella se afirma que “ el uso no regulado de la IA por parte de autónomos y contratistas individuales está prohibido, para garantizar la alineación con las expectativas de los clientes (…) También ayuda a prevenir posibles problemas de incumplimiento que podrían surgir de un uso no regulado”. El énfasis en la búsqueda de la alineación de políticas en todo el ecosistema de investigación es oportuno y urgente.
En mayo de 2023, el ICMJE revisó sus directrices para indicar cómo se debe reconocer la investigación realizada con la ayuda de la IA y que los revisores no deben subir manuscritos a plataformas que no puedan garantizar la confidencialidad. Debido a que la opacidad de los sistemas de IA es problemática, las organizaciones pueden optar por endurecer las regulaciones.
En Cactus, este tipo de tecnología se ha trasladado a los autores con Paperpal , desarrollado sobre literatura de acceso abierto y revisada por pares, y que promueve la escritura responsable con herramientas de IA. En particular, Shilpi Mehra (directora asociada, Servicios de apoyo a la publicación, Cactus) dijo que, para los artículos de ciencias biomédicas, cuya estructura es más prescriptiva debido a su cumplimiento obligatorio con listas de verificación y pautas, los procesos informados por IA podrían filtrar referencias que son demasiado antiguas, citas de artículos retractados, autocitas excesivas e incluso URL no válidas. Tal vez usar esto con la lista de verificación REAPPRAISED [4] sería una buena oportunidad para probar la escalabilidad de estas herramientas. Sin embargo, el razonamiento característico de la revisión por pares (la evaluación del contexto y la novedad) sigue siendo completamente humano.
A medida que el Comité de Revisión por Pares de EASE busca aportes para su borrador de conjunto de herramientas ‘Recomendaciones sobre el uso de IA en las comunicaciones académicas’ antes del 15 de septiembre de 2024, claramente existe una necesidad creciente de encontrar formas para la rápida difusión de la evaluación de la revisión por pares, para mejorar la comunicación, para promover la ética de la publicación y la integridad de la investigación, al tiempo que se garantiza una gobernanza reconocida y el desarrollo de herramientas para mitigar los riesgos.
¡Esperamos aprender cómo nuestra comunidad está abordando estos problemas durante #PRW2024!
Maria Machado es actualmente copresidenta de Peer Review Week. Anne Stone es consultora de marketing en Stone Strategic Marketing Services.
Referencias
[1] Hosseini, M., Horbach, SPJM ¿Combatir la fatiga del revisor o amplificar el sesgo? Consideraciones y recomendaciones para el uso de ChatGPT y otros modelos de lenguaje de gran tamaño en la revisión por pares académica. Res Integr Peer Rev 8, 4 (2023). https://doi.org/10.1186/s41073-023-00133-5 [2] Chauhan, C., Currie, G. El impacto de la inteligencia artificial generativa en la revisión externa de manuscritos científicos y los procesos de revisión editorial por pares. Am J Pathol., artículo en prensa (2024); https://doi.org/10.1016/j.ajpath.2024.08.002 [3] Resnik, DB, Hosseini, M. La ética del uso de la inteligencia artificial en la investigación científica: se necesitan nuevas orientaciones para una nueva herramienta. Ética de la IA (2024). https://doi.org/10.1007/s43681-024-00493-8 [4] Gray, A., Bolland, MJ Avenell, A., Klein, Andrew A., Gunsalus, CK Verificar la integridad de la publicación antes de cometer una infracción. Nature 577, 167-169 (2020). https://www.nature.com/articles/d41586-019-03959-6Fuente: https://www.researchinformation.info/analysis-opinion/innovation-technology-and-pace-change