por David Stuart
¿Existen nuevas formas de medir la investigación que proporcionen una imagen más realista de la comunicación académica?
Han existido grandes cambios en la comunicación académica en las últimas décadas con implicaciones significativas sobre cómo se mide.
La transformación digital de las comunicaciones no solo ha permitido una rápida expansión en la cantidad de datos que se pueden recopilar, sino que también ha habido cambios en la investigación misma.
Como señaló Jonathan Adams, científico jefe del Instituto de Información Científica (ISI), ahora hay muchos más países que publican en revistas anglófonas, han surgido nuevas revistas, nuevos campos y nuevos subcampos, y hay más colaboración internacional y un cambio hacia la Cultura de investigación norteamericana, con artículos de revistas más breves centrados en un elemento clave. Todo esto tiene implicaciones para medir la investigación.
El gran cambio, sin embargo, ha sido una ampliación de lo que la gente quiere medir. Ha habido un movimiento desde la excelencia en la investigación en términos puramente académicos, hacia el logro de la investigación también en términos más sociales y económicos.
Como dice Tony Roche, CEO de Emerald Publishing: ‘Los financiadores y los responsables políticos están poniendo más que influencia académica sobre la mesa. Quieren ver más de la investigación que una gran investigación. La gran investigación es absolutamente crítica y fundamental, pero los investigadores también deben demostrar cómo su trabajo va más allá de la academia.’
Más allá de la bibliometría y el análisis de citas
El deseo de medir el impacto de la investigación más allá de la academia es perfectamente comprensible. Los gobiernos y los contribuyentes quieren saber que el dinero se gasta sabiamente y de la mejor manera posible.
Sin embargo, como explicó Adams, el problema es que no hay buenos indicadores para medir el impacto social de forma análoga a las citas, y el plazo para el impacto es mucho más largo: “Realmente hay una escasez de indicadores apropiados, y parte de eso es la naturaleza de los propios proyectos de investigación. Cada proyecto es individual en la forma en que entrega resultados. Lo que la investigación hace convenientemente es que un académico informe a otros académicos en forma de artículos, y esos artículos, si se usan, se referencian y citan, y esa ha sido una moneda muy conveniente durante décadas.
“Muchos formuladores de políticas han asumido que se puede encontrar una moneda similar en otras áreas de actividad de investigación, pero no tenemos el historial de evaluación a través de esas otras rutas que hayan establecido una base adecuada para lo que podrían ser los indicadores. Si considera la tubería entre la investigación y sus resultados más amplios, entonces puede ser muy larga y muy variable. Cuando observamos la investigación inicial asociada con los estudios de casos de impacto informados en el REF de 2014, parte de esa investigación tenía 20 años.’
Por supuesto, eso no quiere decir que no haya habido desarrollos métricos útiles e interesantes, yendo más allá de la bibliometría tradicional, es solo que están muy lejos de proporcionar el tipo de indicadores sólidos que los gobiernos, los formuladores de políticas y las instituciones quieren cada vez más para propósitos evaluativos.
Como explicó Roche, no existe una solución única para todas estas métricas deseadas, pero debemos encontrar las métricas adecuadas para la comunidad de investigación en particular: “Los editores ahora informan sobre la velocidad de publicación, el uso del contenido, las redes sociales atención y, más recientemente, una serie de proveedores de servicios y editores están analizando las implicaciones políticas y la aceptación de la investigación.
‘Todas estas cosas son útiles, y como sector estamos apoyando a nuestros clientes, nuestros autores y nuestros investigadores con más herramientas y más servicios. El punto clave es que necesitamos trabajar muy de cerca con la propia comunidad investigadora. Se trata de crear los recursos correctos para los dominios correctos porque, a diferencia del factor de impacto, que es este tamaño único genérico para todos, muchas de estas métricas de investigación deben perfeccionarse en su dominio apropiado.
‘Desafortunadamente, no existe una fórmula simple para medir el alcance, la influencia, la movilización del conocimiento y el impacto en la sociedad. El viaje hacia el impacto es mucho más heterogéneo que algo medido por un cálculo del factor de impacto.
Todos estamos buscando el mismo tipo de solución que obtuvimos con la bibliometría, y no creo que exista. Necesitamos un enfoque mucho más matizado y sofisticado que utilice enfoques tanto cuantitativos como cualitativos. Una combinación de las medidas cuantitativas clásicas, combinadas con narraciones, narraciones sobre cómo la investigación hace ese viaje a una sociedad más amplia. Eso no se puede hacer en un número.
Expectativas irrealistas
El problema, por supuesto, no es que haya cosas que las métricas simplemente no puedan decirnos, sino que hay muchas expectativas poco realistas sobre qué métricas deberían poder mostrar y qué tan rápido se pueden encontrar las soluciones.
No es solo que los gobiernos quieran encontrar formas de mejorar el retorno socioeconómico de la inversión de la investigación financiada por los contribuyentes, sino parte de un cambio completo en el uso de métricas en la sociedad, con tablas de clasificación que prometen mostrar cómo un número cada vez mayor de diferentes comparar tipos de organizaciones. En tal entorno, la noción de que puede haber límites a lo que puede cuantificarse significativamente, o la velocidad con la que se pueden encontrar soluciones, es incomprensible.
Inevitablemente, también puede llevar a la falta de inversión y al desánimo cuando las cifras confiables no se obtienen fácilmente. Como señaló Adams: ‘Había una expectativa, o una ilusión, por parte de algunas personas que dieron tiempo y presionaron a los académicos y a otros para que se produjeran algunas respuestas listas, pero en realidad ha habido muy poca inversión seria en el desarrollo de indicadores.
‘El gobierno no está en condiciones de pensar en cómo se podrían desarrollar tales indicadores, y cómo podrían variar, y qué es realista y apropiado. Debe regresar a la propia comunidad de investigación, pero no lo harán a menos que haya un compromiso con el lado del gobierno y un diálogo sobre cómo podría funcionar esto, qué es importante y cuáles son los beneficios para la comunidad. Pero tal compromiso no existe.
‘En cambio, solo tenemos esta mano saludando desde el lado del gobierno, sobre “los académicos deberían estar haciendo algo al respecto, estamos buscando indicadores, y se espera que la gente produzca estas cosas”, pero eso no funciona. Tiene que ser un proceso mucho más comprometido antes de llegar a alguna parte con esto. Se debe reconocer que habrá diferencias, no será un simple indicador general que atrape a todos’.
Adams continuó: “La gente busca respuestas simples y rápidas, y hay un tema importante que abordar aquí sobre lo que la inversión en investigación realmente ofrece al contribuyente, y la única forma de evaluarlo adecuadamente es dedicar tiempo, esfuerzo y recursos para realmente Desarrollar una imagen adecuada del paisaje y cómo funciona. No hay una solución rápida. Los gobiernos no están en el cargo el tiempo suficiente para tomar eso en serio.
Por supuesto, tan pronto como se introduce una métrica, puede dejar de convertirse rápidamente en una métrica útil. Se necesita tiempo para ver cómo la comunidad de investigación responde a las nuevas métricas, con diferentes instituciones que tienen presupuestos muy diferentes que están disponibles para maximizar cualquier nueva métrica que pueda introducirse.
Como señaló Roche: “Si toma, por ejemplo, métricas y alcance social e influencia, el cínico podría decir que los investigadores con acceso a los mejores presupuestos de marketing pueden optimizar las posibilidades de maximizar el alcance. ¿Eso realmente habla de la influencia más amplia de la investigación, o habla de que los investigadores mejor financiados en el norte global en instituciones de investigación intensiva tienen más recursos que pueden poner a su disposición para ayudar a contar la historia?’
Pasando de números simples
Aunque indudablemente hay expectativas poco realistas, hay pasos que se pueden tomar, y se están tomando, para lograr una mejor comprensión de las comunicaciones académicas. Como ha demostrado la comunidad editorial académica en la forma en que ha respondido a los numerosos cambios en los últimos treinta años, puede responder muy bien a las necesidades de la comunidad.
Como señala Roche, si bien en este punto existen expectativas poco realistas en torno a las métricas de investigación, existe una excelente oportunidad, si el sector trabaja en conjunto, para desarrollar métricas de una manera mucho más sofisticada: “Nuestra misión es la equidad y un enfoque más justo y equitativo”. entorno para que todos los investigadores puedan participar y generar impacto, y crear cambios como resultado de su trabajo, en lugar de simplemente publicar y luego seguir adelante.
‘Creamos un manifiesto de impacto en 2018 y el hilo conductor de eso es defender alternativas a las métricas académicas tradicionales y las recompensas tradicionales. A principios de este año relanzamos este manifiesto para prometer seis nuevos compromisos para el cambio que promoverán los debates en curso sobre la cultura académica, los incentivos y la evaluación de la investigación, y para llamar a la acción en todo el sector a través de nuestro ‘¿Estás de acuerdo?’ Campaña.
‘Firmamos DORA en 2018 y apoyamos una serie de iniciativas que realmente promueven una evaluación holística justa. Iniciativas como The Hidden REF, que reconoce todos los resultados de la investigación, y el hecho de que muchas más personas contribuyen que las personas que ves enumeradas en un documento. Tenemos un programa de premios que realmente muestra y recompensa la investigación innovadora que no solo publica artículos muy citados, sino que también investiga que puede afectar un cambio positivo más allá de la academia.
‘Nuestra plataforma está diseñada para llevar mucho más que artículos de investigación, pero la comunidad investigadora sigue siendo recompensada con el artículo o el libro. Si tuvieran que utilizar activos de video para generar aceptación con grupos de partes interesadas particulares, que permitieran la aplicación y el cambio real, ahí es donde las métricas de investigación podrían volverse realmente interesantes. La tecnología es parte de esa solución, pero solo funciona si sus comunidades se comprometen con usted.
‘También estamos trabajando con otros editores. Es un ambiente competitivo, pero necesitamos trabajar juntos porque estamos sirviendo a la misma comunidad de investigación al final del día, así que si podemos ayudar a desarrollar estándares en estas áreas, eso es una victoria para todos y hará que la adopción por parte de investigadores más fácil.
A medida que se recopilan más datos y entendemos mejor las complejidades de las comunicaciones académicas, inevitablemente existe la necesidad de encontrar nuevas formas de representar esos datos y esa complejidad.
Como señala Adams: ‘Hay un cambio de mirar solo tablas de números, hacia análisis gráficos, que brindan mucha más información sobre lo que está sucediendo. La única forma de hacer que la gente aprecie la complejidad del entorno de investigación es ver una imagen que involucre múltiples indicadores de una sola vez.’
Conclusión
La ampliación de querer comprender el impacto académico de la investigación a querer comprender también el impacto socioeconómico de la investigación es bienvenida, pero si bien indudablemente tenemos acceso a más datos que nunca antes, no está claro que estemos más cerca de obtener una imagen real de las comunicaciones académicas.
Siempre existirá la tentación de reducir demasiado la complejidad del ecosistema de investigación a efectos de la formulación de políticas, las decisiones de gestión o las tablas de clasificación cada vez más ubicuas, pero no existen soluciones rápidas al problema de medir el impacto de la investigación.
Las métricas significativas deben reflejar la naturaleza complicada y diversa de la investigación, y solo surgirán cuando todas las partes trabajen juntas para descubrir qué es importante para su comunidad en particular.
Estamos muy lejos de obtener respuestas simples, pero somos cada vez más capaces de ver la complejidad del problema.
Fuente: https://www.researchinformation.info/feature/challenge-measuring-scholarly-communication
