Tasha Mellins-Cohen describe las mejores prácticas de COUNTER Metrics para las métricas de uso asociadas con la IA generativa y agencial
Durante más de dos décadas, el Código de Buenas Prácticas de COUNTER ha servido como estándar global para medir y reportar métricas normalizadas de uso de contenido. Sin embargo, el rápido auge de la inteligencia artificial (IA) generativa y con agentes está transformando radicalmente la forma en que los investigadores descubren y consumen información.
El cambio de datos
Las métricas de participación tradicionales están experimentando un cambio estructural. Los motores de respuesta y las herramientas de resumen con IA pueden extraer información valiosa de investigaciones revisadas por pares sin necesidad de que el usuario visite el sitio web de la editorial. Esto genera una brecha de valor: el contenido publicado aporta un valor significativo al investigador, su institución y su financiador, pero no genera visitas al sitio web de la editorial.
No fue hasta que las bibliotecas de todo el mundo comenzaron a recopilar sus informes COUNTER de 2025 que tuvimos pruebas sólidas del enigma de los cero clics. Al comparar 2025 con 2024, las bibliotecas comenzaron a reportar cambios importantes en los patrones de uso. Al mismo tiempo que las editoriales reportaban aumentos significativos en el uso bruto, tanto ellas como sus bibliotecas usuarias observaban una disminución notable en el uso humano en los informes COUNTER.
En lugar de una interacción humana orgánica, inicialmente pensamos que los picos en los datos de uso bruto podrían indicar actividad de agentes, ya sea de herramientas propias de las editoriales, sistemas de terceros o incluso agentes personalizados creados por los investigadores. Una investigación posterior respalda esta suposición. Las bibliotecas que licenciaron herramientas de IA, como (¡pero no limitadas a!) Research Assistant de ProQuest o Gemini de Google, parecían experimentar mayores caídas en el uso de COUNTER que las bibliotecas que aún animaban a estudiantes y profesores a utilizar directamente su contenido licenciado.
¿Seguimos necesitando métricas normalizadas?
La misión de COUNTER es reunir a la comunidad del conocimiento en torno a un estándar que garantice que las métricas de uso sean consistentes, creíbles y comparables entre plataformas. Como estándar abierto, somos signatarios de los Principios de Infraestructura Académica Abierta . Esto significa que, si ya no somos necesarios, tomaremos las medidas necesarias para la transición o el cese de nuestras operaciones.
En el contexto de los cambios de comportamiento impulsados por la IA, debíamos preguntarnos si COUNTER seguía siendo útil. ¿Nos necesitan las bibliotecas, los consorcios, las editoriales y los proveedores de tecnología en un entorno sin clics? La respuesta fue un rotundo SÍ. De hecho, en nuestro nuevo mundo de IA, existe una necesidad aún mayor de métricas normalizadas.
¿Las editoriales venden contenido o servicios? ¿A quién se los venden? ¿Debería una biblioteca invertir en contenido cuando su uso está mediado por un agente de IA en lugar de una visita humana directa? ¿Deberían las bibliotecas redirigir sus inversiones hacia servicios de IA? ¿Cuál es el retorno de la inversión en esos casos? ¿Cómo podemos asegurarnos de comparar de forma justa el uso de la IA en diferentes servicios y plataformas? ¿Cómo podemos evitar que el uso de la IA invada la actividad humana tradicional, haciendo imposible distinguir la participación genuina en la investigación del procesamiento automatizado? Y, por supuesto, ¿cómo podemos proteger la libertad académica para investigar separando el comportamiento de los usuarios de los informes de uso?
Resulta que COUNTER podría ser más necesario que nunca. Pero para abordar estas nuevas cuestiones, tuvimos que revisar el Código de Buenas Prácticas y sus métricas de uso tradicionales centradas en el ser humano.
Elaboración de directrices para el uso de la IA
La versión 5.1 del Código de Buenas Prácticas de COUNTER, que entró en vigor en enero de 2025, fue aprobada para su publicación a finales de noviembre de 2022, apenas unas semanas antes del lanzamiento de ChatGPT. No podíamos predecir el alcance de sus repercusiones en el sector de la comunicación académica, ni cómo se medirían, así que procedimos con la versión 5.1 según lo previsto.
Para la primavera de 2025, la mayoría de las editoriales habían implementado el Código actualizado, y era el momento de abordar el tema del uso de la IA. Nuestro Comité Asesor creó un grupo de trabajo para desarrollar directrices de buenas prácticas, con representantes de editoriales, proveedores de tecnología y bibliotecas.
Tras una amplia consulta con la comunidad sobre el borrador, incluyendo a importantes desarrolladores de IA, COUNTER publicó nuevas directrices de buenas prácticas sobre el uso de la IA generativa y agente en abril de 2026. Puede consultarlas íntegramente en « Medidas de buenas prácticas sobre el uso de la IA generativa y agente».
La práctica recomendada introduce varias extensiones clave al Código, centradas en dos áreas.
- Definición del “agente”
Históricamente, hemos tratado a todos los bots de la misma manera y exigido que su uso se excluya de los informes de COUNTER. Esto significaba que nuestro primer paso debía ser distinguir entre bots maliciosos y rastreadores (¡que también deben excluirse!), personas reales, minería de texto y datos, y sistemas de IA. Según nuestras nuevas directrices, el uso de IA puede y debe informarse mediante el nuevo método de acceso “Agente”. Esto permite que los informes separen el uso por IA del uso humano habitual y de la actividad de minería de texto y datos (“TDM”).
- Tipos de métricas de IA específicas
Para disipar los temores, totalmente válidos, de que el uso de la IA pudiera saturar o distorsionar los patrones de uso, introdujimos métricas de IA independientes. Estas nuevas métricas reflejan la idea de que las herramientas de IA utilizan fragmentos de texto (cadenas de 100 a 300 palabras) en lugar de elementos completos (artículos de revistas, por ejemplo). Sin embargo, hemos mantenido la distinción entre el acceso únicamente a los metadatos y el mayor valor que se puede obtener del contenido de texto completo.
Así como las Investigaciones de elementos totales y únicos registran el uso humano de los metadatos que describen un contenido, las Investigaciones de IA totales y únicas contabilizan el uso de fragmentos de metadatos por parte de la IA. Y mientras que las Solicitudes de elementos totales y únicas registran el uso humano del contenido de texto completo, las Solicitudes de IA totales y únicas contabilizan cuando una herramienta de IA está autorizada a utilizar el texto completo de un contenido.
También creamos una nueva métrica, “Respuestas generadas por IA”, para realizar un seguimiento del número de veces que una herramienta de IA devuelve texto en respuesta a una solicitud del usuario. En esencia, es una variante de IA de la métrica existente “Plataforma de búsquedas”.
Mirando hacia adelante
Si bien nos complace haber publicado las mejores prácticas, el trabajo no termina aquí. Hay algunas advertencias que debe tener en cuenta:
- Desconocemos la rapidez con la que las editoriales podrán implementar las nuevas métricas, aunque es poco probable que lo hagan antes de finales de 2026. Si eres bibliotecario y buscas métricas de uso de IA para adaptarte al cambio en el manejo de datos, ¡tendrás que ser paciente!
- Es muy probable que, a medida que las editoriales implementen las directrices, descubramos errores cometidos. Una de las razones para crear una guía de buenas prácticas, en lugar de publicar directamente una nueva versión del Código de Buenas Prácticas, es que esta guía permite realizar modificaciones con mayor flexibilidad que el propio Código.
- Estas directrices iniciales se aplican principalmente a las herramientas de IA integradas en las plataformas de los editores. Si busca métricas de uso de terceros como Google Gemini, por el momento no podemos ayudarle.
Sí, ¡el trabajo continúa! La segunda fase se centrará en herramientas externas y de terceros, y hemos recibido excelentes comentarios y una gran participación de desarrolladores de IA académica como Scite y Consensus, así como de intermediarios como Cashmere. Gracias a las directrices de IA existentes y a nuestras mejores prácticas sobre el uso sindicado, creemos que podemos desarrollar mecanismos prácticos de generación de informes para estos nuevos actores en la comunicación académica. Esperamos que sean un poco más rápidos que los de la primera fase.
Nos encantaría saber de personas que trabajan en el uso de la IA. Si eres bibliotecario/a, editor/a o un/a apasionado/a de la tecnología, ponte en contacto con nosotros .
Tasha Mellins-Cohen es Directora Ejecutiva de COUNTER Metrics.
Fuente: https://www.researchinformation.info/analysis-opinion/measuring-usage-in-the-age-of-ai/