Más allá del Factor de Impacto. Métricas tradicionales y alternativas: ¿Enemigas o complemento?

Generalidades

Los productos de investigación clínica adquieren un valor real cuando se publican y se evalúa su calidad e impacto a través del número de citas, o análisis de tendencias (3). Esa es la manera en que tales productos (artículos científicos) salen de los archivos de las revistas y empiezan a ser leídos y tenidos en cuenta para su aplicación en la práctica diaria (3,4). Para que esto ocurra es imperativa la difusión de las publicaciones y es allí cuando resulta de gran importancia la bibliometría, pues nos permite medir cuál ha sido el desempeño y la productividad de una publicación en relación con otras (4).

Los indicadores bibliométricos se clasifican en tradicionales y no tradicionales (1,2). Los primeros se basan en citas e incluyen el factor de impacto, como el Institute for Scientific Information (ISI), Scimago Journal Rank (Scimago) y H Index (Google Scholar) (1). Las no tradicionales o alternativas son aquellas métricas que se basan en la trazabilidad digital que incluyen algunos proveedores de datos como: Lagotto, Impactstory, Altmetric y Plumx (2).

Métricas tradicionales

• Factor de Impacto (FI) :                

El factor de impacto (FI) es una medida objetiva útil para poder comparar distintas publicaciones y grupos de investigación que se puede utilizar en los ambientes institucionales o de patrocinio de investigadores para definir premios académicos o inversiones financieras (3). Este es un índice que se calcula mediante el cociente del número de artículos citados de las publicaciones de una revista en un intervalo de tiempo determinado (generalmente los dos últimos años), y el número total de artículos publicados en el mismo período de tiempo (4.5). 

El Institute for Scientific Information (ISI), calcula y publica los factores de impacto de las revistas anualmente en su plataforma: www.isinet.com (4,5). Desde su aplicación se ha considerado que aquellas incluidas en esta base están dentro de las mejores del mundo (4) En la última publicación, se recopilan los índices de impacto de 15212 revistas del año 2019-2020, agrupadas en 236 categorías indexadas en el Web of Science de Clarivate Analytics (4).

En los primeros lugares se encuentran revistas como New England Journal of Medicine (FI 74.6), Nature (FI 71.8) y Lancet (FI 60.3), en el campo de la reumatología por ejemplo Nature Reviews Rheumatology (FI 16.6), Annals of Rheumatic Diseases (FI 16.102), Arthritis & Rheumatology (FI 9.5), considerandolas las revistas más influyentes y prestigiosas en sus áreas de estudio (6). El número de revistas incluidas varía cada año, teniendo en cuenta que el ingreso y la permanencia en el listado dependerá del cumplimiento de los requisitos de selección (6). 

El factor de impacto tiene limitaciones. Se sustentan en citas, que requieren un tiempo para generarse y en general refleja más el prestigio de la revista donde se publica el artículo que la calidad del mismo artículo ya que no se puede asumir que todos los artículos de una revista son de la misma calidad y representan el proceso de revisión por pares de cada revista (3,7).

Los artículos más citados son solo una pequeña fracción de los que se publican en una revista, pero contribuyen abrumadoramente al FI de las mismas y pueden afectarse por modas (Ejemplo: El tema actual de la pandemia como tema general que genera una fuente alta de citaciones) (3).  Finalmente el factor de impacto tiende a ser mayor en aquellas revistas que incluyen recomendaciones oficiales de las diferentes sociedades que las respaldan o incluyen muchas revisiones que al integrar mucha  información con frecuencia documentos citados  (3,4).

• Scimago Journal Rank

El Scimago Journal Rank es una medición que evalúa la calidad de las publicaciones científicas mediante citaciones, tomando de referencia las publicaciones en la base de datos de Scopus, desde 1996, dándole mayor importancia a aquellas provenientes de revistas de alto prestigio (8). Se calcula según las citas recibidas en un periodo de 3 años con un algoritmo que se publica a través de la plataforma: https://www.scimagojr.com/. En la figura 1 se muestra el Scimago journal rank de 2019 (8). Las principales ventajas de este método es que a través de su página web se puede evaluar y comparar de manera rápida la calidad de las fuentes de información académicas (9).

En esta se incluye el récord histórico de calificación de las revistas sin importar que en algún momento presenten un cambio de título, continuando su escalafón según la nueva denominación (10). Las principales limitaciones a considerar son originadas por un razonamiento circular, lo que significa que aquellas revistas con mayor calificación son las que reciben mayor número de citaciones que pueden estar motivadas por su prestigio (10,11). Otra desventaja para este indicador es que su status está sujeto a publicaciones constantes, y en el caso en que se suspendan estas, no podría evaluarse los siguientes períodos limitando su comparación con otras revistas (10,11).

• H index

El índice H es un sistema que evalúa la calidad de los científicos mediante el número de citas de sus productos de investigación (12). Se calcula según el valor en el que coincida el número de orden de artículos que haya publicado, con el número de citas que haya obtenido (12). En la figura 2 se muestra la forma como se calcula este indicador. Para conocer el Índice H de un científico se puede valorar mediante la plataforma de google académico ( www.scholar.google.com ) (12,13).  Como ventajas, este indicador combina el impacto de las citas con las medidas de la actividad de publicación, requiriendo más que un aumento en el número de publicaciones para lograr un buen status (13,14). Esta es una medición de rendimiento duradera y personal que no perjudica a los investigadores seniors, a pesar de suspender sus productos de investigación lo que representa una de sus mayores desventajas para jóvenes investigadores (14). Sin embargo, el índice H de un investigador se podrá ver limitado por los nombres y apellidos que utilice para ser citado en las publicaciones, porque no puede variar con el tiempo (13,14), aunque actualmente hay soluciones para evitar estos problemas como ORCID, una plataforma que permite mediante un código de identificación única vincular las publicaciones de un investigador (15). Otra de las desventajas es que el índice H no refleja la calidad de las revistas donde se ha publicado el artículo, las unidades académicas a las que pertenezcan ni el factor tiempo y favorece a los investigadores “senior”  frente a los “junior” por la acumulación de citas de sus productos académicos (14).  Como alternativa para sobrellevar algunas de sus limitaciones se propuso el h5 o h10, que se calcula bajo el mismo principio incluyendo únicamente los artículos publicados en una revista o de origen de un grupo de investigación como unidad académica en un tiempo determinado que pudiera ser de 5 a 10 años lo que podría proveer una evaluación más integral del científico, y del grupo al que pertenece en un tiempo determinado (13). Como vemos hasta este punto, cada una de las métricas tradicionales tiene un objetivo distinto a evaluar que se muestra en la figura 3.

Métricas alternativas 

Desde 2010 se han propuesto las métricas alternativas, evaluando la diseminación y el impacto de las revistas científicas en las redes sociales, mediante el número de seguidores, el número de publicaciones, videos y tweets, además de contemplar las veces que ha sido marcado como favorito o guardado (16,17). Las métricas alternativas se generan de interacciones de los usuarios con los materiales generados por científicos, que se basan en los registros en medios sociales se pueden comportar como una fuente de datos en tiempo real, manteniendo información actualizada sobre la atención en línea que recibe un artículo determinado (18-23).

Las fuentes utilizadas para la agregación o compilación de datos se pueden dividir en cinco categorías:

• Uso: vistas y descargas, desde el sitio de la revista o desde un tercero, por ejemplo, PubMed Central;

• Captura: marcadores en CiteULike, compartidos dentro de Mendeley o Delicious;

• Menciones: publicaciones de blog, artículos de Wikipedia, comentarios y reseñas;

• Redes sociales: Tweets, Google+, Me gusta, acciones y calificaciones de Facebook;

• Citas: Web of Science, Scopus, CrossRef, PubMed Central y Mendeley (24).

Mendeley cuenta con la mayor cobertura entre todos los indicadores alternativos y es el que más se correlaciona con el recuento de citas (25)

Proveedores de métricas alternativas

Hay varias empresas que se han especializado en brindar métricas alternativas desde el año 2009. Los principales servicios son:

• Lagotto ( www.lagotto.io ) fue el primer proveedor de datos alternativos y fue creado en 2009 por la editorial Public Library of Science (PLoS). Es una herramienta abierta que puede ser utilizada por cualquier editor, sin embargo solo tres editoriales (PLoS, Copernicus y Public Knowledge Project) han implementado este proveedor, lo que representa su principal limitación (2). 

• Altmetric ( www.altmetric.com ), fue lanzado en 2011, con el apoyo de la empresa Digital Science (2,20,26,27). Este indicador analiza el impacto en línea de los artículos de investigación basado en tres fuentes principales: redes sociales, medios tradicionales, tanto convencionales como específicos de la ciencia y gestores de referencias online (21,26). Posterior al análisis de los datos se genera una puntuación y se transmite a través de pequeñas visualizaciones en forma de rosquilla para una rápida comprensión, siendo mayor la puntuación, mientras más "popular" sea el artículo (19-21).  Una de sus limitaciones, es que no se tienen en cuenta publicaciones previas a julio de 2011, lo que da lugar a una puntuación inexacta (21). Altmetric ha sido adoptado por editoriales como Springer, Nature Publishing Group y Biomed Central, entre otros (24). Actualmente captura más de 60 millones de eventos y rastrea el impacto social de cerca de 9.5 millones de artículos de investigación (2). En la figura 4 se muestra un ejemplo de rosquilla de un artículo publicado.

• Impactstory ( www.impactstory.org ) fue creado en 2011 con el nombre de Totalimpact (24). Mediante Orcid y una cuenta de Twitter, esta herramienta permite la creación de un perfil con la lista de publicaciones mencionadas en la Web (2,21,24). Hasta la fecha, se han creado alrededor de 18.000 perfiles, utilizándose cada vez menos, pues no cuentan con una interfaz de programación de aplicaciones (API) pública (2). 

• PlumX ( www.plumanalytics.com ) es un panel de impacto creado en 2012 que recopila datos de una variedad amplia de fuentes y los divide en cinco categorías: uso, capturas, menciones, redes sociales y citas (21-23). Esta herramienta resume y compara el impacto no solo de investigadores individuales sino también de centros, departamentos e instituciones de investigación (21). Es la métrica que evalúa más variables, incluidas las variables de uso (es decir, vistas y descargas), por lo que se considera que es la más completa (2). En 2017, Plum Analytics fue adquirida por Elsevier y ahora rastrea la presencia en línea de cualquier artículo indexado en la base de datos de Scopus (2,21).

En la actualidad Altmetric.com se ha venido utilizando en más de la mitad de los artículos revisados ​​(54%), seguido por PlumX (17%), ganando mayor protagonismo en la comunidad académica tras su compra por la casa editorial Elsevier (2).

Métricas tradicionales y alternativas

Las medidas tradicionales como el factor de impacto permiten a las revistas mantenerse en registros como el ISI, logrando un posicionamiento en la comunidad científica, generando gran interés por parte de investigadores para enviar y publicar sus trabajos en estas. Por otra parte, las agencias y grupos que financian la investigación utilizan el factor de impacto para valorar las publicaciones de los solicitantes y dirigir los recursos disponibles. Es una manera de conocer el esfuerzo que realizan los países y grupos de investigación para realizar investigaciones (17).

La mayor ventaja que brindan las métricas alternativas sobre las métricas tradicionales es la rápida disponibilidad de una medida del impacto de un artículo en términos de la atención en línea que recibe y el debate que genera (27). Sin embargo, hay que tener en cuenta que estas informan la cantidad de atención recibida y no la naturaleza (positiva o negativa) de la atención (20). Por lo tanto, un artículo podría discutirse varias veces y alcanzar una puntuación alta, pero debido a la retroalimentación negativa (20). En la figura 5 comparamos las métricas tradicionales y alternativas.

Visibilidad de la producción científica de América Latina

La producción de revistas científicas se encuentra dominada por los países más desarrollados, por lo que vemos que países latinoamericanos se encuentran subrepresentados en la composición del ISI (28,29). Como una respuesta a la necesidad de mejorar y visibilizar las publicaciones científicas de América Latina  han surgido en la región plataformas de acceso abierto total, donde no se cobran cargos por procesamientos de artículos a los autores y las publicaciones se encuentran  disponibles libremente al público ( Acceso abierto diamante ó Diamond open access). Estas plataformas entre las cuales se encuentran Scielo y Redalyc se han posicionado como líderes a nivel global en este tipo de iniciativas dando la posibilidad de tener métricas y comparar la producción científica  en la región (30).

• Scielo

La Scientific Electronic Library Online (SciELO) ( www.scielo.org ) fue creada en 1998 con financiamiento de la Fundación de Apoyo a la Investigación del Estado de São Paulo, BIREME-Centro Latinoamericano y del Caribe de Información en Ciencias de la Salud, para potenciar la visibilidad de las publicaciones editadas en los países en desarrollo, especialmente en América Latina, con énfasis en las revistas pertenecientes a las disciplinas médicas (31). Esta plataforma organiza y publica textos completos, además de producir y publicar indicadores acerca de su uso e impacto (32). Trabaja bajo dos planteamientos: la indexación de las revistas nacionales de calidad como complemento a los índices internacionales y la publicación de los textos completos con acceso gratuito en Internet (32,33). SciELO ha sido pionero en la adopción del acceso abierto, convirtiéndose en uno de los principales proyectos de la ciencia a nivel mundial y sin duda el más importante entre los países en desarrollo (33).

Scielo brinda métricas a través de herramientas como Scielo Analytics (disponible en: https://analytics.scielo.org) que incluyen la composición de colecciones, el número de citas, los accesos por mes y año y la distribución por afiliación de autores, entre otras (31,32).

• Redalyc:

El sistema de Información Científica redalyc.org  es un programa creado en 2003 en la Universidad Autónoma del Estado de México, que inició con publicaciones desde 1969 a la fecha, vinculadas principalmente a las ciencias sociales y humanidades (31,34). A partir del 2006 incluyeron publicaciones de todas las áreas del conocimiento; dando inicio a un proyecto que ha ido adquiriendo una gran relevancia y reconocimiento (29). AmeliCA ( www.amelica.org ) fue creada en 2018, basado en lo experimentado con Redalyc (35). Esta ofrece un sistema de comunicación para las revistas latinoamericanas, con criterios de ingreso definidos (35).

Hasta este momento lo que se puede resaltar de todas las métricas es que los productos de investigación están sujetos a múltiples factores que le permiten darse a conocer (35).  Se puede ver que no hay una métrica perfecta y que a pesar del advenimiento de las alternativas existen brechas como en el caso de América Latina, donde hay mayor limitación para evaluar la calidad de los productos de investigación, pues sus revistas no tienen el mejor posicionamiento al compararlas con las de otras latitudes. Proyectos como Scielo, Redalyc y AmeliCA permiten darle un valor propio a estas, resaltando la importancia que se le da al libre acceso para permitirle mayor impacto y visibilidad (35).

Redalyc brinda métricas disponible en: https://www.redalyc.org, que incluyen: Composición de colecciones con artículos externos o con coautoría externa, tiempo entre la recepción y aceptación de manuscritos, países de autoría, decil de descarga, evolución de la procedencia de los artículos por año, entre otros (31,35).

Conclusiones

Las métricas tradicionales y alternativas le han dado un valor de impacto a los trabajos de investigación desde su implementación. Las primeras, aunque bien establecidas y aceptadas en la comunidad científica y académica, tienen varias limitaciones en el contexto actual, con las alternativas proporcionando una nueva opción atractiva para medir el impacto de la investigación. Los trabajos que muestran correlación de uso de redes sociales con las posteriores citaciones de los artículos estimulan la utilización complementaria de las mismas (36).  

Siguen pendientes por aclarar aspectos de las métricas alternativas, pues si bien se ha descrito la importancia de la difusión de los artículos en redes sociales, es incierto el valor de la atención recibida por lo que la posición y el uso de estas sigue siendo un campo en evolución. Estas deben considerarse como una ayuda complementaria y no como sustituto de las métricas tradicionales definiendo diferentes roles y propósitos para cada una, permitiendo un análisis del impacto de la investigación a corto y largo plazo.