Medición del impacto de las publicaciones científicas

Resumen

Los indicadores bibliométricos son datos estadísticos deducidos de las distintas características de las publicaciones científicas, su papel fundamental esta en la difusión y transmisión del conocimiento generado en la investigación. Son válidos cuando los resultados de la investigación se transmiten a través de publicaciones científicas y técnicas. Son muy útiles para conocer la producción científica de los investigadores, la actividad científica de un país, los autores más productivos, el envejecimiento de la ciencia, y evaluar las actividades y políticas científicas, evaluar a los académicos y a los centros universitarios, entre otros (1).
El interés por clasificar o «medir» la investigación científica no es algo reciente, una de las primeras clasificaciones fue propuesta por Gross y Gross (2) allá por 1927. Sin embargo, el criterio de medir el «impacto» de las publicaciones científicas fue planteado por Garfield (3), y publicado en la revista Science, no obstante, el criterio «impact factor», fue utilizado por primera vez para cuantificar las publicaciones en la edición de 1963 del Science Citation Index (4) (SCI). Inicialmente este índice se publicaba en un suplemento del SCI, con el nombre Journal Citation Reports (5) (JCR), y en la actualidad se ha convertido en la publicación más importante del Institute for Scientific Information (ISI). Como cualquier lector verá estamos hablando del siglo pasado que se proyecta al actual.
En la mayoría de los países para evaluar la producción y la calidad de las investigaciones científicas se recurre a índices bibliométricos. El factor de impacto y el factor de prestigio, el factor h y el SNIP, son algunos de estos índices.
El factor de impacto de las revistas es uno de los índices bibliométricos más utilizado para evaluar y comparar la producción. El factor de impacto se calcula dividiendo el número total de citas que reciben en un año los artículos publicados en una revista en los dos años anteriores entre el número de artículos publicados en esa revista en esos dos años.
El factor de prestigio, ha sido propuesto por una empresa canadiense (Factor prestige), como una alternativa al factor de impacto del ISI. Sin duda, el factor de prestigio presenta importantes ventajas como por ejemplo utilizar cuatro bases de datos: ciencias biomédicas, tecnológicas, agro-geoambientales y sociales. En estas bases se recogen más de seis mil revistas que se clasifican en 859 categorías, mientras que el ISI utiliza 212 categorías.
El uso de estas cuatro bases de datos permite una comparación más racional de las revistas, pues se compara cada revista con otras relacionadas en la misma área. Otro aspecto importante que presenta el factor de prestigio es que para calcularlo no se incluyen las citas procedentes de los artículos de revisiones. Se ha estimado que las revisiones a su vez reciben tres veces más citas que un artículo original. El factor de prestigio se calcula dividiendo el número total de citas que reciben en un año los artículos originales publicados en una revista en el mismo año y en los dos años anteriores entre el número de artículos originales publicados en esa revista en esos tres años (cuando se trata de revistas biomédicas se tienen en cuenta otras dos variables: artículos clínicos o artículos básicos). Los resultados son convertidos mediante un algoritmo en una escala con rango de 0 a 1.000.
Éstos y otros métodos, se usan de forma indiscriminada para evaluar investigadores, centros de investigación, universidades, países, etc. De forma directa o indirecta todos estos índices se basan en el número de citas
No habría ningún problema si los índices bibliométricos se usaran realmente como lo que son, es decir, indicadores del nivel de difusión entre la comunidad científica. El problema aparece cuando estos factores son utilizados como índices de calidad, y en función de ello se considera que un artículo tiene calidad en función del «impacto» o «prestigio» que tiene la revista en la que fue publicado. Este criterio está siendo cada vez más cuestionado. Para Pelechano (6) es confundir la ciencia con la sociología de la ciencia y critica que lo que comenzó siendo una determinada y muy específica manera de entender el «impacto» de las publicaciones científicas (sin leerlas) terminó siendo la manera de valorar las aportaciones científicas.
De manera similar, Sternberg (2001) (7) dice que hay que diferenciar entre lo que se publica y donde se publica, no todo lo que se publica en una misma revista tiene la misma calidad. La correlación entre el «impacto» de un artículo y el «impacto» de la revista en la que fue publicado está muy lejos de ser perfecta. Buela-Casal (8), concluye que el «impacto» de una revista no es un índice de calidad de la profesión o de la relevancia social o de la implementación que suponen las investigaciones publicadas en esa revista.
Otra herramienta es el “índice h" de Hirsch, sistema de medida que permite detectar a los investigadores más destacados dentro de un área de conocimiento, y que fue propuesto por Jorge Hirsch de la Universidad de California a mediados del 2005. Su cálculo es sencillo, consiste en ordenar los documentos de un investigador en orden descendente de número de citas recibidas, numerarlas e identificar el punto en el que el número de orden coincida con el de citas recibidas por documento (9) .
Por último, el SNIP “Source Normalized Impact per Paper” mide el impacto de las citaciones por el peso de las mismas basados en número total de ellas en el área.
Las reflexiones críticas sobre los actuales sistemas de evaluación de la investigación, de los artículos y de las revistas científicas son más frecuentes cada día y desde múltiples perspectivas: desde el punto de vista de la experiencia de los directores, editores de revista, de los revisores, investigadores, en relación al sistema de producción científica de los investigadores, analizando los criterios para evaluar la calidad universitaria, en relación a los fundamentos científicos, en función del idioma y del lugar de edición de la revista en la que se publica, reflexionando sobre las diferencias entre la cantidad y la calidad, del factor de impacto y del factor de prestigio para evaluar la calidad de la investigación, y sobre las limitaciones de los indicadores bibliométricos, etc.
Los distintos índices bibliométricos como factor de impacto, factor de prestigio, factor de impacto equivalente, índice de Hirsch u otros, pueden ser manipulados de forma intencionada o no por medio de un incremento «artificial» del número de citas. Buela-Casal (10), ha descrito diversos procedimientos que se pueden usar para aumentar las citas y que ha denominado como «Los Diez Mandamientos para incrementar las citas» (véase cuadro)

Los diez mandamientos para incrementar las citas

1. Incrementar la difusión de la revista.
2. Incluir la revista en el mayor número posible de bases de datos.
3. Publicar artículos polémicos.
4. Publicar revisiones.
5. Publicar en idioma inglés.
6. Publicar artículos sobre temas de actualidad.
7. Publicar artículos de autores muy citados.
8. Establecer acuerdos con medios de comunicación.
9. Recomendar que se citen trabajos publicados en la misma revista.
10. Facilitar el acceso a los artículos por internet

Fuente: Buela-Casal (2002)

Otro aspecto importante que se suele aceptar y que ahora también es ampliamente cuestionado, es el sistema de evaluación de los artículos científicos, lo que se conoce como la evaluación «por iguales», o por pares. No abundaré en el análisis de este factor ya que todos los que alguna vez publicamos tuvimos alguna experiencia critica donde hasta el centralismo de nuestro país influye.
Por último, un aspecto muy importante a considerar en relación al futuro de las revistas en castellano, es que éstas, no deben ser evaluadas por medio del factor de impacto, al menos según se hace actualmente en el Institute for Scientific Information. Este sistema de evaluación de revistas está muy sesgado con respecto al idioma de publicación. Un buen ejemplo es el hecho de que sea obligatorio que el título de los artículos, las palabras clave y el resumen sean obligatoriamente en inglés, sea cual sea el idioma en el que se edita la revista; y esto es uno de los requisitos para estar en el JCR. Otro ejemplo es el sesgo que generan algunos revisores cuando revisan un artículo escrito en inglés y critican que algunas de las referencias están en otro idioma (y esto no es un fenómeno aislado) (11).
En fin, como todos los colegas observan mucho trabajo nos queda por delante, tenemos en nuestras manos un producto del cual estamos orgullosos, nuestra Revista Científica de la Asociación Médica, indexada, que todos ya pueden disfrutar en nuestra nueva página Web, que se ofrece como medio de publicación y camino para nuestros médicos asociados, para todo el ámbito universitario, y que proyectamos ser cada vez más efectivos en dar a conocerlo, a Uds. Señores. Lectores les pedimos que investiguen, y publiquen, que es una de las mejores maneras de crecer y hacer docencia.