Medline no es una fuente fiable de análisis bibliométricos

23 diciembre, 2010

Por Carlos B. Amat y Alfredo Yegros-Yegros  en Notas ThinkEPI 2011

5 comentarios

Introducción

LA BIBLIOMETRÍA, especialmente en las últimas décadas, se ha convertido en una herramienta habitual para el análisis de la actividad científica y el desarrollo técnico.

Además de una bibliometría básica, eminentemente metodológica, y de la bibliometría de evaluación, que se aplica a la gestión y la política científicas, la bibliometría temática rinde excelentes frutos en la caracterización de líneas y frentes de investigación y de trayectorias tecnológicas.

El esquema básico de un análisis bibliométrico pasa por la selección de la base de datos a emplear como fuente, la recuperación de los registros que cumplen determinados requisitos y el análisis cuantitativo de las variables que se desea estudiar. La selección de la base de datos está basada en el tema a investigar, el ámbito geográfico y la forma en que cada base de datos estructura los registros bibliográficos que contiene.

El hecho de que una base de datos constituya referencia obligada y fuente de información imprescindible en un campo de actividad científica no la convierte en una fuente bibliométrica fiable. Esta nota tiene por objetivo presentar algunos ejemplos de dicha falta de fiabilidad. Sobre esas ilustraciones, propone que se alcance un consenso que establezca una metodología sólida para el análisis de la actividad científica a través de sus publicaciones.

Un ejemplo de peso

Recientemente se ha publicado el penúltimo de una serie de trabajos bibliométricos sobre algunos aspectos de la investigación médica española. Se ha elegido la base de datosMedline como fuente para el estudio de la producción científica española sobre la obesidad. Como único requisito, los registros debían contener el descriptor “Obesity”. Al extender la búsqueda al periodo 1988-2007, estos autores recuperan 58.325 documentos y, de los 50.120 con datos de filiación institucional, pasan a analizar los 1.407 trabajos identificados como españoles (Vioque et al., 2010).

Cuando se recuperan conjuntos de trabajos para su posterior análisis bibliométrico se emplean perfiles guiados por tres criterios: el tema, las características de sus autores (que incluyen desde su perfil disciplinario a su adscripción institucional y geográfica) o el medio en que se han publicado, además de otros como plazos temporales. Los autores mencionados han empleado sólo un perfil temático y eso no es suficiente.

Por ejemplo, no han recuperado el original “In vivo effects of CGP-12177 on the expression of leptin and uncoupling protein genes in mouse brown and white adipose tissues” (PMID 10805498), porque no ha sido indizado por los términos mencionados aunque apareció en el International journal of obesity. Y, sin embargo, es relevante y se debe contabilizar, al igual que los demás trabajos de grupos españoles publicados en las revistas especializadas en la investigación de la obesidad, que marcan un espacio cognitivo, un “medio” especializado.

En cuanto al perfil de los grupos de autores, muchos de los trabajos del CIBER-OBNpueden parecer ajenos a la temática que mencionamos.

Sin embargo, son trabajos de los 27 grupos que integran el Centro de Investigación Biomédica en Red de Fisiopatología de la Obesidad y Nutrición. Colectivamente, estos grupos españoles publicaron 351 trabajos de investigación en 2007. Vioque y colaboradores contabilizan ese mismo año sólo 213 publicaciones para toda España (figura 1, pág. 227). Pero el problema de éste y bastantes trabajos bibliométricos más no es la formulación de las estrategias de recuperación. El problema es la elección de la fuente, en esta caso Medline, para la selección de los registros.

Las limitaciones de Medline

Los trabajos de investigación son obra de diversos grupos, pero Medline incluye en la inmensa mayoría de sus registros sólo la afiliación del primer firmante y en determinados periodos ni siquiera ha incorporado a sus registros todos los autores de cada trabajo (Bibliographic Services Division, 2010).

En 1990 se publicaron 4.856 trabajos de investigación biomédica con participación de grupos españoles. El dato, de elaboración propia, procede del Web of Science (WOS) y se limita a los artículos originales, las revisiones y las cartas. La cifra de Medline para ese mismo año es más modesta: 2.915 publicaciones.

En aquellos 4.856 originales, revisiones y cartas, participaba una media de 0,19 instituciones extranjeras. En 2007, el último año del periodo de estudio de Ramos y colaboradores, el promedio se ha elevado a 1,12 instituciones extranjeras participantes en 16.120 trabajos españoles de investigación biomédica. Medline incluye ese año 15.728 trabajos españoles, es decir, trabajos cuyo primer firmante está afiliado a un centro español. Pero los colaboradores españoles no siempre son los primeros en el orden de firma (Jiménez-Contreras et al., 2010). Para averiguar en qué orden se mencionan las instituciones españolas en los trabajos contamos con otro ejemplo.

Ciberer, otro de los centros de investigación en red, está constituido por 61 grupos españoles de investigación de enfermedades raras. Venimos realizando un seguimiento bibliométrico de la producción científica de esos grupos con datos a partir de 2000 y algunos de los resultados obtenidos son relevantes para esta nota.

En el periodo 2007-2009 (la fuente también es WOS) los grupos integrados en Cibererhan publicado un total de 1.570 trabajos; 1.175 de ellos son originales, revisiones o cartas. El número de afiliaciones institucionales es de 4.279 y la cuarta parte (en número, 1.208) corresponden a instituciones españolas. Pues bien, sólo en el 16,68% de los trabajos la institución del primer firmante es española. El 83% restante cuenta con participación de las instituciones españolas integradas en Ciberer, pero no se podrían localizar puesto que estas instituciones no figuran en el campo correspondiente de Medline. En el marco de estudios sobre la producción científica en biomedicina de alguna región española, la pérdida ha llegado a calcularse en una tercera parte de los trabajos (Costas, Moreno yBordons, 2008).

El recurso a Medline para la selección de trabajos luego sometidos a análisis bibliométricos hace tiempo que se convirtió en rutina. La tabla 1 lista el año de publicación, el tema, la cobertura temporal y el identificador de algunos análisis bibliométricos de la investigación española que toman Medline como fuente de selección de los registros. No son los únicos: grupos tan solventes como el de Sanz-Casado han seguido sorprendentemente la misma práctica (Lascurain-Sánchez et al., 2008). Pero el uso de las bases de datos que sólo proporcionan la dirección para correspondencia o una afiliación está explícitamente desaconsejado en bibliometría (Glänzel, 1996).

Tabla 1. Algunos análisis bibliométricos de la investigación española que tomanMedline como fuente de selección de los registros

Medline no incluye las filiaciones institucionales de todos los autores de cada trabajo; no lista las referencias bibliográficas de cada trabajo ni permite relacionar unos trabajos con otros a través de su relación de cita directa, y no informa de la popularidad de los trabajos, expresada mediante el recuento del número de citas que reciben. En otras palabras:Medline no es una base de datos bibliométrica, por mucho que se haya defendido su utilidad (Pestaña, 1997).

El resultado invariable de su empleo en los trabajos de la tabla 1 y en otros es una representación disminuida de la participación o contribución de grupos españoles en líneas o a temas de investigación biomédica. Por supuesto, la distribución de las publicaciones por países (Vioque et al., 2010a ; Vioque et al., 2010b) o el estudio de la colaboración institucional vendrá lastrada por inexactitudes inadmisibles.

La combinación de fuentes como solución

Scopus (Elsevier) es una base de datos multidisciplinaria de resúmenes y citas aparecida en 2004, aunque su cobertura se extiende retrospectivamente e incluye más de 16.000 revistas científicas. Al menos 12 universidades españolas, además de los más de 100 centros del CSIC, han suscrito el acceso a esta base de datos. Su combinación con Medlinese viene empleando para delimitar conceptualmente un campo (Medline) y para obtener información exhaustiva sobre las referencias contenidas en los trabajos seleccionados (Scopus) en lo que se ha empezado a denominar método multi-base de datos (Strotmanny Zhao, 2010).

Pero los hechos más interesantes y ajustados a esta nota son los siguientes:

1) Scopus incorpora todos los registros de Medline;
2) Scopus incluye, en su elemento “INDEXTERMS”, los descriptores asignados a los registros de Medline.
3) Cada registro dispone del correspondiente identificador (PMID), y
4) los registros de Scopus contienen la afiliación de todos los autores de cada trabajo.

Es posible, por tanto:

1) la selección en Scopus de trabajos que traten un tema y se hayan realizado en instituciones de un país,
2) la combinación de los registros recuperados con los correspondientes en Medline a través del PMID (también del DOI para registros recientes) y
3) los análisis que se pretendan.

Siguiendo la sintaxis de Scopus, la consulta avanzada “INDEXTERMS (obesity) AND (PUBYEAR BEF 2008) AND (PUBYEAR AFT 1987) AND AFFILCOUNTRY (Spain)” arroja como resultados 2.713 trabajos (7 de Julio de 2010). De ellos, el titulado “Antiobesity properties of two African plants (Afromomum meleguetta and Spilanthes acmella) by pancreatic lipase inhibition”(PMID 17705140) se ha realizado en el Instituto de Oceanografía de la Universidad de Calabar (sudeste de Nigeria) según Medline. En realidad, el estudio ha contado con la participación del Programa de Productos Vegetales Naturales de la Universidad de New Jersey (USA) y del Departamento de ciencia y tecnología de alimentos de la Universidad de Murcia (Spain); un hermoso ejemplo de trabajo en colaboración que Medline, sin embargo, hace pasar por exclusivamente africano.

La selección de publicaciones científicas para su análisis bibliométrico debe realizar de alguno de estos modos:

1) mediante el empleo de una base de datos bibliométrica;
2) mediante la combinación de dos o más bases de datos bibliográficas, y
3) mediante la construcción ad hoc de bases de datos que hayan extraído de otras los datos bibliográficos y bibliométricos y deriven los oportunos indicadores o variables a partir de su procesamiento.

Web of Science (WOS) y Scopus son las preferidas para la primera opción (Falagas et al., 2008). De hecho, el propio grupo de Vioque eligió WOS para su análisis geográfico de la investigación del SIDA (Ramos et al., 2005). La segunda opción ha rendido buenos frutos para el grupo de Rosa Casado, que emplea hasta 10 bases de datos en la selección de los trabajos que analiza (Casado-Mejía, Ruiz-Arias y Solano-Parés, 2009) y para el grupo de Manuel Posada, que combina con otras cuatro bases los elementos bibliométricos añadidos recientemente a PsycINFO (Carmona, Munoz, de Andres, Biggi y Posada de la Paz, 2010).

Se han construido en muchos países bases de datos estratégicas para la realización de estudios bibliométricos. Precisamente la canadiense se ha empleado recientemente para realizar el análisis bibliométrico de la investigación de la obesidad financiada con cargo a los Canadian Institutes of Health Research (s.d.). Los resultados de estos y otros trabajos son robustos, fiables y reproducibles. Se pueden aplicar con toda justeza a la caracterización de las actividades de investigación en un área y un contexto nacional y a su comparación con otros. De hecho, si el grupo de Ramos hubiera recuperado 2.713 trabajos en lugar de 1.407, la aportación española a la investigación de la obesidad en el mundo representaría una proporción diferente al 2,8%.

Cada vez es más frecuente que se publiquen protocolos de obligado cumplimiento para la realización de algunos tipos de estudios científicos, especialmente en el campo de la biomedicina. Los grupos españoles dedicados al desarrollo de indicadores y a la aplicación de la bibliometría al análisis de la actividad científica deberían acordar un protocolo y transmitirlo a los responsables de las revistas científicas españolas. Y no sólo a ellos: no hace ni cinco años se aprobaban en las universidades españolas tesis doctorales que analizaban la producción científica de todo un país cuantificando los trabajos extraídos deMedline.

Es bastante duro reconocer que la expresión “bibliometría de mesa camilla” (poor man bibliometrics en la expresión de Moed) que puede resultar desafortunada e hiriente, se puede aplicar con justeza a buena parte de los estudios que se publican.

Referencias bibliográficas

Bibliographic Services Division. Authorship in Medline. National Library of Medicine, 2010.

Canadian Institutes of Health Research. Bibliometric Study of Obesity Research in Canada, 1998-2007 – CIHR.(s.d.).

Carmona, M.; Muñoz, L.; de Andrés, E.; Biggi, J.; Posada de la Paz, M.“Evolución de los estudios sobre autismo en España: publicaciones y redes de co-autoría entre 1974 y 2007”. Psicothema, 2010, v. 22, n. 2, pp, 242-249.

Casado-Mejía, R.; Ruiz-Arias, E.; Solano-Parés, A. “Características de la producción científica sobre cuidados familiares prestados por mujeres inmigrantes”.Gaceta Sanitaria, 2009, v. 23, n.4, pp. 335-341.

Costas, R.; Moreno, L.; Bordons, M. “Solapamiento y singularidad de MEDLINE, WoS e IME para el análisis de la actividad científica de una región en Ciencias de la Salud”.Revista Española de Documentación Científica, 2008, v. 31, n. 3, pp. 327-343.

Falagas, M. E.; Pitsouni, E. I.; Malietzis, G. A.; Pappas, G. “Comparison of PubMed, Scopus, Web of Science, and Google Scholar: strengths and weaknesses”. FASEB Journal, 2008, v. 22, n. 2, pp. 338-342.

Glänzel W. “The need for standards in bibliometric research and technology”.Scientometrics, 1996, v. 35, pp. 167-176.

Jiménez-Contreras, E.; Torres-Salinas, D.; Ruiz-Pérez, R.; Delgado López-Cózar, E. “Investigación de excelencia en España: ¿protagonistas o papeles secundarios?”. Medicina Clínica, 2010, v. 134, n. 2, pp. 76-81.

Lascurain-Sánchez, M.; García-Zorita, C.; Martín-Moreno, C.; Suárez-Balseiro, C.; Sanz-Casado, E. “Impact of health science research on the Spanish health system, based on bibliometric and healthcare indicators”. Scientometrics, 2008, v. 77, n. 1, pp. 131-146.

Pestaña, A. “El MedLine como fuente de información bibliométrica de la producción española en biomedicina y ciencias médicas. Comparación con el Science Citation Index”.Medicina Clínica, 1997, v. 109, n.13, pp. 506-511.

Ramos, J. M.; Gutiérrez, F.; Padilla, S.; Masiá, M.; Martín-Hidalgo, A.“Geography of medical publications. An overview of HIV/AIDS research in 2003”. AIDS, 2005, v. 19, n. 2, pp. 219-220.

Strotmann, A.; Zhao, D. “Combining commercial citation indexes and open-access bibliographic databases to delimit highly interdisciplinary research fields for citation analysis”. Journal of Informetrics, 2010, v. 4, n. 2, pp. 194-200.

Vioque, J.; Ramos, J. M.; Navarrete-Muñoz, E. M.; García de la Hera, M.“Producción científica española en obesidad a través de PubMed (1988-2007)”. Gaceta Sanitaria, 2010a, v. 24, n. 3, pp. 225-232.

Vioque, J.; Ramos, J. M.; Navarrete-Muñoz, E. M.; García de la Hera, M. “A bibliometric study of scientific literature on obesity research in PubMed (1988-2007)”.Obesity Reviews, 2010b, v. 11, n. 8, pp. 603-11.

Cómo citar este artículo:

Amat, Carlos B.; Yegros-Yegros, Alfredo. “Medline no es una fuente fiable de análisis bibliométricos”. Anuario ThinkEPI, 2011, v. 5, pp. ¿¿-??.