Google Scholar Citations y la emergencia de nuevos actores en la evaluación de la investigación
| 20 diciembre, 2011 | Por Álvaro Cabezas-Clavijo y Daniel Torres-Salinas en Notas ThinkEPI 2012 |
El lanzamiento hace escasos meses de Google Scholar Citations1, la herramienta para medir el impacto de los investigadores en las publicaciones indizadas por el popular buscador, nos da pie a revisar ésta y otras aplicaciones de índole bibliométrica encaminadas a medir la visibilidad de académicos e investigadores en la Web.
Este impacto no sólo se limita a los medios tradicionales (citas recibidas desde otros trabajos científicos) sino que abarca a las nuevas vías de comunicación científica y a sus indicadores asociados, como el número de descargas de un trabajo, las personas que lo almacenan en su gestor de referencias o las veces que una presentación es visionada online. Asimismo se discute brevemente en qué medida puede afectar la emergencia de estas nuevas herramientas a las bases de datos tradicionales para la evaluación de la ciencia, Thomson Reuters-Web of Science2, y Scopus-Elsevier3.
La joven estrella: Google Scholar Citations
Google Scholar Citations fue oficialmente lanzado en pruebas en julio de 2011, generando de inmediato un importante eco en la Web. Su propuesta es muy sencilla, recopila la producción científica de un investigador y la muestra agregada en una página personal, con información del número de citas de cada ítem. El investigador, una vez dado de alta, puede editar los registros de Google Scholar, corrigiendo (normalizando) la información del buscador, unir registros duplicados e incluso añadir de forma manual otros trabajos que hayan escapado a las garras de Google.
Además, presenta tres indicadores bibliométricos: el número total de citas de los trabajos, el índice h del investigador y el índice i10, esto es, el número de trabajos con más de diez citas, tanto para toda la carrera académica como para el período más reciente.
En este apartado hay que mencionar que Google ha prescindido de la métrica más sencilla: el número total de trabajos de un investigador así como de otras medidas como el promedio de citas por trabajo o indicadores relativos al impacto de las revistas. Pero quizá lo más interesante es que la información sobre las citas recibidas y la producción se actualizan de forma automática a medida que va siendo indexada por Google, sin necesidad de concurso por parte del académico, que encuentra siempre su información al día. Las posibilidades que abre este producto son enormes, tanto en la medición del impacto personal como de cara a la visibilidad del investigador en la Web.
En cuanto a lo primero, y pese a que no es aconsejable el uso de Google Scholar como herramienta para la evaluación científica4, cada vez es más usado especialmente en áreas de ciencias sociales y humanidades como medio para recuperar las citas de un trabajo, datos tenidos muy en cuenta tanto en los procesos de solicitud de sexenios de investigación como en las acreditaciones a los cuerpos docentes universitarios.
Respecto a la visibilidad académica, el investigador se vincula a las materias en las que es especialista, de manera que se va generando un directorio temático de expertos, ordenados en función del número total de citas de sus trabajos. Además de esta función para localizar expertos en un área determinada, los perfiles de los investigadores dados de alta aparecen integrados en los resultados de las búsquedas por autores, por lo que se puede acceder de forma rápida a toda la producción científica de un investigador.
Sin embargo, algunos autores, como la creadora del software Publish or Perish5, Anne-Wil Harzing, expresan sus temores acerca de la honestidad de los autores, y si éstos no serán capaces de falsear sus datos en busca de un ascenso académico, o como manera de aumentar su visibilidad en la Web6.
Desde noviembre de 2011 el servicio está abierto a todos los investigadores, y en los primeros días de libre acceso al producto comienzan a verse ya un buen número de profesores y profesionales de la documentación, muchos de ellos españoles7. Sin embargo, cabe preguntarse si llegará a ser significativo el número de los que se creen su perfil, requisito indispensable para aparecer en estos directorios.
Otra duda acerca del producto es la manera de ordenar a los investigadores en el directorio por materias. Actualmente esta ordenación se hace en función del número total de citas, una clasificación demasiado tosca ya que favorece a los investigadores de disciplinas grandes, así como a los de mayor recorrido y con mayor número de trabajos publicados. De facto, Google Scholar Citations está estableciendo rankings de investigadores por materias en función de un único criterio (fácilmente manipulable, además), lo cual es un arma de doble filo. Como señalaba Harzing, cualquiera puede falsear sus datos para aparecer en posiciones prominentes, sin embargo parece poco probable ya que sería rápidamente detectado por el resto de usuarios, cayendo en el descrédito científico.
Otra duda que nos asalta es si los investigadores con escaso impacto académico crearán su perfil, ya que podrían quedar en evidencia respecto a otros compañeros de disciplina o de departamento, con currículos mucho más lucidos. Al final, se corre el riesgo de crear un directorio de científicos altamente citados, que no sea representativo de la investigación que se da en un campo. Pese a la juventud del producto, ya surgen los primeros análisis en algunos blogs, como el que realiza Brian Kelly, de las más destacadas universidades británicas8, o el del bibliotecario holandés Wouter Gerritsma, que presagia que en cinco años Google habrá cambiado completamente el mercado de las bases de datos científicas9.
El actor secundario: Microsoft Academic Search
El producto de Google viene precedido por los movimientos que otro de los gigantes de la Web, Microsoft, ha venido realizando en los últimos meses con su buscador Microsoft Academic Search10.
Este producto, heredero de Windows Live Academic y de Live Search Academic, surgió en su actual denominación en 2009, sólo para el campo de la informática, pero cubre desde septiembre de 2011 todos los ámbitos del conocimiento. También permite la creación de perfiles personales a partir de la información recogida por el buscador, proporcionando hasta el momento más indicadores y funcionalidades de las que ofreceGoogle.
Asimismo admite la edición y modificación de registros, subir pdfs con el texto completo de los trabajos, insertar el listado de publicaciones en otra página web, o incluso ver el contexto en el que un trabajo ha sido citado, un viejo sueño de la bibliometría evaluativa. Además el producto de Microsoft no se ciñe a la escala personal sino que permite seguir la pista a la producción científica de una institución e incluso efectuar comparaciones entre ellas, tomando los parámetros habituales de producción y citas como términos de la ecuación. Otra de sus fortalezas es la posibilidad de explorar la red de colaboraciones de un investigador, así como las relaciones a través de las citas. Además, se pueden encontrar los perfiles de cualquier investigador, no sólo de los registrados, ya que esto no es imprescindible.
Sin embargo, en comparación con Google Scholar Citations, el proceso de actualización del CV es más pesado, tarda unos días ya que debe ser revisado por el equipo del producto, y además la cobertura parece bastante menor que la de Google, si bien no disponemos de un listado de las fuentes que cubre ninguno de los dos productos.
En este pequeño estudio de la producción de siete investigadores británicos11 se observa la gran diferencia entre los resultados que ofrece Academic Search y los que arrojaGoogle Scholar Citations11. Además se aprecian importantes problemas de normalización, una de las críticas principales que también cabe hacer a Google.
En cuanto a aplicaciones que permiten la confección de currículos vitae personales, también es necesario reseñar ResercherID12, producto impulsado por Thomson Reuters, que trabaja únicamente sobre la información recogida en la Web of Science. Al contrario que Google Scholar Citations o MS Academic Search, la actualización de la producción no es automática, es decir, cada vez que un nuevo artículo nuestro sea recogido en Web of Science, deberemos actualizar manualmente nuestro perfil en ResearcherID. Herramientas como la red social científica ResearchGate13 o el gestor de referenciasMendeley14 también proporcionan espacio para que el investigador incluya sus publicaciones en una página personal.
Los actores alternativos: las iniciativas alt-metrics
Aprovechando las diferentes aplicaciones para investigadores surgidas en los últimos años en el entorno de la ciencia 2.015, son varias las iniciativas dirigidas a medir el impacto de los materiales publicados online, de forma más amplia que con el recuento de citas.
Dentro de estas iniciativas, conocidas genéricamente como alt-metrics o métricas alternativas16, han aparecido aplicaciones como ScienceCard17, un metaproducto que hace uso de APIs externas para ofrecer para cada investigador, además de su producción indizada en MS Academic Search o el número de citas según Scopus, las veces que un trabajo ha sido marcado como favorito en Citeulike18, o las personas que lo han almacenado en el gestor de referencias bibliográficas Mendeley.
La idea que subyace es que hay múltiples maneras de medir la influencia de los investigadores en la Web y que el número de citas es sólo una de ellas.
Otra iniciativa reciente es Total Impact19 donde, en la misma línea, podemos descubrir métricas de las presentaciones colgadas en Slideshare20, las veces que se ha compartido un artículo científico en Facebook21 o el número de grupos en Mendeley donde se ha recopilado un determinado trabajo. Estas iniciativas siguen el camino trazado por las estadísticas a nivel de artículo22 implementadas por la editorial Public Library of Science(PLoS), que lleva tiempo ofreciendo, además de las citas que un artículo atrae, datos sobre el número de descargas de un trabajo, el número de comentarios que genera o el número de blogs que lo enlazan23.
Los actores consolidados: ISI Web of Science y Scopus
En este sentido hay que mencionar que los actores tradicionales en el campo de la evaluación de la ciencia no se han quedado de brazos cruzados. Thomson Reuters, además de incrementar en los últimos años considerablemente su cobertura de revistas científicas de alcance regional, acaba de lanzar Book Citation Index24, su índice de citas con información de libros, dirigido principalmente a las humanidades y las ciencias sociales, áreas donde estos vehículos de difusión juegan un papel importante. Por su parte, Scopusha incorporado las métricas SNIP y SJR25 a su base de datos para ayudar a los bibliómetras. Además ha sacado al mercado aplicaciones (Apps) para dispositivos móviles26 y ofrece asimismo conexiones con su base de datos mediante APIs27, que permiten por ejemplo mostrar en repositorios institucionales el número de citas cosechadas por los trabajos recogidos en la fuente de datos de Elsevier.
Consideración final
Desde el plano de la política universitaria y de evaluación de la investigación, la pregunta que cabe realizarse es si alguno de los productos mencionados, tanto de Microsoft como de Google principalmente, pero también de las iniciativas alt-metrics, pueden ser serios competidores en un futuro próximo para las dos grandes bases de datos que proporcionan información bibliométrica, de importante coste económico, especialmente en una época marcada por los recortes presupuestarios.
Los productos tradicionales son más solventes y estables que los nuevos, ofreciendo un amplio abanico de posibilidades y de métricas asociadas, no sólo a los trabajos sino también a las revistas en las que éstos se publican. Además su uso está extendido y existen unas métricas validadas por los profesionales de la bibliometría así como por parte de las agencias con responsabilidad en materia investigadora.
Sin embargo es legítimo el debate acerca de si dichas bases de datos son imprescindibles en los procesos de evaluación investigadora. En nuestra opinión, en la actualidad estas bases de datos (ISI Web of Science o Scopus, no son necesarias las dos) son imprescindibles para la evaluación. Sin embargo, la nueva generación de sistemas de información científica (CRIS)28, junto a buscadores científicos de acceso gratuito comoGoogle Scholar y las métricas basadas en el uso de la información, pueden aportar nuevas soluciones a la evaluación de la ciencia, haciendo a medio plazo quizá menos necesarios los costosos índices de citas.
Haciendo prospectiva-ficción, cabría pensar cómo cambiaría el mercado de la información y evaluación científica si Google decidiera lanzar su propio “índice de impacto” a partir de la información que indiza, lo cual no parece descabellado ya que su popular sistema de ordenación de búsqueda PageRank se basa en un principio que ya aplican otros índices bibliométricos. En cualquier caso lo que es indudable es que los nuevos productos y herramientas a disposición de investigadores y evaluadores facilitan tanto la difusión como la recuperación de información científica y abren nuevas posibilidades para el intercambio de la información científica y su evaluación.
Notas
1. Google Scholar Citations.
http://scholar.google.com/intl/en/scholar/citations.html
http://scholar.google.com/intl/en/scholar/citations.html
2. Thomson Reuters-Web of Science.
http://www.accesowok.fecyt.es
http://www.accesowok.fecyt.es
3. Scopus-Elsevier.
http://www.scopus.com
http://www.scopus.com
4. Torres-Salinas, Daniel, Ruiz-Pérez, Rafael; Delgado-López-Cózar, Emilio. “Google Scholar como herramienta para la evaluación científica”. El profesional de la información, 2009, v. 18, n. 5, pp. 501-510.
http://ec3.ugr.es/publicaciones/d700h04j123154rr.pdf
http://ec3.ugr.es/publicaciones/d700h04j123154rr.pdf
5. Publish or Perish.
http://www.harzing.com/pop.htm
http://www.harzing.com/pop.htm
6. Herther, Nancy K. “Scholar Citations—Google Moves into the Domain of Web of Science and Scopus”. Information Today, 4 agosto, 2011.
http://newsbreaks.infotoday.com/NewsBreaks/Scholar-CitationsGoogle-Moves-into-the-Domain-of-Web-of-Science–Scopus-76917.asp
http://newsbreaks.infotoday.com/NewsBreaks/Scholar-CitationsGoogle-Moves-into-the-Domain-of-Web-of-Science–Scopus-76917.asp
7. Directorio de investigadores listados bajo la materia “Information Science” en Google Scholar Citations.
http://scholar.google.com/citations?view_op=search_authors&hl=en&mauthors=label:information_science
http://scholar.google.com/citations?view_op=search_authors&hl=en&mauthors=label:information_science
8. Kelly, Brian. “Surveying Russell Group University Use of Google Scholar Citations”.UK Web Focus, 24 noviembre, 2011.
http://ukwebfocus.wordpress.com/2011/11/24/surveying-russell-group-university-use-of-google-scholar-citations
http://ukwebfocus.wordpress.com/2011/11/24/surveying-russell-group-university-use-of-google-scholar-citations
9. Gerritsma, Wouter. “How Google Scholar Citations passes the competition left and right”. WoW! Wouter on the Web.
http://wowter.net/2011/11/21/how-google-scholar-citations-passes-the-competition-left-and-right
http://wowter.net/2011/11/21/how-google-scholar-citations-passes-the-competition-left-and-right
10. Microsoft Academic Search.
http://academic.research.microsoft.com
http://academic.research.microsoft.com
11. Kelly, Brian. “Thoughts on Google Scholar Citations”. UK Web Focus, 22 noviembre, 2011.
http://ukwebfocus.wordpress.com/2011/11/22/thoughts-on-google-scholar-citations
http://ukwebfocus.wordpress.com/2011/11/22/thoughts-on-google-scholar-citations
12. ResercherID.
http://www.researcherid.com
http://www.researcherid.com
13. ResearchGate.
http://www.researchgate.net
http://www.researchgate.net
14. Mendeley.
http://www.mendeley.com
http://www.mendeley.com
15. Cabezas-Clavijo, Álvaro; Torres-Salinas, Daniel; Delgado-López-Cózar,Emilio. “Ciencia 2.0: catálogo de herramientas e implicaciones para la actividad investigadora”. El profesional de la información, 2009, v. 18, n. 1, pp. 72-79.
http://www.elprofesionaldelainformacion.com/contenidos/2009/enero/09.pdf
http://www.elprofesionaldelainformacion.com/contenidos/2009/enero/09.pdf
16. Alt-metrics.
http://altmetrics.org
http://altmetrics.org
17. ScienceCard.
http://sciencecard.org
http://sciencecard.org
18. Citeulike.
http://www.citeulike.org
http://www.citeulike.org
19. Total impact.
http://total-impact.org
http://total-impact.org
20. Slideshare.
http://www.slideshare.net
http://www.slideshare.net
21. Facebook.
http://www.facebook.com
http://www.facebook.com
22. Article-level Metrics – Public Library of Science.
http://article-level-metrics.plos.org
http://article-level-metrics.plos.org
23. Cabezas-Clavijo, Álvaro; Torres-Salinas, Daniel. “Indicadores de uso y participación en las revistas científicas 2.0: el caso de PLoS One”. El profesional de la información, 2010, v. 19, n. 4, pp. 431-434.
http://ec3.ugr.es/publicaciones/2010-Cabezas_Torres_Indicadores_de_uso_participacion_revistas_cientificas_2.0_el_caso_plos_one.pdf
http://ec3.ugr.es/publicaciones/2010-Cabezas_Torres_Indicadores_de_uso_participacion_revistas_cientificas_2.0_el_caso_plos_one.pdf
24. Book Citation Index. Web of Knowledge.
http://wokinfo.com/products_tools/multidisciplinary/bookcitationindex
http://wokinfo.com/products_tools/multidisciplinary/bookcitationindex
25. Journal metrics: SNIP, SJR. Scopus.
http://www.journalmetrics.com
http://www.journalmetrics.com
26. SciVerse Mobile Applications. Sciverse.
http://www.info.sciverse.com/sciverse-mobile-applications
http://www.info.sciverse.com/sciverse-mobile-applications
27. Scopus API. Sciverse.
http://www.info.sciverse.com/scopus/scopus-services/integration/solutions/api
http://www.info.sciverse.com/scopus/scopus-services/integration/solutions/api
28. Torres-Salinas, Daniel; Cabezas-Clavijo, Álvaro. “Herramientas para la evaluación de la ciencia en universidades y centros I+D: descripción y usos”. Anuario Thinkepi, v. 6, pp. ¿¿??.
http://www.thinkepi.net/herramientas-para-la-evaluacion-de-la-ciencia-en-universidades-y-centros-id-descripcion-y-usos
http://www.thinkepi.net/herramientas-para-la-evaluacion-de-la-ciencia-en-universidades-y-centros-id-descripcion-y-usos
Cómo citar este artículo:
Cabezas-Clavijo, Álvaro; Torres-Salinas, Daniel. “Google Scholar Citations y la emergencia de nuevos actores en la evaluación de la investigación”. Anuario ThinkEPI, 2012, v. 6, pp. ¿¿-??.
Cabezas-Clavijo, Álvaro; Torres-Salinas, Daniel. “Google Scholar Citations y la emergencia de nuevos actores en la evaluación de la investigación”. Anuario ThinkEPI, 2012, v. 6, pp. ¿¿-??.
Te puedo asegurar que algunos nos preocupamos de que la evaluación se vaya variando en función de las derivas curriculares que se van observando en evaluaciones anteriores. Las modificaciones en los criterios de evaluación hay que efectuarlas con tiento y mesura pero son útiles en este sentido, evitan una excesiva distorsión en la trayectoria curricular del científico. Y, en general, la experiencia nos dice que con unos pocos indicadores se asegura uno un ranking que poco cambiaría por muy fino que tratara uno de hilar.
Lamentablemente, también nos dice la experiencia que la fe ciega en los números provoca injusticias; pocas, pero haberlas, haylas.