http://www.thinkepi.net/altmetrics-no-todo-lo-que-se-puede-contar-cuenta?utm_source=feedburner&utm_medium=email&utm_campaign=Feed%3A+thinkepi+%28ThinkEPI%29
Altmetrics: no todo lo que se puede contar, cuenta
22 noviembre, 2012 Por Daniel Torres-Salinas y Álvaro Cabezas-Clavijo
en Notas ThinkEPI 2013
1. Introducción
La evaluación de la ciencia desde una perspectiva cuantitativa se basa en indicadores bibliométricos. El número de citas o el Impact Factor son las medidas habituales para medir la repercusión de un trabajo o investigador desde hace décadas. El paso del formato impreso al digital sin embargo no trajo consigo excesivas novedades en la aceptación de nuevos enfoques en el ámbito de la evaluación; pese a la disponibilidad de datos como las visitas a sitios web académicos, los enlaces, o las descargas lo cierto es que apenas han sido usados en procesos formales de evaluación, aunque sí para la realización de multitud de trabajos científicos. La posterior entrada en juego de la Web 2.0 y sus aplicaciones tampoco jugó un papel relevante.
La participación de los científicos en estas herramientas ha sido testimonial hasta hace bien poco (Cabezas-Clavijo y Torres-Salinas, 2010). Sin embargo, en los últimos años el mundo académico ha comenzado a abrazar estas herramientas 2.0. La firme consolidación de muchas plataformas y la incorporación de los pioneros en su uso al mundo académico han hecho que por fin se acepten las ventajas que redes especializadas como Mendeley, o genéricas como Twitter tienen en la gestión del ciclo de publicación y difusión científica, desde la adquisición y gestión de referencias bibliográficas, hasta la diseminación de los trabajos científicos, tal y como anunciábamos (Torres-Salinas yDelgado, 2009).
Para la informetría, lo más relevante de las plataformas 2.0 son los indicadores que generan, que potencialmente podrían usarse en la evaluación de la ciencia. El número de lectores que almacenan un paper en sus gestores de referencias o el número de visitas de una presentación online bien pueden ser aproximaciones al interés que suscita un trabajo científico. De esta forma, los indicadores derivados de la participación de los usuarios en las herramientas 2.0 con fines académicos se han etiquetado como Altmetrics (Priem et al, 2010), un campo que supone uno de los desarrollos más significativos en la disciplina en los últimos años (Sugimoto, 2012). Dos son sus principales características: por un lado miden la repercusión individual de una aportación y no la de su contenedor (como elImpact factor, que mide el impacto de la revista pero no es representativo del impacto individual de cada artículo) y, en segundo lugar, se generan con una rapidez mucho mayor que los indicadores bibliométricos.
En el plano académico, la investigación sobre Almetrics se ha concentrado principalmente en la comparación con los indicadores tradicionales así como en la identificación de las herramientas 2.0 con más sentido desde el punto de vista de la medición del impacto investigador (Wouters y Costas, 2012). Si bien algunos de estos trabajos levantan serias dudas metodológicas (Eysenbach, 2011; Shuai et al, 2012), lo cierto es que apuntan una dirección clara, y es que las Altmetrics deben ser validadas respecto a los indicadores bibliométricos.
Esto demuestra el interés de la comunidad investigadora sobre la emergente disciplina, circunstancia que también se detecta en el establishment editorial. Tres hechos lo evidencian: el lanzamiento de una colección en PLoS One para dar cabida exclusiva al tema, la introducción de indicadores altmetrics en Scopus junto a datos de citación, y la incorporación de estas medidas a los artículos publicados por el grupo editorial deNature.
Sin embargo, y pese a la profusión de estadísticas que ofrecen algunas de estas fuentes, no todas tienen sentido desde la perspectiva de la evaluación. Así, y parafraseando el aserto de Einstein, cabría decir que no todo lo que se puede contar, cuenta. Se detectan una serie de problemas y limitaciones que, como en toda disciplina naciente, deben ser sorteadas para adquirir entidad y valor propio. Algunos de los problemas que señalaremos son la heterogeneidad de fuentes, la masa crítica, el significado de los indicadores o su carácter evanescente.
2. Algunos de los problemas actuales de las Altmetrics
A diferencia de la Bibliometría, bajo la etiqueta Altmetrics se aglutinan un grupo muy heterogéneo y variopinto de fuentes de información e indicadores. En primer lugar se agrupan fuentes de información, redes sociales y plataformas que no necesariamente son de un ámbito estrictamente académico o científico como, por ejemplo, ocurre con las generalistas Facebook o Twitter; otras sin embargo como Research Gate o Mendeley sí están enfocadas a investigadores. Por añadidura este problema se extiende a los indicadores ya que además, cada plataforma genera sus propias métricas. Esto hace que las Altmetrics sean un cajón de sastre que puede agrupar decenas de indicadores. Si bien en Bibliometria existen también cientos de indicadores, también es cierto que la materia prima es siempre la citación, la expresión más reconocible del reconocimiento en ciencia.
Esta situación, donde surgen todo tipo de indicadores, genera un problema esencial, y es que nos enfrentemos a medidas de las que por un lado no sabemos hasta qué punto pueden ser equiparables y, por otro lado, tampoco se pueden establecer jerarquías o clasificaciones entre ellas. Por ejemplo, sabemos que a la hora de medir el impacto individual de un científico, tiene más sentido usar el índice H que el factor de impacto de la revista donde ha publicado. Pero, ¿qué ocurre en el universo Altmetrics? ¿Cuántos tuits equivalen a una cita? ¿Es más valioso un “me gusta” en Facebook que una visita enSlideshare?
Lo que sí sabemos en este sentido es que existen unas Altmetrics que funcionan mejor que otras en el entorno académico-científico que estamos tratando. Una cuestión clara es que hay indicadores poco significativos, ya que apenas existe masa crítica en las aplicaciones que proporcionan dichas estadísticas.
Por ejemplo, en nuestro trabajo de 2010 (Cabezas-Clavijo y Torres-Salinas, 2010) ya señalábamos que en la revista Plos one, el 91% de los trabajos nunca eran puntuados o que el 89% nunca fue enlazado desde blogs. Igualmente (Priem et al., 2012) muestra porcentajes similares de actividad en Facebook o en el sitio de etiquetado social Delicious. Sin embargo, en otros indicadores como las descargas, las citas y los lectores en Mendeleyel porcentaje de artículos con valores distintos a cero superaban el 60%. En el caso de esta última herramienta, incluso ofrecía datos más elevados que los registrados en cuanto a citas en Web of Science y Scopus. En el caso concreto del indicador “readers” deMendeley, ya se perfila como un firme candidato al trono de la Altmetrics. Se evidencia pues, que los indicadores pueden ser muchos pero no todos son estadísticamente significativos y válidos.
Las dudas sobre su validez estadística se extienden a su significado; si herramientas como los gestores de referencias pertenecen a comunidades académicas y claramente indican un uso específico, no ocurre igual con indicadores como un “me gusta” o un tuit; o como mínimo no sabemos interpretar su valor. En estas últimas no es fácil discernir entre el impacto científico y lo que podíamos denominar como impacto social. Un retuit de nuestro artículo puede hacerlo un investigador o alguien completamente ajeno al mundo científico. Asimismo, en Bibliometría, los indicadores son dependientes de la disciplina, no significan lo mismo cinco citas en Inmunología que en Matemáticas. ¿Sucede lo mismo en Altmetrics?, ¿son los indicadores dependientes del campo?
Las propias métricas pueden están determinadas tanto por nuestra red de contactos como por el tamaño de las comunidades y la disponibilidad de material online. Lógicamente los indicadores serán más válidos en aquellas comunidades científicas más receptivas al mundo 2.0.
Otro de los problemas al que nos enfrentamos es el carácter evanescente de la mayor parte de las fuentes de información y métricas. El 2.0 es un mundo muy inestable y a diario asistimos al nacimiento y a la muerte de herramientas de tipo social, o al cambio de su estatus y consideración; son importantes un tiempo y después no, como ocurrió por ejemplo con Myspace o Delicious. El problema de la evanescencia no sólo afecta a las fuentes, ya que también ocurre con los propios indicadores, que pueden estar disponibles sólo un breve período de tiempo, como ocurre con los retuits o con la desaparición de los propios usuarios y los indicadores asociados a ellos. Las Altmetrics para el mismo conjunto de documentos pueden ofrecer resultados muy diferentes si las mediciones están separadas en el tiempo, lo que genera importantes problemas de replicabilidad y fiabilidad.
3. A modo de conclusión
Pese a la inmadurez y a la fase de experimentación en que se encuentran las Altmetrics, hay que dar la bienvenida a las nuevas métricas y perspectivas en la evaluación del impacto investigador. Quizás ahora, al ser un campo en ebullición que permite con facilidad obtener estadísticas, nos dejemos llevar por el entusiasmo en su adopción, pero son necesarias más pruebas y experimentos para comprobar qué indicadores y fuentes de información se asientan como válidos para la evaluación científica, y qué es exactamente lo que significan. En definitiva, hemos de remarcar el papel protagonista que la investigación sobre Altmetrics está tomando dentro de la Bibliometría, lo que anuncia sin duda nuevas investigaciones y proyectos de gran interés en fechas próximas.
Más allá de las críticas realizadas, hay que señalar que estas nuevas medidas pueden ser útiles para medir la repercusión de materiales con cauces de distribución distintos a los artículos, como conferencias, vídeos científicos e incluso materiales de carácter docente o divulgativo. Asimismo pueden proporcionar una variada información en ámbitos con patrones de comportamiento propios, como las Ciencias humanas donde la Bibliometría sigue despertando dudas y reticencias, o en disciplinas como las ingenierías, que presentan una orientación muy profesional. De este modo, las Altmetrics pueden servir para medir el impacto social de las investigaciones y ofrecer el reverso del impacto científico. Sin embargo hemos de ser escépticos ya que no todo lo que se puede contar, cuenta… al menos por el momento.
4. Bibliografía
Cabezas-Clavijo, Álvaro; Torres-Salinas, Daniel. “Indicadores de uso y participación en las revistas científicas 2.0: el caso de PLoS One”. El profesional de la información, 2010, v. 19, n. 4, pp. 431–434.
http://dx.doi.org/10.3145/epi.2010.jul.14
Priem, J.; Taraborelli, D., Groth, P.; Neylon, C. Altmetrics: a manifesto, 2010.
http://altmetrics.org/manifesto
Priem, J.; Piwowar, H.A.; Hemminger, B. H. “Altmetrics in the wild: An exploratory study of impact metrics based on social media”. En: Metrics 2011: Symposium on Informetric and Scientometric Research. New Orleans, LA, USA, 2012.
http://arxiv.org/abs/1203.4745v1
Shuai, X.; Pepe, A.; Bollen, J. “How the Scientific Community Reacts to Newly Submitted Preprints: Article Downloads, Twitter Mentions, and Citations”. PLoS one, 2012, v. 7, n. 11.
http://dx.doi.org/10.1371/journal.pone.0047523
Sugimoto, C.R. “Taking the Measure of Metrics: Interviews with Four ASIS&T Members”. ASIST Bulletin, 2012, v. 38, n. 6, pp. 33-38.
http://www.asis.org/Bulletin/Aug-12/AugSep12_Sugimoto.html
Torres-Salinas, Daniel; Delgado López-Cózar, Emilio. “Estrategia para mejorar la difusión de los resultados de investigación con la Web 2.0”. El profesional de la información, 2009, v. 18, n. 5, pp. 534-539.
http://dx.doi.org/10.3145/epi.2009.sep.07
Wouters, Paul; Costas, Rodrigo. Users, narcissism and control – tracking the impact of scholarly publications in the 21st century. Utrecht: SURF Foundation, 2012.
http://www.surf.nl/en/publicaties/Pages/Users_narcissism_control.aspx
Altmetrics: no todo lo que se puede contar, cuenta
22 noviembre, 2012 Por Daniel Torres-Salinas y Álvaro Cabezas-Clavijo
en Notas ThinkEPI 2013
1. Introducción
La evaluación de la ciencia desde una perspectiva cuantitativa se basa en indicadores bibliométricos. El número de citas o el Impact Factor son las medidas habituales para medir la repercusión de un trabajo o investigador desde hace décadas. El paso del formato impreso al digital sin embargo no trajo consigo excesivas novedades en la aceptación de nuevos enfoques en el ámbito de la evaluación; pese a la disponibilidad de datos como las visitas a sitios web académicos, los enlaces, o las descargas lo cierto es que apenas han sido usados en procesos formales de evaluación, aunque sí para la realización de multitud de trabajos científicos. La posterior entrada en juego de la Web 2.0 y sus aplicaciones tampoco jugó un papel relevante.
La participación de los científicos en estas herramientas ha sido testimonial hasta hace bien poco (Cabezas-Clavijo y Torres-Salinas, 2010). Sin embargo, en los últimos años el mundo académico ha comenzado a abrazar estas herramientas 2.0. La firme consolidación de muchas plataformas y la incorporación de los pioneros en su uso al mundo académico han hecho que por fin se acepten las ventajas que redes especializadas como Mendeley, o genéricas como Twitter tienen en la gestión del ciclo de publicación y difusión científica, desde la adquisición y gestión de referencias bibliográficas, hasta la diseminación de los trabajos científicos, tal y como anunciábamos (Torres-Salinas yDelgado, 2009).
Para la informetría, lo más relevante de las plataformas 2.0 son los indicadores que generan, que potencialmente podrían usarse en la evaluación de la ciencia. El número de lectores que almacenan un paper en sus gestores de referencias o el número de visitas de una presentación online bien pueden ser aproximaciones al interés que suscita un trabajo científico. De esta forma, los indicadores derivados de la participación de los usuarios en las herramientas 2.0 con fines académicos se han etiquetado como Altmetrics (Priem et al, 2010), un campo que supone uno de los desarrollos más significativos en la disciplina en los últimos años (Sugimoto, 2012). Dos son sus principales características: por un lado miden la repercusión individual de una aportación y no la de su contenedor (como elImpact factor, que mide el impacto de la revista pero no es representativo del impacto individual de cada artículo) y, en segundo lugar, se generan con una rapidez mucho mayor que los indicadores bibliométricos.
En el plano académico, la investigación sobre Almetrics se ha concentrado principalmente en la comparación con los indicadores tradicionales así como en la identificación de las herramientas 2.0 con más sentido desde el punto de vista de la medición del impacto investigador (Wouters y Costas, 2012). Si bien algunos de estos trabajos levantan serias dudas metodológicas (Eysenbach, 2011; Shuai et al, 2012), lo cierto es que apuntan una dirección clara, y es que las Altmetrics deben ser validadas respecto a los indicadores bibliométricos.
Esto demuestra el interés de la comunidad investigadora sobre la emergente disciplina, circunstancia que también se detecta en el establishment editorial. Tres hechos lo evidencian: el lanzamiento de una colección en PLoS One para dar cabida exclusiva al tema, la introducción de indicadores altmetrics en Scopus junto a datos de citación, y la incorporación de estas medidas a los artículos publicados por el grupo editorial deNature.
Sin embargo, y pese a la profusión de estadísticas que ofrecen algunas de estas fuentes, no todas tienen sentido desde la perspectiva de la evaluación. Así, y parafraseando el aserto de Einstein, cabría decir que no todo lo que se puede contar, cuenta. Se detectan una serie de problemas y limitaciones que, como en toda disciplina naciente, deben ser sorteadas para adquirir entidad y valor propio. Algunos de los problemas que señalaremos son la heterogeneidad de fuentes, la masa crítica, el significado de los indicadores o su carácter evanescente.
2. Algunos de los problemas actuales de las Altmetrics
A diferencia de la Bibliometría, bajo la etiqueta Altmetrics se aglutinan un grupo muy heterogéneo y variopinto de fuentes de información e indicadores. En primer lugar se agrupan fuentes de información, redes sociales y plataformas que no necesariamente son de un ámbito estrictamente académico o científico como, por ejemplo, ocurre con las generalistas Facebook o Twitter; otras sin embargo como Research Gate o Mendeley sí están enfocadas a investigadores. Por añadidura este problema se extiende a los indicadores ya que además, cada plataforma genera sus propias métricas. Esto hace que las Altmetrics sean un cajón de sastre que puede agrupar decenas de indicadores. Si bien en Bibliometria existen también cientos de indicadores, también es cierto que la materia prima es siempre la citación, la expresión más reconocible del reconocimiento en ciencia.
Esta situación, donde surgen todo tipo de indicadores, genera un problema esencial, y es que nos enfrentemos a medidas de las que por un lado no sabemos hasta qué punto pueden ser equiparables y, por otro lado, tampoco se pueden establecer jerarquías o clasificaciones entre ellas. Por ejemplo, sabemos que a la hora de medir el impacto individual de un científico, tiene más sentido usar el índice H que el factor de impacto de la revista donde ha publicado. Pero, ¿qué ocurre en el universo Altmetrics? ¿Cuántos tuits equivalen a una cita? ¿Es más valioso un “me gusta” en Facebook que una visita enSlideshare?
Lo que sí sabemos en este sentido es que existen unas Altmetrics que funcionan mejor que otras en el entorno académico-científico que estamos tratando. Una cuestión clara es que hay indicadores poco significativos, ya que apenas existe masa crítica en las aplicaciones que proporcionan dichas estadísticas.
Por ejemplo, en nuestro trabajo de 2010 (Cabezas-Clavijo y Torres-Salinas, 2010) ya señalábamos que en la revista Plos one, el 91% de los trabajos nunca eran puntuados o que el 89% nunca fue enlazado desde blogs. Igualmente (Priem et al., 2012) muestra porcentajes similares de actividad en Facebook o en el sitio de etiquetado social Delicious. Sin embargo, en otros indicadores como las descargas, las citas y los lectores en Mendeleyel porcentaje de artículos con valores distintos a cero superaban el 60%. En el caso de esta última herramienta, incluso ofrecía datos más elevados que los registrados en cuanto a citas en Web of Science y Scopus. En el caso concreto del indicador “readers” deMendeley, ya se perfila como un firme candidato al trono de la Altmetrics. Se evidencia pues, que los indicadores pueden ser muchos pero no todos son estadísticamente significativos y válidos.
Las dudas sobre su validez estadística se extienden a su significado; si herramientas como los gestores de referencias pertenecen a comunidades académicas y claramente indican un uso específico, no ocurre igual con indicadores como un “me gusta” o un tuit; o como mínimo no sabemos interpretar su valor. En estas últimas no es fácil discernir entre el impacto científico y lo que podíamos denominar como impacto social. Un retuit de nuestro artículo puede hacerlo un investigador o alguien completamente ajeno al mundo científico. Asimismo, en Bibliometría, los indicadores son dependientes de la disciplina, no significan lo mismo cinco citas en Inmunología que en Matemáticas. ¿Sucede lo mismo en Altmetrics?, ¿son los indicadores dependientes del campo?
Las propias métricas pueden están determinadas tanto por nuestra red de contactos como por el tamaño de las comunidades y la disponibilidad de material online. Lógicamente los indicadores serán más válidos en aquellas comunidades científicas más receptivas al mundo 2.0.
Otro de los problemas al que nos enfrentamos es el carácter evanescente de la mayor parte de las fuentes de información y métricas. El 2.0 es un mundo muy inestable y a diario asistimos al nacimiento y a la muerte de herramientas de tipo social, o al cambio de su estatus y consideración; son importantes un tiempo y después no, como ocurrió por ejemplo con Myspace o Delicious. El problema de la evanescencia no sólo afecta a las fuentes, ya que también ocurre con los propios indicadores, que pueden estar disponibles sólo un breve período de tiempo, como ocurre con los retuits o con la desaparición de los propios usuarios y los indicadores asociados a ellos. Las Altmetrics para el mismo conjunto de documentos pueden ofrecer resultados muy diferentes si las mediciones están separadas en el tiempo, lo que genera importantes problemas de replicabilidad y fiabilidad.
3. A modo de conclusión
Pese a la inmadurez y a la fase de experimentación en que se encuentran las Altmetrics, hay que dar la bienvenida a las nuevas métricas y perspectivas en la evaluación del impacto investigador. Quizás ahora, al ser un campo en ebullición que permite con facilidad obtener estadísticas, nos dejemos llevar por el entusiasmo en su adopción, pero son necesarias más pruebas y experimentos para comprobar qué indicadores y fuentes de información se asientan como válidos para la evaluación científica, y qué es exactamente lo que significan. En definitiva, hemos de remarcar el papel protagonista que la investigación sobre Altmetrics está tomando dentro de la Bibliometría, lo que anuncia sin duda nuevas investigaciones y proyectos de gran interés en fechas próximas.
Más allá de las críticas realizadas, hay que señalar que estas nuevas medidas pueden ser útiles para medir la repercusión de materiales con cauces de distribución distintos a los artículos, como conferencias, vídeos científicos e incluso materiales de carácter docente o divulgativo. Asimismo pueden proporcionar una variada información en ámbitos con patrones de comportamiento propios, como las Ciencias humanas donde la Bibliometría sigue despertando dudas y reticencias, o en disciplinas como las ingenierías, que presentan una orientación muy profesional. De este modo, las Altmetrics pueden servir para medir el impacto social de las investigaciones y ofrecer el reverso del impacto científico. Sin embargo hemos de ser escépticos ya que no todo lo que se puede contar, cuenta… al menos por el momento.
4. Bibliografía
Cabezas-Clavijo, Álvaro; Torres-Salinas, Daniel. “Indicadores de uso y participación en las revistas científicas 2.0: el caso de PLoS One”. El profesional de la información, 2010, v. 19, n. 4, pp. 431–434.
http://dx.doi.org/10.3145/epi.2010.jul.14
Priem, J.; Taraborelli, D., Groth, P.; Neylon, C. Altmetrics: a manifesto, 2010.
http://altmetrics.org/manifesto
Priem, J.; Piwowar, H.A.; Hemminger, B. H. “Altmetrics in the wild: An exploratory study of impact metrics based on social media”. En: Metrics 2011: Symposium on Informetric and Scientometric Research. New Orleans, LA, USA, 2012.
http://arxiv.org/abs/1203.4745v1
Shuai, X.; Pepe, A.; Bollen, J. “How the Scientific Community Reacts to Newly Submitted Preprints: Article Downloads, Twitter Mentions, and Citations”. PLoS one, 2012, v. 7, n. 11.
http://dx.doi.org/10.1371/journal.pone.0047523
Sugimoto, C.R. “Taking the Measure of Metrics: Interviews with Four ASIS&T Members”. ASIST Bulletin, 2012, v. 38, n. 6, pp. 33-38.
http://www.asis.org/Bulletin/Aug-12/AugSep12_Sugimoto.html
Torres-Salinas, Daniel; Delgado López-Cózar, Emilio. “Estrategia para mejorar la difusión de los resultados de investigación con la Web 2.0”. El profesional de la información, 2009, v. 18, n. 5, pp. 534-539.
http://dx.doi.org/10.3145/epi.2009.sep.07
Wouters, Paul; Costas, Rodrigo. Users, narcissism and control – tracking the impact of scholarly publications in the 21st century. Utrecht: SURF Foundation, 2012.
http://www.surf.nl/en/publicaties/Pages/Users_narcissism_control.aspx
