Cómo no dejarte engañar al leer un artículo
científico. Primera parte
En el capítulo 11 de “Mala Ciencia” de Ben Goldacre, titulado “¿Es malvada la medicina convencional?” , se habla de las triquiñuelas para conseguir que un artículo científico diga lo que al investigador le conviene que diga, los sesgos por incompetencia o mala fe para conseguir un determinado resultado.¿Sorprendidos? Yo no.En Ciencia hay que ser lo más rigurosos y precisos posible, escépticos hasta la médula y exigentes. No nos queda otro remedio para avanzar en el conocimiento de lo que nos rodea. Para eso se inventó el método científico y por ello nos apoyamos en materias como la Estadística y la Medicina Basada en la Evidencia.La Estadística es un coñazo de asignatura. Ya está, ya lo he soltado. Pero es una asignatura muy necesaria para poder leer un artículo científico con espíritu crítico, interpretar los datos que nos aporta, ver la rigurosidad y veracidad de esos datos y darlos por válidos o no. Así, basándonos en ella podemos entender que, por ejemplo, para estudiar el efecto de un nuevo fármaco en el organismo tenemos que plantearnos dos posibilidades: la hipótesis nula, que no exista diferencia entre tomar ese fármaco y no tomar nada o tomar otro fármaco y la hipótesis alternativa, que verdaderamente haya diferencias. Los ensayos clínicos que se hagan irán dirigidos a tirar por tierra la hipótesis nula y demostrar que sí hay diferencias entre tomar ese fármaco y no tomar nada o tomar otro.Otro detalle a tener en cuenta al apoyarnos en la Estadística es la prueba de contraste de hipótesis, en la que comprobaremos si los resultados obtenidos que apuntan a que hay diferencias son reales. Para eso tenemos el grado de significación estadística o valor de p, de modo que cuanto más pequeño sea el valor de p menos posibilidades hay de que los resultados hayan sido por puro azar y más en contra se va de la hipótesis nula. Si dicha probabilidad es menor de o.o5 (valor que se ha tomado por consenso), la hipótesis nula se rechaza y se acepta la alternativa, que efectivamente hay diferencias, y se dice que el resultado es estadísticamente significativo. Este párrafo puede resultar un ladrillo indigesto, repasadlo las veces que sea necesario y preguntad, preguntad y preguntad 
¿Cómo podemos manipular o falsear todo lo contado hasta ahora para que vaya a nuestro favor en un ensayo clínico?Se me ocurren algunos ejemplos sencillos tras leer la bibliografía que cito al final del artículo y seguramente vosotros tengáis otros:1. Preferir comparar el fármaco con el placebo antes que con otro fármaco ya existente y bastante bueno, por cierto, consiguiendo reforzar la hipótesis alternativa, que sí hay diferencias. Claro, las gráficas salen más bonitas y llamativas al haber más diferencias entre el fármaco y tomar algo inefectivo que si comparamos el nuevo fármaco con el existente.2. En todo ensayo hay personas que abandonan el tratamiento o se salen de éste por efectos secundarios, principalmente. Obviar cuidadosamente estos abandonos y centrarse en quienes llegan al final del experimento es una bonita manera de maquillar resultados con hipótesis alternativa “positiva”.3. Si al realizar el ensayo vemos que no salen los datos que queremos, las diferencias que buscamos…pues mira, ve probando a comparar diferentes aspectos, a lo mejor no hay diferencias en el control de la tensión arterial, pero sí le baja el colesterol “una mijita” y oye, hay que fijarse en eso y darle bombo y platillo, nuestro fármaco consigue bajar el colesterol un poquito más que el que más se prescribe actualmente.En el siguiente capítulo os hablo de la relevancia clínica de los artículos.Bibliografía empleada:Cobo, Erik, et al. Bioestadística para no estadísticos. Elsevier Masson 2007.Goldacre, Ben. Mala Ciencia. Paidós 2011.
En el capítulo 11 de “Mala Ciencia” de Ben Goldacre, titulado “¿Es malvada la medicina convencional?” , se habla de las triquiñuelas para conseguir que un artículo científico diga lo que al investigador le conviene que diga, los sesgos por incompetencia o mala fe para conseguir un determinado resultado.¿Sorprendidos? Yo no.En Ciencia hay que ser lo más rigurosos y precisos posible, escépticos hasta la médula y exigentes. No nos queda otro remedio para avanzar en el conocimiento de lo que nos rodea. Para eso se inventó el método científico y por ello nos apoyamos en materias como la Estadística y la Medicina Basada en la Evidencia.
La Estadística es un coñazo de asignatura. Ya está, ya lo he soltado. Pero es una asignatura muy necesaria para poder leer un artículo científico con espíritu crítico, interpretar los datos que nos aporta, ver la rigurosidad y veracidad de esos datos y darlos por válidos o no. Así, basándonos en ella podemos entender que, por ejemplo, para estudiar el efecto de un nuevo fármaco en el organismo tenemos que plantearnos dos posibilidades: la hipótesis nula, que no exista diferencia entre tomar ese fármaco y no tomar nada o tomar otro fármaco y la hipótesis alternativa, que verdaderamente haya diferencias. Los ensayos clínicos que se hagan irán dirigidos a tirar por tierra la hipótesis nula y demostrar que sí hay diferencias entre tomar ese fármaco y no tomar nada o tomar otro.
Otro detalle a tener en cuenta al apoyarnos en la Estadística es la prueba de contraste de hipótesis, en la que comprobaremos si los resultados obtenidos que apuntan a que hay diferencias son reales. Para eso tenemos el grado de significación estadística o valor de p, de modo que cuanto más pequeño sea el valor de p menos posibilidades hay de que los resultados hayan sido por puro azar y más en contra se va de la hipótesis nula. Si dicha probabilidad es menor de o.o5 (valor que se ha tomado por consenso), la hipótesis nula se rechaza y se acepta la alternativa, que efectivamente hay diferencias, y se dice que el resultado es estadísticamente significativo. Este párrafo puede resultar un ladrillo indigesto, repasadlo las veces que sea necesario y preguntad, preguntad y preguntad
¿Cómo podemos manipular o falsear todo lo contado hasta ahora para que vaya a nuestro favor en un ensayo clínico?
Se me ocurren algunos ejemplos sencillos tras leer la bibliografía que cito al final del artículo y seguramente vosotros tengáis otros:
1. Preferir comparar el fármaco con el placebo antes que con otro fármaco ya existente y bastante bueno, por cierto, consiguiendo reforzar la hipótesis alternativa, que sí hay diferencias. Claro, las gráficas salen más bonitas y llamativas al haber más diferencias entre el fármaco y tomar algo inefectivo que si comparamos el nuevo fármaco con el existente.
2. En todo ensayo hay personas que abandonan el tratamiento o se salen de éste por efectos secundarios, principalmente. Obviar cuidadosamente estos abandonos y centrarse en quienes llegan al final del experimento es una bonita manera de maquillar resultados con hipótesis alternativa “positiva”.
3. Si al realizar el ensayo vemos que no salen los datos que queremos, las diferencias que buscamos…pues mira, ve probando a comparar diferentes aspectos, a lo mejor no hay diferencias en el control de la tensión arterial, pero sí le baja el colesterol “una mijita” y oye, hay que fijarse en eso y darle bombo y platillo, nuestro fármaco consigue bajar el colesterol un poquito más que el que más se prescribe actualmente.
En el siguiente capítulo os hablo de la relevancia clínica de los artículos.
Bibliografía empleada:
Cobo, Erik, et al. Bioestadística para no estadísticos. Elsevier Masson 2007.
Goldacre, Ben. Mala Ciencia. Paidós 2011.
Cómo no dejarte engañar al leer un artículo
científico. Segunda parte.
En el anterior artículo os comentaba que la Estadística es una asignatura antipática y fácilmente atragantable, pero bastante útil a la hora de ver si nos están engañando con un artículo científico. Hoy me meto en el fangal de la relevancia clínica.Cuando leemos un artículo lo tenemos que hacer de forma crítica y respondiendo a una serie de preguntas que nos orientarán acerca de la relevancia que tiene ese artículo, la importancia que puede tener para nosotros como profesionales de la Salud o pacientes.
1. ¿Es pertinente ese estudio, es importante investigar eso?¿A quién beneficia que salga un resultado positivo o negativo? ¿Para qué sirve eso que estamos investigando? Un ejemplo de algo que me parece relevante clínicamente hablando es encontrar una vacuna que frene al VIH, creo que beneficia a toda la población su descubrimiento y tiene una gran utilidad para una infección que hasta ahora se ha conseguido que se convierta en una enfermedad crónica.
2. ¿Se incluyen variables que son relevantes? Siguiendo con el ejemplo anterior, me parece relevante observar las defensas que se crean en el organismo, pero no me lo parece medir el colesterol que le sale a una persona en una analítica tras haberse puesto la vacuna.
3. ¿Tiene validez interna? Esto es importante. Para decir que un estudio tiene validez interna tenemos que constatar que no hay sesgos y es preciso al estudiar ese grupo de personas. Comprobamos que esa validez interna se da cuando al repartir a los pacienten en los diversos grupos del ensayo (por ejemplo, los que reciben un determinado fármaco y los que reciben un placebo) ha habido una aleatorización, sin “elegir” de forma consciente o inconsciente a qué grupo iba cada uno; si se haenmascarado lo suficiente como para que el paciente no sepa a qué grupo ha sido asignado,(simple ciego) no lo sepa tampoco quien le atiende y evalúa (doble ciego) e incluso que no lo sepa ni quien analiza los datos (triple ciego).
4. ¿Tiene validez externa? En un entorno controlado, con unas condiciones determinadas, podemos conseguir unos resultados muy bonitos, pero luego en la práctica, con miles de factores más, tenemos que ver si siguen siendo tan buenos. Un fármaco puede prometer ser lo mejor de lo mejor para controlar la tensión arterial en un ensayo clínico, pero al comenzar a usarse en la población, se ve que no es tan bueno como prometía porque hay otros factores que influyen y no se pudieron tener en cuenta. Lo mismo pasa con el ejemplo de la vacuna: en el laboratorio y en un ensayo controlado pueden obtenerse resultados estupendos y luego comprobarse que la inmunidad conseguida sólo dura 5 años, por poner un ejemplo.
5. Además de todo esto, ¿se ha hecho bien el estudio? Cuántas veces habremos patinado leyendo un artículo sin fijarnos bien en el apartado de “material y métodos”. Una muestra insuficiente para medir lo que nos interesa, una metodología defectuosa, factores importantes que no se han tenido en cuenta…Ben Goldacre comenta en su libro “Malaciencia” que uno de los trucos para que el artículo diga lo que el investigador (o el patrocinador) diga lo que quiere es ignorar el protocolo, meter todos los datos obtenidos en una hoja de cálculo y se destaque cualquier relación positiva, por nimia que sea, entre tomar un fármaco y cualquier resultado; si tomar el fármaco A para el colesterol hace que te crezca más pelo en las cejas, hay que darle bombo y platillo a eso. También hay que jugar con las normas que se establecieron para un ensayo, si dura 8 meses y a los 2 ya tenemos los resultados que queríamos, se para el ensayo antes de que con el paso del tiempo esos resultados tan buenos se diluyan por aparición de efectos secundarios o moderación del efecto conseguido. Otro truco es obviar a las personas que abandonan el ensayo clínico. Uno de los motivos más usuales para dejar un ensayo es haber sufrido un efecto secundario. Quitarlas de la base de dato embellece las estadísticas.
6. Oye, ¿y a cuántas personas tengo yo que tratar para evitar un solo caso? El famoso NNT ,Número de personas Necesario a Tratar, con el que nos machacan en la facultad y en las oposiciones. Puede parecer una pamplina pero no lo es, ya que es un indicador bastante útil para hacernos a la idea de lo eficaz y eficiente de una medida preventiva o un fármaco para frenar una determinada enfermedad. Cuanto menor sea ese número, mejores son esa medida o ese fármaco. La definición exacta de NNT es que a cuántas personas tendremos que aplicar ese tratamiento para evitar un nuevo caso de enfermedad o frenar la ya existente. Nos habla de la calidad de ese fármaco para conseguir el objetivo final, cuantas menos personas sea necesario aplicarle ese tratamiento para conseguir que nadie más sufra esa enfermedad o se desarrolle, más efectivo es. Es un medidor más de los muchos que se usan para ver lo efectivo que es un fármaco en la población, más allá de la eficacia demostrada en el laboratorio. Ejemplo práctico: imagina que sale a la venta un fármaco que aplicado una vez a la semana frena la halitosis, oliendo el aliento a menta fresca. Al mirar todos los datos, el número total de personas de la muestra escogida para investigar, aquéllos que les funcionó y los que no, si el NNT es bajito, por ejemplo 2, se dice que hace falta que 2 personas usen ese fármaco para que en las estadísticas salga que una no padece halitosis, mientras que si sale alto, por ejemplo 20, hace falta que 20 personas tomen ese fármaco para que una con total certeza no padezca halitosis.
En el próximo artículo me meto en algo más práctico: trucos a la hora de publicar los resultados y cómo a los profesionales de la salud nos regalan los artículos impresos para demostrarnos que tienen datos que avalan que ese fármaco es lo mejorcito del mercado.
Bibliografía empleada:
Cobo, Erik, et al. Bioestadística para no estadísticos. Elsevier Masson 2007.
Goldacre, Ben. Mala Ciencia. Paidós 2011.
Cómo no dejarte engañar al leer un artículo
científico. Tercera y ¿última? parte
Contaba hace poco los detalles en los que nos tenemos que fijar, especialmente desde el punto de vista estadístico, para evitar que nos la den con queso y con jamón al leer un artículo científico. Sin embargo, no sólo de Estadísticas vive el tramposo, también hay otras triquiñuelas con las que intentar quedar como un señor sin haber dado apenas palo al agua o curiosidades a tener en cuenta para entender cómo va el mundo de la publicación de artículos científicos.Comencemos con los sesgos, que en Fisterra podemos leer que son “ los errores sistemáticos en un estudio epidemiológico que producen una estimación incorrecta de asociación entre la exposición y la enfermedad. En definitiva producen una estimación equivocada del efecto“. Un sesgo bastante curioso del que la gente no se suele enterar es el sesgo de publicación. Ese fenómeno consiste en que es más probable que se publiquen los ensayos positivos que los negativos. Los investigadores tienden más a publicar un artículo tipo “señores, hemos descubierto esto” que otro tipo “señores, sentimos que hemos perdido el tiempo y nos hemos dado el jardazo del siglo“. Como comenta Ben Goldacre en “Mala Ciencia”, es más fácil convencerse de que no se ha descubierto nada que comprender que se ha descubierto algo: que lo que se estaba probando no funciona. ¿Qué ocurre con esto? Que no se dispone de TODOS los datos sobre un determinado tema, tan sólo una parte, con lo que lo publicado es una parte, la más bonita, pero no se puede ver publicado todo o casi todo lo referente a ello, dando lugar a apreciaciones equivocadas.
Otra posibilidad es intentar publicar el artículo en una revista poco conocida, preferentemente que esté editada y controlada por las empresas del sector farmacéutico. Es una buena manera de tener algo en papel que enseñar posteriormente a los residentes y adjuntos en el hospital durante las visitas semanales para recordar las bondades del producto. En una revista de gran impacto los revisores son muy estrictos y hasta tiquismiquis por un quítame allá esas comas, lo cual no interesa a la hora de intentar colar un artículo que hable a favor del producto sin mucho rigor.
También se puede publicar por duplicado y hasta triplicado un artículo, de modo que haga “eco” y dé la sensación de haber muchos artículos a favor de un determinado fármaco, sobreestimando su eficacia. ¿Cómo se hace eso? Redactando varios artículos usando los mismos datos. Un ejemplo de esto lo tuve hace un tiempo cuando hice un trabajo sobre el Dabigatrán, encontrándome con unos cuantos artículos que al leerlos cuidadosamente eran sospechosamente similares. Eran artículos financiados por la misma empresa que vende ese fármaco y la demostración vida de la máxima culinaria “aquí no se tira nada, todo se aprovecha“, mostrando varias veces los mismos datos presentados de distintas formas.
Seguro que a vosotros, queridos lectores, se os ocurren otras formas de hacer trampa e inflar los resultados. Se admiten sugerencias y apuestas
Bibliografía empleada:
Cobo, Erik, et al. Bioestadística para no estadísticos. Elsevier Masson 2007.
Goldacre, Ben. Mala Ciencia. Paidós 2011.
No hay comentarios:
Publicar un comentario