¿Publicar o no publicar?
Hace poco me encontré con un problema que es bastante habitual en investigación médica y me hizo recordar mis inicios en este campo, donde me encontré con el mismo problema, pero entonces la solución fue completamente distinta.
Seguramente te estarás preguntando ¿Y qué problema es ese tan habitual?
Se trata del sesgo de publicación. Seguramente sabrás, y si no lo sabes, yo te lo cuento, el sesgo de publicación es la tendencia a publicar investigaciones con resultados “positivos” (evidencia de una asociación estadísticamente significativa) y evitar publicar resultados “negativos”, es decir, aquellos en los que no se observa una evidencia de una asociación estadísticamente significativa.
Y no solo eso, también se ha observado que hay más tendencia a publicar resultados “positivos” con una magnitud del efecto grande, que no resultados “positivos” con una magnitud del efecto más pequeño.
Es verdad que, dentro del campo de la salud, hay especialidades en las que este sesgo se da más que en otras, pero nadie se salva.
Te comentaba al inicio que hace poco me encontré con este problema porque un profesional de la salud al que iba a ayudar con su análisis estadístico me comentó, antes de empezar el análisis, que no estaba seguro de si iba a “salir alguna cosa”. Y que no sabía si invertir tiempo y dinero en el análisis porque lo más probable es que no “saliera nada”.
Cuando empecé como bioestadística en el Instituto Municipal de Investigación Médica (IMIM), hace muchos años, se dio una situación parecida. La diferencia fue que, el investigador que lideraba el proyecto tenía claro desde un inicio, antes de realizar el análisis, que saliera lo que saliera eso era una publicación, ya que tanto si era un resultado “positivo” como “negativo”, era un resultado que la comunidad científica debía conocer.
¿Sabes como me di cuenta de que en este caso se iba a publicar saliera lo que saliera?
Porque este investigador, mientras yo analizaba los datos, él iba escribiendo la introducción, la metodología y parte de los resultados y la discusión del artículo científico. Así que, estaba claro que saliera lo que saliera acabaría siendo una publicación!
Y no solo eso, una vez el análisis demostró que no había evidencia de una relación estadísticamente significativa, ¡ese fue el título del artículo!
“Nitrogen dioxide is not associated with respiratory infection during the first year of life”
Si tu curiosidad puede más que tú, ahora correrás a buscar en PubMed el artículo para ver quién es el primer autor 😊
Pero es que además este artículo, con su título “negativo”, se publicó en la revista International Journal of Epidemiology, que en el año 2004 ya era una revista del cuartil 1 (Q1)!
Lamentablemente, el hecho de que una relación resulte estadísticamente significativa o no, no es el único factor que influye a la hora de decidir que algunos resultados se publiquen y otros no.
También tienen más probabilidad de ser publicados los resultados de temas de interés público, con independencia de la importancia de sus resultados.
Además “el padrino” también influye, es decir, si una casa comercial está financiando el estudio de un producto suyo, seguramente no va a publicar un resultado en el que ese producto no funciona, ya que no querrá que todo el mundo sepa que su producto no funciona.
Quizá pienses que si una revista con revisión por pares no publica un artículo con un resultado “negativo” será porqué ese artículo no es de buena calidad. Podría ser este el motivo, pero la revisión por pares no es garantía de calidad, ya que, lamentablemente es frecuente que ni el investigador que realiza el trabajo ni los revisores de la revistan tengan una formación en metodología que asegure la calidad del producto final.
Por cierto, el investigador actual, el que no sabía si invertir esfuerzos en el análisis estadístico de su estudio porque no sabía si iba a “salir alguna cosa”, finalmente lo hizo, y he de decirte que sí que “salió alguna cosa”. Mi pregunta aquí es…. si no hubiese “salido nada”, ¿qué hubiera hecho esta persona? Seguramente contribuir a aumentar el sesgo de publicación.
No discrimines tus resultados en función de si son resultados positivos o negativos, efectos grandes o más pequeños. Si estás investigando es porque con tus resultados quieres contribuir a mejorar la salud de la población, así que si no observas evidencia de asociación significativa, eso también es un resultado que debes dar a conocer.
¿Te has encontrado con situaciones como ésta?
