Un
equipo de 270 científicos de todas partes del mundo ha intentado
reproducir los resultados de cien artículos de psicología experimental.
Habían sido publicados en las mejores revistas científicas. Sólo
consiguieron validar un 39% del total. ¿Significa que más de la mitad de
los estudios son fraudes? Las conclusiones van más allá.
El motivo por el que los artículos científicos son un tocho imposible de leer para el común de los mortales es que, bueno, son científicos:
tienes que ofrecer todos los detalles de las muestras y de los ensayos,
y hacer un análisis minucioso y objetivo de manera que otros
científicos puedan reproducirlos. El problema es que probablemente nadie
intentará repetir tu investigación, así que la mayoría de los
resultados que vemos publicados están sin comprobar. El 95% de ellos en el caso de la psicología experimental.
Brian
Nosek, profesor de psicología de la Universidad de Virginia, ha puesto
en marcha un proyecto colectivo para afrontar el problema: Reproductibility Project.
270 autores de psicología internacionales: 140 estadounidenses, 45
neerlandeses, 27 alemanes, 17 ingleses, 8 canadienses, 5 suecos, 5
belgas, 4 italianos, 4 hongkoneses, 3 escoceses, 3 austríacos, 2
españoles, 2 serbios, 2 australianos, un uruguayo, un paraguayo y un
israelí... Todos comprobando la reproducibilidad de cien estudios
relevantes. Y fallando sesenta y un veces.
A pesar de
que contaban con la colaboración de los autores originales y de que
respetaron todos los procedimientos descritos en los artículos de
referencia, en algunos casos llegaron incluso a la conclusión contraria a
la original. Sólo hallaron una correlación significativa en un 39% de
las réplicas; en otras palabras: sólo fueron capaces de reproducir 39 estudios.
Es más: de entre esos 39 casos, en 32 ocasiones no consiguieron llegar a
unos resultados tan concluyentes como los estudios originales.
Desde Reproductibility Project no acusan a los autores originales, sino al sistema:
«Los científicos reciben más incentivos por la novedad que por la reproducibilidad. La innovación es el motor del descubrimiento y es vital para una empresa científica productiva y eficaz. Sin embargo, las ideas innovadoras rápidamente se convierten en noticias obsoletas. Los editores y revisores de las revistas científicas suelen desechar nuevas pruebas de una idea ya publicada por ser poco original. La afirmación “ya lo sabíamos” contradice a la incertidumbre de la evidencia científica. La innovación descubre caminos que son posibles; la réplica descubre caminos que son probables; el progreso depende de ambas. Este proyecto proporciona nuevas evidencias a muchos hallazgos en la investigación psicológica y sugiere que hay mucho trabajo por hacer aún para verificar que sabemos lo que creemos que sabemos»
Volviendo a
la pregunta que nos hacíamos al principio: ¿son un fraude la mitad de
los estudios científicos sobre psicología? No necesariamente, pero
tampoco era el objetivo descubrirlo. Lo que Reproductibility Project
pone en evidencia es que el sistema no está funcionando si los
artículos se escriben para que puedan reproducirse y luego nadie se
acuerda de hacerlo.
0 Comentarios