¿Cuánta psicología no se repite?

Imagina que alguien coge cien estudios de psicología publicados en tres revistas y decide repetirlos todos, uno por uno, con los materiales originales y con muestras lo bastante grandes. ¿Cuántos darían el mismo resultado?

Eso hizo un proyecto colectivo cuyos resultados se publicaron en 2015. La cifra principal es llamativa, pero para entenderla hay que ver cómo se midió.

Cien estudios, repetidos

El proyecto de la Open Science Collaboration replicó 100 estudios experimentales y correlacionales de tres revistas de psicología, con diseños de gran potencia estadística y usando los materiales originales cuando estaban disponibles [1]. Los estudios procedían de artículos de 2008 de Psychological Science, Journal of Personality and Social Psychology y Journal of Experimental Psychology: Learning, Memory, and Cognition [1].

El resultado, en cifras [1]: el 97 % de los estudios originales tenía resultados estadísticamente significativos; en las réplicas, el 36 %. Los efectos de las réplicas eran, de media, la mitad de grandes que los originales. Pero hay más de una forma de contar el éxito de una réplica: en el 47 % de los casos, el efecto original quedaba dentro del intervalo de confianza del 95 % del efecto de la réplica; el 39 % se valoró subjetivamente como replicado; y al combinar original y réplica, suponiendo que los originales no estuvieran sesgados, el 68 % mantenía un efecto significativo [1].

Los autores lo dicen: ningún indicador describe por sí solo el éxito de una replicación [1].

Qué no significa esa cifra

Un fallo de replicación no prueba que el resultado original fuera un falso positivo. Los propios autores advierten de que una réplica puede fallar si su metodología difiere de la original de formas que impiden observar el efecto, y de que factores no previstos de la muestra, el entorno o el procedimiento podrían haber alterado el resultado [1]. Y al revés: replicar con éxito un resultado muestra sobre todo que es fiable, no que la teoría que lo explica sea correcta [1].

Tampoco sale igual en todas partes. Según la versión preliminar del trabajo, replicaron con significación 14 de 55 efectos de psicología social (25 %) y 21 de 42 de psicología cognitiva (50 %) [1]. Los autores lo atribuyen en parte a que los efectos originales eran más débiles en la social y, quizá, a que en la cognitiva son más frecuentes los diseños con las mismas personas medidas varias veces, que dan más potencia estadística [1].

Y hubo pistas sobre qué se replica mejor. La fuerza de la evidencia original, por ejemplo un valor p bajo, predecía el éxito mejor que las características de los equipos, y, según algunos indicadores, los efectos más sorprendentes se replicaron peor [1]. Una explicación plausible, según los autores, es la combinación de estudios de poca potencia con el sesgo a publicar resultados positivos, que da una literatura con efectos exagerados [1].

¿Crisis o no?

El debate sobre cómo leer estos datos fue inmediato. Gilbert, King, Pettigrew y Wilson sostuvieron en 2016 que el trabajo tenía tres errores estadísticos y que sus datos eran compatibles con lo contrario: que la reproducibilidad es bastante alta [2]. Los autores del proyecto respondieron que esa conclusión optimista descansaba en errores estadísticos y en inferencias causales a partir de datos correlacionales interpretados de forma selectiva, y que los datos respaldan tanto conclusiones optimistas como pesimistas, de modo que ninguna está aún justificada [3].

Los propios autores del proyecto piden no leerlo como una derrota: lo describen como la ciencia comportándose como debe y ven margen para mejorar [1].

¿Y en las revistas más prestigiosas?

Camerer y sus colegas repitieron 21 experimentos de ciencias sociales publicados entre 2010 y 2015 en Nature y Science. Las réplicas tenían los planes de análisis revisados por los autores originales y registrados de antemano, y muestras de media unas cinco veces mayores [4]. En 13 de los 21 (62 %) hubo un efecto significativo en la misma dirección; los efectos de las réplicas fueron de media aproximadamente la mitad de los originales [4]. Las predicciones de otros investigadores sobre cuáles se replicarían se parecían mucho a lo que ocurrió, lo que sugiere que los fallos no se debieron solo al azar [4].

¿Por qué tantos resultados positivos?

Una pista sobre el origen del problema viene de comparar la literatura estándar con los informes registrados, un formato en el que el artículo se revisa y se acepta antes de conocer los resultados. Scheel, Schijen y Lakens compararon 71 informes registrados con una muestra de 152 estudios de la literatura estándar: en la primera hipótesis de cada artículo, el 96 % de los estándar tenía resultados positivos frente al 44 % de los registrados [5]. Los autores sugieren que gran parte de la diferencia podría deberse a un menor sesgo de publicación o a una menor inflación de falsos positivos [5].