El viernes 28 de agosto, Alejandro Vásquez, docente del Instituto de Fundamentos y Métodos en Psicología y del Centro de Investigación Básica en Psicología de la Facultad de Psicología (Udelar), junto con 269 coautores, publicaron en la revista Science sus resultados sobre la reproducibilidad en psicología.

Este proyecto (Proyecto de Reproducibilidad: Psicología, RP:P por sus siglas en inglés), coordinado por el Center for Open Science, ha logrado ser la investigación más completa sobre la tasa y predictores de la reproducibilidad en un campo específico de la ciencia, ya que llevó a cabo la replicación de 100 estudios publicados en tres de las revistas más importantes de la psicología. Se trata, como dice Vásquez, "del artículo que más horas de trabajo humano ha demandado en la historia de la psicología".

En esta investigación se señala que, independientemente del método analítico o de los criterios utilizados, menos de la mitad de las replicaciones produjeron los mismos hallazgos que el estudio original. Los resultados aportan evidencia considerable sobre los desafíos para reproducir resultados ya publicados y la necesidad de cambiar algunas prácticas en la investigación para mejorar esta tasa.

La ciencia es única respecto a otras formas de obtener conocimiento ya que se apoya en la reproducibilidad para dar confianza y prestigio a las ideas y evidencias. La reproducibilidad refiere a que se llega a los mismos datos y conclusiones de un estudio original cuando se replican, de forma independiente, los mismos métodos y procedimientos en un nuevo estudio. La evidencia científica no se basa en confiar en la autoridad de la persona que realiza el descubrimiento o del lugar dónde fue publicado. Por el contrario, la credibilidad se acumula a través de la replicación independiente de los datos y que los mismos sean reproducidos.
El equipo destaca que la incapacidad de reproducir no significa necesariamente que el informe original sea incorrecto. Según Vásquez "las razones por las que no se puede reproducir un estudio original pueden ser muchas, desde falta de información adecuada para ejecutar la replicación, hasta que la replicación sea un falso negativo". Sin embargo, "la falta de reproducibilidad no es descabellada considerando que los científicos intentamos empujar las fronteras de lo que conocemos y al elaborar hipótesis arriesgadas, hay conclusiones a las que podemos llegar que no son nada sólidas" dijo. 

Uno de los problemas de la Psicología, y de otros campos de la ciencia, es que los incentivos para los científicos no están alineados con la reproducibilidad. Actualmente, los incentivos para los científicos se derivan de la publicación de sus investigaciones, y particularmente en espacios de prestigio. Es más probable que sea publicada una investigación con hallazgos novedosos, que una investigación que examina las condiciones en que los resultados existentes pueden ser reproducidos.  Por este motivo muchos científicos se sienten atraídos en incursionar en investigaciones innovadoras, que promuevan grandes saltos en el conocimiento disponible frente a investigaciones que permitan consolidar el conocimiento ya disponible.

En este estudio, menos de la mitad de los hallazgos originales fueron replicados con éxito y se evidenció un declive de los efectos de aproximadamente el 50 %. Esto es, "reproducir resultados originales no es tan frecuente como la mayoría de los científicos cree que es hoy en día, los datos de un solo estudio ya no bastan para sostener una afirmación científica" dice Vásquez.

El equipo señala tres razones básicas por las que se pudo haber llegado a estos resultados:
1) Pese a que la mayoría de los equipos de replicación trabajaron con los autores originales para utilizar los mismos materiales y métodos, pequeñas diferencias en relación a cuándo, dónde o cómo la replicación se llevó a cabo podrían haber influido en los resultados.
2) La replicación podría haber fallado en alcanzar el resultado original por circunstancias casuales.
3) El resultado original podría haber sido un falso positivo.

Respecto a los objetivos de accesibilidad y la reproducibilidad, cada proyecto de replicación publicó sus métodos de investigación en un sitio web público, y luego añadió su base de datos y código informático para la reproducción de sus análisis.

El éxito del proyecto de RP:P ha permitido que proyectos similares hayan surgido en otras áreas de la ciencia, como el Proyecto de Reproducibilidad: Biología del Cáncer. También se denota la emergencia de una meta-ciencia, el análisis de la investigación científica mediante el método científico. La ciencia es un emprendimiento auto-correctivo y este proyecto configura un buen ejemplo de cómo un problema metodológico (como la falta de reproducibilidad) se puede analizar, y eventualmente corregir, mediante el mismo método para maximizar la calidad de los productos de la investigación.

MÁS INFORMACIÓN

> Referencia: Open Science Collaboration (2015). Estimating the reproducibility of psychological science.  Science, 349(6251). DOI: 10.1126/science.aac4716

> Sitio web del Proyecto Reproducibilidad: Psicología en el Open Science Framework con todos los detalles del proyecto, materiales, datos y autores: https://osf.io/ezcuj/

> Edición de junio de Science donde se introducen las directrices TOP (Transparency and Openness Promotion) con información, signatarios (>500 revistas), y los esfuerzos relacionados a través de disciplinas de las ciencias: http://cos.io/top

> Center for Open Science, patrocinador del Proyecto Reproducibilidad: Psicología y del Proyecto de Reproducibilidad: Biología del Cáncer: http://cos.io/

> Open Science Framework: infraestructura gratuita, de código abierto, para facilitar el intercambio de materiales de investigación y datos entre investigadores: http://osf.io/