Algunos tipos de estudios sobre el cerebro necesitan miles de participantes para ser fiables

Los investigadores dividieron un gran conjunto de datos fiables para averiguar en qué se equivocan.

Una de las realidades desafortunadas de la ciencia es que los conjuntos de datos pequeños a menudo producen resultados poco fiables, ya que cualquier fluctuación menor y aleatoria puede tener un gran impacto. Una solución a este problema ha sido la creación de conjuntos de datos cada vez más grandes, en los que estas fluctuaciones tienden a ser pequeñas en comparación con los efectos reales. Una de las fuentes más destacadas de big data es el Biobanco del Reino Unido; recientemente se utilizaron escáneres cerebrales de personas del Biobanco para identificar los cambios en el cerebro provocados por la infección del SARS-CoV-2.

Algunos tipos de estudios sobre el cerebro necesitan miles de participantes para ser fiables

Ahora, un gran equipo de investigadores ha dado la vuelta a esta idea en un nuevo artículo. Tomaron algunos de los conjuntos de datos más grandes y los dividieron en trozos más pequeños para averiguar hasta dónde podían llegar los conjuntos de datos pequeños antes de que las cosas se volvieran poco fiables. Y, al menos para un tipo de experimento, la respuesta es que los estudios sobre el cerebro necesitan miles de participantes antes de ser fiables. E incluso entonces, no deberíamos esperar ver muchos efectos dramáticos.

Asociar todas las cosas

El equipo de investigación que realizó el estudio denominó el tipo de trabajo en el que estaban interesados "estudios de asociación de todo el cerebro", o BWAS. Es un enfoque bastante sencillo. Se coge a un grupo de personas y se les puntúa en un rasgo de comportamiento. A continuación, se les realizan escáneres cerebrales y se comprueba si alguna estructura cerebral presenta diferencias que se correlacionen sistemáticamente con el rasgo de comportamiento.

Al analizar todo el cerebro a la vez, evitamos cualquier sesgo que pueda provenir de lo que pensamos que hacen las regiones individuales del cerebro. El inconveniente es que hemos definido muchas estructuras cerebrales, lo que aumenta la posibilidad de una asociación espuria. Además, se han publicado estudios de BWAS con sólo unas pocas docenas de participantes, lo que significa que el azar podría desempeñar un papel importante en los resultados.

Para el estudio actual, el equipo de investigación combinó tres grandes conjuntos de datos para crear una población total de más de 50.000 personas. A continuación, analizaron todas las asociaciones posibles, teniendo en cuenta los rasgos de comportamiento que se habían marcado en los participantes.

Lo más sencillo que hicieron fue buscar la correlación más fuerte que pudieron encontrar. Existe una medida de la fuerza de una correlación, denominada r, en la que un valor de 1 representa una correlación perfecta y cero representa la ausencia de correlación (-1 es la anticorrelación). En términos de r, la mayor asociación que los investigadores encontraron entre miles de millones de pruebas fue de 0,16, lo que no es especialmente fuerte. De hecho, una correlación tan débil como r = 0,06 fue suficiente para que algo entrara en el 1 por ciento de todas las correlaciones. (Lo mismo ocurría con las anticorrelaciones).

No es de extrañar que muchos estudios hayan informado de correlaciones más fuertes que éstas. Los resultados indican que deberíamos tratar estos resultados con bastante escepticismo.

Donde las cosas van mal

Para seguir explorando los posibles problemas de los estudios de asociación, los investigadores dividieron la población del estudio en grupos mucho más pequeños, que iban desde sólo 25 participantes hasta 32.000, y luego volvieron a realizar el BWAS en estas poblaciones más pequeñas. En los estudios más pequeños, las asociaciones podían alcanzar hasta un r = 0,52. Esto es mucho más fuerte de lo que esperaríamos ver basándonos en el conjunto de datos completo, y sugiere algunos problemas bastante graves con los estudios pequeños.

Pero los investigadores tuvieron que ir mucho más lejos para que estos problemas desaparecieran. "Los errores estadísticos fueron generalizados en todos los tamaños de muestra del BWAS", escriben los investigadores. Incluso con poblaciones del orden de 1.000, las tasas de falsos negativos eran muy elevadas, lo que significaba que no se detectaba una asociación encontrada en el conjunto de datos completo. Y las asociaciones reales a veces parecían ser el doble de fuertes que en la población completa.

En general, parece que necesitamos varios miles de participantes antes de que los estudios del tipo BWAS puedan producir resultados fiables y reproducibles.

Los investigadores advierten que este trabajo se aplica a un tipo específico de estudio del cerebro. No significa que todos los estudios cerebrales con poblaciones bajas sean poco fiables; de hecho, el trabajo muestra que hemos aprendido mucho sobre la función cerebral a partir de muchos estudios pequeños.

Hay que tener en cuenta que gran parte de lo que entendemos sobre la función de las diferentes áreas del cerebro proviene del estudio de lesiones que afectan a un solo individuo. Los autores también descubren que algunos análisis relacionados -utilizando resonancia magnética funcional o realizando análisis multivariantes- tienden a producir resultados más sólidos utilizando su conjunto de datos.

Aun así, el artículo ofrece una advertencia clara e importante a las personas que investigan en este campo. La cuestión es cómo se llevará a cabo esa advertencia. Para que esta idea cambie las normas de publicación de los artículos, los editores de las revistas tendrán que prestar atención, al igual que otros investigadores del sector que actúan como revisores. Afortunadamente, el crecimiento de grandes conjuntos de datos públicos como el Biobanco facilitará que todo el mundo exija estudios más amplios y rigurosos.

Nature, 2022. 10.1038/s41586-022-04492-9.

Laura Andrade

Laura Andrade

Laura Andrade es una periodista freelance especializada en la investigación de la electrónica de consumo, especialmente de smartphones, tabletas y ordenadores. Actualmente participa en varios proyectos en los que se ha encargado de escribir sobre lanzamientos de nuevos productos digitales, aplicaciones, sitios y servicios para publicaciones impresas o en línea. Está constantemente estudiando las últimas tecnologías para estar siempre al día.

Elenbyte
Logo