Buena parte de la divulgación científica trata de asuntos que se consideran problemas sociales. Entre ellos, destaca en las últimas décadas el de la obesidad: una “epidemia de obesidad” amenazaría la salud mundial. Esa epidemia tendría varias causas, pero entre ellas destacaría una: ahora no nos movemos -nos hemos vuelto perezosos- y comemos comida basura -nos hemos alejado de una supuesta “dieta mediterránea” que habrían practicado felizmente nuestros ancestros en épocas anteriores (cuando se pasaba hambre)-.

Cuando algo se convierte en problema social, los medios de comunicación suelen informar sobre cualquier “descubrimiento” en torno a él. Así, periódicamente nos llegan noticias sobre investigaciones científicas que han hallado las virtudes o peligros de algún alimento para la salud o para evitar la obesidad.

El problema es que a menudo existe una enorme discrepancia entre cómo se comunican los “hallazgos” y la evidencia que los sostiene. Estos “descubrimientos” suelen comunicarse como verdades absolutas y poco matizadas: “comer gominolas condena a una muerte temprana y agónica”, “los niños que juegan a la play station tendrán tendencias suicidas de adultos”. Sin embargo, a menudo se basan en datos poco robustos o discutibles. Ello se ve alimentado por el aumento de la competencia entre científicos: para captar atención pública y fondos económicos, cada vez es más común que vendan como evidencia indiscutible “datos” discutibles y sujetos a múltiples interpretaciones.

Recientemente ha suscitado mucho debate en la comunidad científica una práctica conocida como “p-hacking” (traducible como “piratear relaciones significativas”). Ésta consiste en lo siguiente: de todos los resultados que me da la investigación, publico únicamente aquellos que sostienen mi hipótesis y guardo bien escondido en un cajón el resto. Para entenderlo, hemos de comprender primero en qué consiste la “significatividad estadística”. Para ello hemos de distinguir la muestra y la población.

Si hago una encuesta para saber qué opina la población española, no pregunto a todas las personas que componen esa población, sino a una parte ínfima: a una “muestra” que se supone “representativa” del total. Esto suscita la siguiente pregunta: ¿los resultados que encuentro en la muestra se pueden generalizar a la población? Esta pregunta, traducida estadísticamente, viene a ser: ¿qué probabilidades hay de que encuentre las mismas diferencias en la población total? A pinceladas gruesas,la significatividad estadística es la respuesta matemática a esta pregunta: un índice p 0.05 me dice que la probabilidad de que esos resultados no se correspondan con los de la población total es del 5% (en otras palabras, que la probabilidad de que se correspondan con una diferencia en la población total es del 95%).

Aquí se suelen producir dos malentendidos.

Primero: se confunde la significatividad estadística con la probabilidad de que el resultado sea verdadero. La significatividad estadística sólo nos dice la probabilidad de que haciendo las mismas preguntas a toda la población obtengamos resultados similares. No nos dice que el resultado sea correcto, refleje alguna realidad o tenga sentido. Pondré un ejemplo: puedo preguntar en una encuesta a las personas si son generosas. El 99% me dice que sí y un 1% que no, con una significatividad de 0.05. Eso significa que sólo habría un 5% de probabilidades de que el resultado fuera muy distinto del que hallaría preguntando a toda la población. Pero no me asegura que el resultado tenga alguna validez: quizás todos nos vemos más generosos de lo que somos, quizás todos entendemos cosas distintas por ser generosos, quizás sea estúpido realizar esa pregunta…

Segundo: se confunde un 95% de certeza con una certeza total. Este es un sesgo cognitivo corriente: asimilamos una probabilidad muy alta o muy baja a la certeza de que algo ocurrirá o no. Pero, aplicando este razonamiento, a nadie le tocaría nunca el gordo de la lotería: las probabilidades de que le toquen a cada décimo son ínfimas. Y, sin embargo, “siempre toca”.

Este segundo malentendido está muy relacionado con el “p-hacking”. Pongamos que hago una investigación y relaciono cien variables independientes con cien variables dependientes: tengo diez mil resultados. La probabilidad de que cada resultado no se dé en la población total es del 5%. Pero la probabilidad de que, entre esos diez mil resultados, haya centenares de resultados “falsos” es altísima. Matemáticamente, la probabilidad de que obtenga un buen puñado de relaciones “estadísticamente significativas” que realmente se deba al azar es superior al 99%. Y aquí es donde juega el p-hacking: tras ver todos los resultados elijo aquellos que arrojen relaciones significativas en el sentido deseado. Luego sólo me queda escribir como hipótesis -que afortunadamente se confirmarán- esos resultados y mandar el artículo a una revista. El conejo sale del sombrero, el artículo se publica y la opinión pública tiene una nueva “evidencia científica”.

He recordado todo lo anterior al tropezar con un artículo, accesible aquí, que se pregunta si en España las personas obesas o con sobrepeso siguen menos las recomendaciones dietéticas que las personas sin sobrepeso. Para ello tienen los datos de una encuesta donde se pidió a las personas encuestadas (en una muestra de 2009 personas) que anotaran sus ingestas durante tres días. En el resumen de resultados podemos leer lo siguiente:

“Los individuos con sobrepeso/obesidad (IMC≥ 25 kg/m2) y adiposidad abdominal (WHtR≥ 0.5) mostraron una menor adherencia a las recomendaciones dietéticas”.

Bueno -pensaremos- está claro, los gordos comen peor (es lo que dice el artículo con palabras más técnicas y neutras). Quizás. Pero lo importante aquí no es que la ciencia nos conforte en nuestras ideas previas (está gordo, seguro que se hincha a comer torreznos y pizzas), sino qué datos sostienen sus afirmaciones. Para ello hemos de revisar su metodología: cómo se han obtenido los datos, cómo se pueden interpretar. Nos fijaremos en lo segundo.

Aunque recomiendo examinar detenidamente todas las tablas que incorpora el artículo -que tienen una lógica similar-, me detendré en una tabla pequeña.

En esta tabla se contrasta lo que comen las personas sin sobrepeso (Indice de Masa Corporal -en inglés: BMI- <25) con las que tienen sobrepeso (IMC: 25-29.9) y obesidad (IMC ≥ 30). Tenemos 13 agrupaciones de productos alimentarios y la tabla nos dice si hay diferencias significativas en su consumo entre personas sin sobrepeso y personas con sobrepeso (se marca con “a” en las columnas de “p”) y entre personas sin sobrepeso y personas obesas (se marca “b”). El primer conjunto de columnas son los cálculos para hombres; el segundo, para mujeres. En total tendríamos así: 13 alimentos x 2 sexos x 2 comparaciones: 52 comparaciones. ¿Cuántas diferencias significativas hallamos? (que, como hemos visto, no es lo mismo que “verdaderas”). ¡Cuatro! Detengámonos en ellas: en todas ellas cuanto mayor es el porcentaje menos sano se come (se comparan comportamientos poco saludables).

1. El primer comportamiento (marcado con “a”) donde encontramos diferencias significativas es en comer más de tres porciones de carne+pescado+huevos al día. Se supone que se debería comer tres porciones o menos de este conjunto de alimentos. La tabla nos muestra que los hombres con sobrepeso presentan menos este comportamiento insano que los hombres que no tienen sobrepeso: un resultado contrario a las expectativas de los investigadores.

2. Menos personas con obesidad comen más de dos porciones de verduras al día que personas sin sobrepeso (marcado con “b”). Esta diferencia significativa, sin embargo, es minúscula: un 85,2% frente a un 82,4%. Además, no hay diferencia significativa entre personas con sobrepeso y personas sin sobrepeso.

3 y 4. Hay más personas con sobrepeso y más personas con obesidad que comen menos de dos frutas al día que personas sin sobrepeso (marcado con “a, b”). La diferencia nuevamente es muy pequeña y los porcentajes -85% de personas sin sobrepeso, frente a 89,5% con sobrepeso y 91,2% con obesidad- nos indican que muy poca gente, gorda o flaca, comería (si la encuesta refleja ingestas reales) al menos dos frutas al día.

La conclusión que sacan los autores, como hemos visto, es que las personas con sobrepeso y obesidad siguen menos las recomendaciones dietéticas. Esto es seleccionar los datos que interesan e ignorar el resto a plena luz del día -hay que reconocer que al menos publican muchas comparaciones, a diferencia de la práctica habitual de p-hacking, donde se ocultan las inconvenientes-. Recapitulemos. Tenemos 52 comparaciones. 48 nos dan que no hay ninguna diferencia entre los tres grupos, 1 que las personas con sobrepeso siguen más las recomendaciones dietéticas y 3 que las siguen menos -pero con diferencias mínimas-. A mí no se me ocurre otra conclusión que la siguiente: Las diferencias entre los tres grupos (sin sobrepeso, sobrepeso, obesidad) son minúsculas o nulas. Pero esta conclusión no serviría para seguir alimentando el mantra de la cruzada anti-obesidad: estamos gordos porque comemos muy mal. Es ese mantra el que, despojado de los débiles datos originales, llegará a los medios de comunicación, cebando con “evidencias científicas” el “problema social” de la obesidad.

Publicación relacionada: