Un resultado es estadísticamente significativo cuando su valor p es menor o igual que un umbral α fijado de antemano, llamado nivel de significancia (casi siempre 0.05). Decir «la diferencia es significativa al 5 %» quiere decir que, si en realidad no hubiera diferencia, un resultado así de extremo aparecería menos del 5 % de las veces. La palabra «significativo» es engañosa: en estadística no quiere decir importante, grande ni útil, solo que el resultado es difícil de explicar por puro azar de muestreo. Un efecto minúsculo puede ser significativo con una muestra enorme, y un efecto grande puede no serlo con una muestra pequeña.
Cómo se determina
- Fija α antes de analizar (0.05 es la convención; 0.01 en contextos más exigentes).
- Haz la prueba de hipótesis adecuada y obtén el valor p.
- Compara: si p ≤ α, el resultado es significativo a ese nivel.
- Calcula el tamaño del efecto (diferencia de medias, diferencia de proporciones, d de Cohen) y su intervalo de confianza.
- Juzga la importancia práctica con el tamaño del efecto y el contexto, no con el valor p.
El nivel de significancia y el nivel de confianza son dos caras de lo mismo: α = 0.05 corresponde a una confianza de 95 %. Un intervalo de confianza de 95 % para una diferencia excluye el 0 exactamente cuando la prueba bilateral es significativa al 5 %.
d = x̄₁ − x̄₂s
Una guía orientativa, propuesta por Jacob Cohen: d ≈ 0.2 es un efecto pequeño, 0.5 mediano y 0.8 grande. La referencia correcta depende del campo.
Ejemplos resueltos
Ejemplo 1: significativo pero irrelevante
Un ministerio compara dos métodos de enseñanza con 20,000 alumnos en cada grupo. Las medias finales son 7.52 y 7.48, con desviación estándar de 1.5 en ambos.
- Diferencia: 0.04 puntos.
- Error estándar de la diferencia: 1.5 × √(2 ÷ 20,000) = 0.015.
- z = 0.04 ÷ 0.015 ≈ 2.67; valor p ≈ 0.008. Significativo al 5 % y al 1 %.
- d de Cohen: 0.04 ÷ 1.5 ≈ 0.027, un efecto prácticamente nulo.
Cuatro centésimas de punto no justifican cambiar de método. El resultado es «real» en el sentido de que no parece azar, pero es irrelevante en la práctica.
Ejemplo 2: grande pero no significativo
Un taller de regularización se prueba con 8 alumnos, y otros 8 sirven de comparación. Medias: 8.0 y 7.0, con desviación estándar de 1.5 en ambos grupos.
- Diferencia: 1 punto completo; d ≈ 1 ÷ 1.5 ≈ 0.67, un efecto entre mediano y grande.
- Estadístico t: 1 ÷ (1.5 × √(2 ÷ 8)) ≈ 1.33, con 14 grados de libertad; valor p ≈ 0.20. No significativo.
La conclusión correcta no es «el taller no funciona», sino «con 16 alumnos no se puede distinguir un efecto de un punto del azar». Hace falta una muestra mayor, que se planea con un cálculo de potencia (tamaño de muestra).
Cómo reportar bien un resultado
- La estimación del efecto, con su unidad: «los alumnos del taller obtuvieron 1 punto más».
- Su intervalo de confianza.
- El valor p exacto (0.20, no «n. s.»).
- El tamaño de muestra y la prueba usada.
Cuándo no usar la significancia como criterio
- Para decidir si algo importa: eso depende del tamaño del efecto, del costo y del contexto.
- Con muchas comparaciones: con 20 pruebas a α = 0.05 sin efectos reales, se espera una «significativa» por azar. Ajusta α (por ejemplo, Bonferroni) o reporta todas.
- Con datos no aleatorios: la significancia solo cubre el error de muestreo, no el sesgo de selección.
Errores comunes
- Traducir «significativo» como «importante» en un informe para no especialistas.
- Interpretar «no significativo» como «no hay efecto».
- Comparar dos estudios por su valor p («en uno salió significativo y en el otro no, así que se contradicen»), cuando sus efectos pueden ser iguales.
- Cambiar α después de ver los resultados, o probar varias pruebas hasta que una cruce el umbral.
- Olvidar que α es la tasa de error tipo I que aceptas, no la probabilidad de que tu resultado sea falso.