Significación estadística
Comprender el concepto
Indique la hipótesis, la estadística, los supuestos, el umbral de decisión y la estimación del efecto con incertidumbre. Más observaciones pueden mejorar la precisión si son informativas, pero la dependencia reduce la información efectiva. Una esperanza positiva pequeña puede exigir muchas más pruebas que un efecto mayor, y los resultados deben incluir costes de negociación plausibles.
Tamaño muestral y ventaja económica
Treinta ganadoras en 50 ensayos independientes estiman un porcentaje de aciertos del 60%; bajo un modelo binomial, el intervalo de Wilson del 95% es aproximadamente 46.2–72.4%. La selección, las operaciones dependientes y los cambios de régimen pueden hacer inadecuado ese modelo sencillo. El porcentaje de aciertos por sí solo no describe la esperanza: también importan los tamaños de ganancias y pérdidas y los costes.
Especifique un efecto económicamente significativo, un plan de validación fuera de muestra y un control de pruebas múltiples antes de seleccionar la mejor variante. La significación no sustituye a las comprobaciones de robustez ni a los controles de riesgo.
Error habitual
No interprete p = 0.03 como una probabilidad del 97% de operar con beneficio. Tampoco un backtest significativo supera la selección repetida de modelos, la filtración de información ni un cambio de régimen.
Para seguir aprendiendo
En el curso: 15.10 Auditoría de estrategia: cuándo corregir el sistema y cuándo corregirse a uno mismo; 15.4 Backtesting y pruebas prospectivas: métodos, pruebas y errores. Fuentes: American Statistical Association: declaración sobre valores p.
Preguntas frecuentes
¿Bastan 100 operaciones fuera de muestra?
¿Un resultado no significativo demuestra que no hay efecto?
No. La información limitada o la alta dispersión pueden impedir el rechazo. Informe de la estimación e incertidumbre, no trate el no rechazo como prueba de efecto cero.