Статистическая значимость

Автор: Jarosław Wasiński • Опубликовано: 23 окт. 2026

Результат теста, указывающий, что данные удовлетворяют критерию отклонения определённой нулевой гипотезы при предполагаемой модели. p-значение — это вероятность, при данной гипотезе и модели, получить результат не менее крайний, чем наблюдаемый; это не вероятность того, что преимущество реально или что результат вызван случайностью. Статистическая значимость отличается от полезного преимущества после затрат. На интерпретацию влияют размер выборки, зависимости, множественное тестирование и отбор по результатам вне выборки; универсального числа сделок, доказывающего преимущество, не существует.

Пример. Для 20 независимых тестов истинных нулевых гипотез при α = 0.05 ожидаемое число ложных отклонений — 20 × 0.05 = 1, а не гарантия ровно одного. Вероятность хотя бы одного — 1−0.95²⁰ ≈ 64.15%. Формула неприменима к зависимым тестам без дополнительных предпосылок.

Понимание понятия

Укажите гипотезу, статистику, предпосылки, порог решения и оценку эффекта с неопределённостью. Больше наблюдений могут улучшать точность, если информативны, но зависимость снижает эффективную информацию. Малое положительное ожидание может требовать гораздо больше доказательств, чем крупный эффект; результаты должны включать правдоподобные торговые затраты.

Размер выборки и экономическое преимущество

Тридцать выигрышей в 50 независимых испытаниях оценивают долю 60%; при биномиальной модели 95% интервал Уилсона — примерно 46.2–72.4%. Отбор, зависимости сделок и смена режимов могут делать простую модель недостаточной. Одна доля выигрышей не описывает ожидания: важны размеры выигрышей, убытков и затраты.

До выбора лучшего варианта задайте экономически значимый эффект, план валидации вне выборки и контроль множественных тестов. Значимость не заменяет проверок устойчивости и контроля риска.

Типичная ошибка

Не читайте p = 0.03 как вероятность прибыльной торговли 97%. Значимый бэктест также не преодолевает повторный отбор моделей, утечку информации или смену режима.

Дальнейшее обучение

В курсе: 15.10 Аудит стратегии — когда исправлять систему, а когда себя; 15.4 Историческое и форвард-тестирование — методы, свидетельства и ловушки. Источники: Американская статистическая ассоциация: заявление о p-значениях.

Частые вопросы

100 сделок вне выборки достаточно?

Универсального порога нет. Нужная информация зависит от величины эффекта, изменчивости, зависимости, дизайна исследования и нужной точности.

Незначимый результат доказывает отсутствие эффекта?

Нет. Мало информации или большой разброс могут мешать отклонению. Указывайте оценку и неопределённость, не принимая неотклонение за доказательство нулевого эффекта.

← Вернуться к полному глоссарию