Множественное тестирование

Автор: Jarosław Wasiński • Опубликовано: 23 окт. 2026

Совместная оценка многих гипотез, где порог значимости одного теста не контролирует автоматически ошибки всего семейства. FWER относится к вероятности хотя бы одного ложного отклонения, FDR — к ожидаемой доле ложных отклонений среди всех отклонений. Это разные цели контроля. Выбирайте метод по исследовательской цели, числу попыток и предпосылкам зависимости.

Пример. Для пяти упорядоченных p-значений 0.0004, 0.008, 0.019, 0.021 и 0.070 метод Бонферрони при α = 0.05 использует 0.01 и отклоняет две гипотезы. BH при q = 0.05 использует пороги 0.01, 0.02, 0.03, 0.04 и 0.05 и отклоняет первые четыре.

Как это работает

Определите семейство тестов до трактовки результатов, включая отвергнутые варианты стратегии. Бонферрони контролирует FWER при корректных p-значениях без требования независимости. Классическая процедура Бенджамини—Хохберга контролирует FDR при подходящих условиях зависимости.

Типичная ошибка

Не считайте FDR 5% гарантией заработка 95% отобранных стратегий. Отклонение статистической гипотезы не устанавливает ни экономической величины преимущества, ни затрат исполнения или будущей устойчивости.

Дальнейшее обучение

В курсе: 5.12 Автоматизация и скрининг в техническом анализе — инструменты, процесс и ловушки. Источники: ASA: заявление о p-значениях; R: методы поправки p-значений.

Семейство и зависимость

Определите, относятся ли варианты к одному решению об отборе стратегии. Исключение отвергнутых попыток занижает влияние отбора. Используйте метод, подходящий для зависимых гипотез; FWER и FDR контролируют разные характеристики ошибок.

Первичный источник проверен 11 октября 2026 года: www.amstat.org.

Частые вопросы

Поправка исправляет плохие данные?

Нет. p-значения должны происходить из корректной модели и базы. Поправка не устраняет заглядывания в будущее, утечки информации или пропущенных затрат.

Можно считать только последние пять сохранённых моделей?

Нет, если при отборе использовалось более широкое семейство попыток. Опишите фактический процесс поиска.

← Вернуться к полному глоссарию