Тестирование вне выборки
В примерах используется английская запись чисел: запятая разделяет группы тысяч, точка отделяет дробную часть. 1,000 означает тысячу, а 1.25 — один с четвертью.
Выборка отдельно от отбора
OOS означает данные, не использованные для выбора оцениваемой стратегии, а не просто файл с другим названием. Выбор параметров, инструментов или исключений после просмотра теста также использует его информацию. Дальнейшие исследовательские циклы можно проводить прозрачно, однако различайте валидацию при разработке и окончательный тест. Сохраняйте решения и версии, чтобы было ясно, чего разработчик модели действительно не видел.
Хронология и утечка
Случайное перемешивание рыночных временных рядов может смешивать будущую и прошлую информацию. Настраивайте масштабирование, выбор признаков и пороги только по данным, доступным до теста. Сделки или метки, охватывающие будущий интервал, могут пересекать границы выборок; определите исключения, соответствующие их горизонтам. Один календарный разрыв не устраняет каждую утечку. См. документацию scikit-learn об утечке данных с примерами.
Что значит слабый результат?
Возможные причины включают переобучение, изменившиеся рыночные условия, более высокие затраты, ошибку реализации или неопределённость малой выборки. Исследуйте диагнозы, вместо того чтобы автоматически объявлять переобучение. Сообщайте число завершённых сделок, разброс и все сборы. Короткий положительный период OOS также не является сертификатом прибыльности; он остаётся оценкой в рамках конкретной модели и окна измерения.
Документы делают тест воспроизводимым
Сохраняйте версию кода, исходные данные, расписание публикаций и спецификацию продукта. Определите, как обрабатываются открытые позиции, пересекающие границы выборок, и как индикаторы получают историю для начального расчёта. Более ранние наблюдения, используемые для расчёта индикатора, отличаются от будущих результатов, используемых для выбора параметров. Запись должна воспроизводить точную версию теста, не внося молча знание более позднего периода в предыдущую оценку.
Практический протокол
Запишите границы выборок, временные метки доступности информации, критерии оценки и план действий до чтения результатов. Сохраняйте полные затраты и сопоставимый размер позиций. Если тест используется для изменений, организуйте новую честную оценку на более поздних данных, вместо того чтобы утверждать, что прежние наблюдения остаются нетронутыми. В курсе: историческое и форвард-тестирование. Источник проверен 11 октября 2026 года.
Схема и расчётный пример
Открыть графику в полном размере
