Историческое тестирование
Историческое тестирование оценивает заданную стратегию на исторических данных. Для полезных результатов необходимы явная временная последовательность доступности информации, надёжные данные, реалистичные исполнение и затраты, а также защита от использования будущей информации, смещения отбора и переобучения. Отделяйте разработку от оценки на ранее не использованных данных: повторный выбор правил после изучения отложенной выборки нарушает её независимость. Хорошая историческая кривая не доказывает будущую прибыльность, а более слабый результат на новых данных служит поводом для расследования, но не окончательным доказательством одной конкретной причины. Число баров не равно числу сделок.
Пример. Гипотетическая стратегия показывает валовое математическое ожидание +0.40R на сделку в тесте, охватывающем 500 баров; число баров не равно числу завершённых сделок. Если расстояние до стопа составляет 25 пипсов, модель со спредом в один пипс и неблагоприятным исполнением на один пипс как при входе, так и при выходе даёт суммарно три пипса, или 0.12R. При допущениях об одинаковом размере позиций и одинаковых затратах результат после этих смоделированных затрат составляет +0.28R до вычета дополнительных комиссий и платы за финансирование. Не вычитайте спред повторно, если фактические цены исполнения Bid/Ask уже включают его. Если половину прибыли дают лишь три необычно благоприятных события, результаты на ранее не использованных данных могут существенно отличаться. Пример показывает чувствительность к допущениям, а не универсальный процент, на который любой исторический тест завышает результаты. Слабый результат вне выборки может быть связан с переобучением, сменой рыночного режима, ошибкой реализации или неопределённостью малой выборки; исследуйте причины, а не предполагайте заранее одну из них.
Воспроизводимая спецификация
Запишите инструмент, таймфрейм, источник цен, версию правил и время доступности каждого входного значения. Сигнал, основанный на закрытии, не обосновывает исполнение раньше на том же баре. Если данных OHLC недостаточно, чтобы определить порядок срабатывания стопа и цели, используйте задокументированное правило или более подробные данные, а не выбирайте выгодный исход.
Устойчивость за пределами одного оптимума
Сравните соседние значения параметров, временные окна, затраты и результаты исключения отдельных экстремальных сделок. Выбор лучшего варианта после изучения отложенной выборки нарушает её независимость. Ведите журнал всех проверенных вариантов, чтобы отчёт не скрывал процесс отбора.
Отчёт, пригодный для принятия решения
Укажите завершённые сделки, период, математическое ожидание после затрат, разброс результатов, просадки и открытые позиции. Различайте кривые баланса и средств счёта (эквити). Архивные данные, код и конфигурация помогают отделить последующие изменения модели от ошибок воспроизведения.
Частые вопросы
Чем бэктест отличается от форвард-теста?
Исторический тест использует прошлые данные; форвард-тест использует данные, поступающие после фиксации правил. Форвард-тестирование может выполняться в симуляции или на реальном счёте. Исполнение на демосчёте не является реальным исполнением у брокера, тогда как тестирование на реальном счёте связано с фактическими затратами и финансовым риском. Демосчёт позволяет проверить логику и рабочий процесс. Отдельный этап на реальном счёте с небольшим объёмом также знакомит трейдера с фактическими условиями счёта и эмоциями, связанными с настоящими деньгами, однако не устанавливает качество исполнения при значительно большем размере позиции.
Какие затраты включать в бэктест?
Моделируйте соответствующие спред, комиссию, отклонения при исполнении и, где применимо, финансирование переноса позиции через ночь и другие сборы. Используйте реалистичные стороны котировки и время исполнения. Не вычитайте один и тот же спред дважды, если модель цены исполнения уже включает его. Укажите, представляет ли модель цену срабатывания ордера или цену его исполнения и как она обрабатывает ценовые разрывы и недостаточную ликвидность.
Что такое переобучение и как его изучать?
Это подгонка правил или параметров к случайным особенностям выборки разработки вместо воспроизводимой закономерности. Используйте защищённую отложенную выборку, последовательную проверку walk-forward и разумные проверки устойчивости. Более слабый результат на ранее не использованных данных служит предупреждением, но сам по себе не является окончательным диагнозом. Эти проверки требуют, чтобы оценочные данные не использовались повторно для оптимизации. Смена рыночного режима, малая выборка и ошибки реализации также могут ухудшать результат на новых данных.
Сколько истории достаточно?
Данных должно быть достаточно для оценки неопределённости конкретного правила и соответствующих рыночных условий. Наряду с числом сделок имеют значение зависимость между наблюдениями, редкие исходы и число проверенных вариантов. Универсальный минимум в 100 сделок на окно не является гарантией, а тест в одном режиме не устанавливает поведение в другом. Сообщайте число завершённых сделок отдельно от числа баров и количественно оценивайте неопределённость оценки.
