Кладбище систем — чему могут научить неудачные стратегии
Изучение неудачной стратегии может улучшить следующий исследовательский проект, если можно восстановить её правила, данные и исполнение заявок. Один убыток не объясняет, дали ли сбой предпосылки, тест или исполнение либо изменились рыночные условия. Урок показывает, как исследовать ухудшение результатов, отделять подтверждённые ошибки от гипотез и выявлять вопросы, на которые данных пока нет. Два разобранных примера и шаблон случая помогают подготовить собственный отчёт о произошедшем. Это даёт более ясную основу для дальнейшего исследования, паузы или закрытия проекта без приписывания причин, не подтверждённых данными. Прежде чем выбирать действие, мы сверяем данные.
- Отрицательный результат не объясняет собственную причину. Отдельно проверьте качество теста, затраты, исполнение правил, экспозицию и рыночные условия.
- Анализируйте конкретную версию стратегии за определённый период. Закрытие счёта или фирмы не устанавливает неэффективность всех применявшихся там методов.
- Недостаток подтверждений преимущества не является доказательством его отсутствия. Но его может хватить для прекращения финансирования новых попыток.
- Чтобы обосновать паузу, не нужно нести новые убытки. Защита капитала и статистическое объяснение результатов — разные решения.
1. Что именно перестало работать?
«Стратегия перестала работать» может означать разное: последний период убыточен, затраты выше выгоды симуляции, правила неисполнимы или дальнейшее исследование не укладывается в бюджет. Эти выводы не равнозначны. До поиска объяснения запишите, что именно оцениваете, за какой период и относительно какого ожидания.
Единицей анализа могут быть правило входа, полная версия стратегии, портфель, счёт или бизнес фирмы. Счёт с несколькими стратегиями и меняющейся экспозицией не изолирует результат одного правила. Нарушение лимита коммерческой проп-программы может прекратить участие, не определив ожидание стратегии. Несостоятельность фирмы требует анализа её обязательств, ликвидности и управления, а не только графика сделок.
Под торговым преимуществом здесь понимается гипотеза о положительном ожидании определённого подхода после затрат в заданных условиях. Выборочное среднее лишь оценивает его. Даже положительный результат вне данных, использованных для разработки, не гарантирует повторяемость.
Различайте недостаточную поддержку исходной гипотезы, ухудшение наблюдаемых результатов и проект, больше не оправдывающий затраты владельца. Они могут сосуществовать. Ни одно не обосновывает историю о «смерти преимущества», если неясно, что было установлено ранее.
2. История версий, а не срок годности
У стратегий нет общего полезного срока, измеряемого фиксированным числом месяцев. И параметры не обязаны меняться только из-за долгого отсутствия изменений. Нужна запись, показывающая, какие правила оценивались и какая информация тогда была доступна.
- Гипотеза: опишите механизм, инструмент, время решений, условия работы и обстоятельства, противоречащие идее.
- Тест: сохраните версию кода или правил, источник и объём данных, затраты и список вариантов. Отделите данные разработки от данных оценки.
- Наблюдение: обозначьте среду — исторические данные, демо или реальный счёт — и запишите отклонения от предпосылок.
- Проверка: запишите решение и основание. Изменение правила создаёт новую версию; исправление ошибки расчёта тоже требует пересчёта сравнений.
- Архив: сохраняйте и версии, отвергнутые до внедрения. Не всякая гипотеза должна стать торгуемой стратегией.
Это порядок документации, не карьерный график. Следующий шаг не означает автоматического одобрения реальной торговли. 15.4 — бэктестинг и форвардное тестирование рассматривает дизайн теста; здесь мы осторожно объясняем неудачную попытку по подтверждениям.
Сначала проверьте достоверность исходного результата
- Подгонка к данным: из скольких правил выбран победитель? Повторное обращение к тому же тестовому набору влияет на отбор. Название «вневыборочный» проблемы не устраняет.[1]
- Информация из будущего: использовал ли сигнал цену закрытия свечи до её закрытия, последующую ревизию данных или индикатор, меняющий исторические значения? Проверьте доступность информации во времени, а не только вид графика.
- Отбор: исключались ли сложные периоды, инструменты или брошенные попытки? Определите совокупность и фиксируйте исключения.
- Исполнимые предпосылки: отражают ли цены, комиссии, финансирование и ограничения размера заявок изучаемую среду?
Ухудшение результата — повод проверить эти вопросы, а не автоматическое доказательство переобучения. И наоборот, подтверждённая ошибка временных меток может обесценить тест без ожидания новой серии сделок.
3. Рынки, затраты и исполнение
Изменения волатильности, ликвидности или затрат способны изменить результаты стратегии. Для приписывания конкретного эффекта мало совпадения дат. Сравнивайте одни правила, инструменты и окна решений с учётом изменений размера и измерения.
| Гипотеза | Необходимые подтверждения | Предел вывода |
|---|---|---|
| Другие рыночные условия | Результаты неизменной версии в условиях, определённых до оценки; распределения волатильности, тренда, времени и событий. | Фильтр после увиденных убытков — новая гипотеза, а не независимое объяснение тех же данных. |
| Более высокие затраты | Отчёты исполнения, датированные тарифы, комиссии, финансирование и сопоставимые ценовые ориентиры. | Можно рассчитать разницу затрат без вывода о намерениях провайдера. |
| Ухудшение исполнения крупных заявок | Время подачи, опорная цена, размер заявки, частичные исполнения, отказы и условия ликвидности. | Рост проскальзывания может совпасть с иной рыночной средой. Сравнение двух средних само по себе не изолирует эффект размера. |
| Больше конкуренции за тот же эффект | Подтверждения изменения поведения участников и достижимых цен, а не просто популярное описание стратегии. | Убыток после публикации сетапа не доказывает, что конкуренты устранили преимущество. |
| Изменившийся инструмент или договор | Спецификации и договоры до и после изменения, правила расчёта P/L и доступность торговли. | Изменение может помешать исполнению одной версии, не опровергая похожие методы на других продуктах. |
Не вычитайте спред и проскальзывание дважды. В отчёте по фактическим исполнениям разница покупки и продажи уже отражает спред и полученное проскальзывание. Добавляйте только сборы вне этого поля P/L. Бэктест на теоретических средних ценах иной: ему ещё нужна подходящая модель затрат исполнения.
4. Правила, размер позиций и денежные потоки
Отклонение от плана устанавливается по действовавшему правилу и противоречащему ему решению. Это не объясняет автоматически весь убыток. Равным образом прибыльная внеплановая сделка не устанавливает пользу изменения. Ведите обе записи: финансовый результат и соблюдение правил.
Не всякое изменение после короткой выборки — ошибка. Неверную комиссию можно обоснованно исправить сразу. Подгонка параметров под недавние убытки без записанной гипотезы — другое. Обозначьте новую версию и не представляйте её улучшение на тех же данных как независимую валидацию.
Одна последовательность сделок, разные просадки
Синтетический пример, не история счёта. Пять последовательных сделок завершаются каждая чистыми −1R. Начальный риск каждой сделки — фиксированная доля f текущего капитала. Позиции не перекрываются, пополнений и снятий нет. В этом упрощении капитал после последовательности равен C₅ = C₀ × (1 − f)⁵.
| Доля риска f | Снижение относительно C₀ | Просадка |
|---|---|---|
| 1% | 1 − 0,99⁵ | 4,90% |
| 1,5% | 1 − 0,985⁵ | 7,28% |
| 2% | 1 − 0,98⁵ | 9,61% |
В модели меняется только размер, не результаты R. Поэтому большее падение капитала не доказывает ухудшения правил входа. В реальной торговле крупная позиция может менять также затраты и исполнение, поэтому одинаковые R потребуют проверки. Эти уровни риска — предположения сравнения, а не рекомендации.
Пополнение не отменяет убыток
Второй синтетический пример (PLN: польский злотый). Капитал падает со 100 000 PLN до 80 000 PLN, затем поступает пополнение 20 000 PLN. Счёт снова показывает 100 000 PLN, но торговый P/L остаётся отрицательным: 100 000 − 100 000 − 20 000 = −PLN 20 000. При пополнении в конце периода доходность до него равна −20%. Если план задаёт риск 1% текущего капитала, после пополнения денежный риск растёт с 800 PLN до 1 000 PLN, то есть на 25%.
Само пополнение не устанавливает ни ошибку, ни мотив; оно может следовать прежнему плану. Его нельзя считать прибылью, а восстановленный баланс — подтверждением улучшения стратегии. 16.5 — документирование результатов развивает различие между доходностью и внешними денежными потоками.
5. Шаблон проверки и два разобранных случая
Начните со сверки данных с исходным отчётом. Восстановите действовавшие правила, проверьте затраты и экспозицию и лишь затем сравнивайте результаты в разных условиях. 15.10 — аудит стратегии охватывает полный цикл проверки. У шаблона более узкая цель: записать, чему неудачная попытка действительно научила.
| Поле | Что записать |
|---|---|
| ID и версия | Правила или код, инструмент, среда и период. Отделите стратегию от счёта её применения. |
| Гипотеза | Какой эффект ожидался, в каких условиях и после каких затрат? |
| Предшествующие подтверждения | Материал, существовавший до оцениваемого периода: данные, результаты тестов, даты и число вариантов. Если его нет, скажите об этом. |
| Наблюдение | Что произошло в выборке? Число сделок, результат с единицами, затраты, денежные потоки и отклонения от правил. |
| Подтверждённая ошибка | Конкретное подтверждение, например пропущенная комиссия. Если ошибка не установлена, не заполняйте поле догадкой. |
| Причинные гипотезы | Возможные объяснения и альтернативы. Они могут сосуществовать; правдоподобие само по себе не устанавливает ни одно. |
| Недостающие подтверждения | Что может различить объяснения? Можно ли это получить или данных уже нет? |
| Решение | Что вы сделаете, до какого срока и на каком основании? Отделите защитное действие от оценки преимущества. |
| Урок для следующей попытки | Одна конкретная мера или исследовательский вопрос из этого случая без обобщения на весь рынок. |
Пример A: положительный результат исчезает при правильном учёте затрат
Все числовые данные синтетические. Мы оцениваем версию A1 стратегии EUR/USD, протестированную на 100 сделках с 1 апреля по 30 июня 2026 года. Симуляция использует средние цены между ценами покупки и продажи, фиксированную позицию 1 лот = 100 000 EUR и первоначальный ценовой риск, соответствующий движению на 5 пипсов. При размере пипса 0,0001 USD за EUR стоимость пипса составляет 10 USD, а 1R = 50 USD. Суммарная прибыль/убыток до затрат составляет 800 USD, в среднем 8 USD = +0,16R на сделку.
Предполагается постоянный спред 0,3 пипса и комиссия за полный цикл открытия и закрытия 6 USD на лот. Нет финансирования переноса позиции на ночь, проскальзывания или изменения размера позиции. Налоги и постоянные затраты проекта не входят в этот расчёт торговой прибыли/убытка. В данной модели спред 0,3 пипса — затраты полного цикла относительно средних цен; он не взимается дважды.
| Статья | На сделку | В единицах R | 100 сделок |
|---|---|---|---|
| Прибыль/убыток до затрат | 8 USD | +0,16R | 800 USD |
| Спред: 0,3 × 10 USD | Затраты 3 USD | −0,06R | −300 USD |
| Первоначально заявленный результат | 5 USD | +0,10R | 500 USD |
| Неучтённая комиссия | Затраты 6 USD | −0,12R | −600 USD |
| Результат после обоих видов затрат | −1 USD | −0,02R | −100 USD |
Подтверждено: В отчёте не учли комиссию, хотя она была указана в спецификации затрат. Исправление объясняет всю разницу между заявленными +500 USD и исправленными −100 USD. Это не история о преимуществе, которое позднее отнял рынок: прежний отчёт был неполным.
Не установлено: Имеют ли правила положительное математическое ожидание на других данных при реально достижимом исполнении. Данные о разбросе отдельных результатов и истории отбора вариантов отсутствуют, поэтому мы не рассчитываем доверительный интервал по одной лишь общей сумме. Выборка из 100 наблюдений не является порогом подтверждения преимущества. Решение в этом примере: Не запускать версию на основании старого отчёта; исправить модель затрат и повторить оценку, сохранив оба отчёта. Урок: Сверить все составляющие затрат до интерпретации результата.
При тех же предположениях вариант без комиссии со спредом 1,2 пипса стоил бы 12 USD вместо 9 USD на сделку. Разница составляет 3 / 50 = 0,06R, а не 0,18R. Отсутствие комиссии не обязательно означает меньшие совокупные затраты. Здесь сравниваются две модели; это не рекомендация брокера.
Пример A1: 100 сделок, суммарный спред 300 USD и комиссия 600 USD. Столбцы — последовательные итоговые величины прибыли/убытка, а не составляющие, которые нужно снова складывать. Другие затраты исключены, как указано в примере.
Пример B: убыток не доказывает исчезновение преимущества
Синтетический пример. Для неизменённой версии B1 анализируем период, выбранный заранее: 1–31 июля 2026 года. Тридцать сделок в сумме дали −6R нетто, то есть среднее −6 / 30 = −0,20R. Предположим, что выборочное стандартное отклонение s = 1,40R. Каждое зафиксированное значение в единицах R — прибыль/убыток после торговых затрат, делённая на величину риска, установленную до входа. Налоги и постоянные затраты проекта исключены.
Для этого расчёта предположим независимость наблюдений и их принадлежность одному нормальному распределению. Двусторонний 95%-ный доверительный интервал для среднего при неизвестном стандартном отклонении генеральной совокупности строится по распределению Стьюдента:[3]
среднее ± t₀.₉₇₅;₂₉ × s / √n−0,20 ± 2,04523 × 1,40 / √30 ≈ −0,20 ± 0,523R
Интервал: приблизительно От −0,723R до +0,323R.
Интервал включает отрицательные и положительные значения. При принятой модели эта выборка не позволяет отвергнуть нулевое среднее на уровне значимости 5%. Она не доказывает ни отсутствие преимущества, ни то, что убыток — «просто невезение». Сопоставимые прежние данные также отсутствуют, поэтому мы не оценили изменение преимущества.
Реальные наблюдения могут быть зависимыми, асимметричными и относиться к меняющимся рыночным условиям. Тогда простой t-интервал может оказаться непригодным; само по себе добавление сделок не устраняет проблемы этих предположений. Следует учитывать и предварительный отбор периодов, и многократное тестирование. Уровень доверия — не вероятность того, что стратегия работает. ASA предостерегает от подмены рассуждений одним статистическим порогом.[4]
Решение в этом примере: Продолжать наблюдение в симуляции, получить опорные данные и проверить затраты. Это ограничивает расходы на исследование; это не вывод об исчезновении преимущества. Урок: Сообщать отрицательный итог вместе с его неопределённостью, не придумывая причину.
Пример B1: n = 30, s = 1,40R при предположении о независимых наблюдениях из одного нормального распределения. R — чистая прибыль/убыток, делённая на первоначальный риск, установленный до входа. Интервал не доказывает отсутствие преимущества или то, что убыток был «невезением».
Что может показать Монте-Карло — и чего не может?
Симуляции позволяют сопоставить просадку с результатами определённой модели. Они не могут безусловно установить, «жива» ли система. Раскройте опорные данные, предположения о зависимости, длину траекторий, правила определения размера позиций, затраты и число симуляций. Опорная выборка не должна включать оцениваемый период или выбираться лишь потому, что выглядит лучше остальных.
При неперекрывающихся сделках, отсутствии внешних денежных потоков и фиксированной доле риска f модель капитала имеет вид Cᵢ = Cᵢ₋₁ × (1 + f × Rᵢ), а не является произведением одних лишь значений R. Включите первоначальный капитал C₀ в текущий максимум, чтобы не пропустить убыток на первой сделке. Если модель допускает полное исчерпание капитала, укажите момент завершения траектории, а не продолжайте её при отрицательном капитале. Просадка меньше 95-го процентиля смоделированных величин просадки удовлетворяет только данному критерию модели; это не доказывает безопасность и не объясняет убыток.
6. Как избегать избирательных историй
История выигрышной стратегии не сообщает, сколько сходных попыток провалилось. История неудачи тоже может быть выборочной. Ошибка выжившего возникает, когда для оценки доступны только объекты, прошедшие отбор. Реестр успешных и заброшенных вариантов помогает выявить масштабы такого отбора.
Ваш набор данных тоже может быть отобранным: свежие данные не становятся автоматически несмещёнными, а самостоятельно разработанная стратегия не защищена от переобучения. Записывайте каждую попытку в рамках заявленного проекта, дату её начала, изменения правил и причину завершения. Оценивая полную историю результатов человека, определите охват счетов; не выдавайте один счёт за всю его историю.
Интервью или снимок экрана могут подсказать исследовательский вопрос. Без полного охвата данных по ним нельзя оценить долю успешных попыток, причины неудач или время, необходимое для достижения результатов. Рассматривайте отсутствие данных как ограничение, а не как доказательство нечестности автора.
7. Сценарии для исследования — не рейтинг «мёртвых систем»
Ниже приведены гипотетические ситуации, а не исследование трейдеров какой-либо страны. Каждый сценарий обозначает вопрос, который нужно задать до вывода.
- Скальпинг с близким стопом: Малы ли полные затраты относительно R, а не только в пипсах?
- Следование тренду с немногими крупными выигрышами: Была ли зависимость от редких движений частью гипотезы? Сама по себе концентрация прибыли не доказывает ошибку, но её риск и выборочную неопределённость необходимо исследовать.
- Наращивание убыточных позиций: Каковы были совокупная экспозиция и условие прекращения? Высокая доля прибыльных отдельных закрытий не описывает риск всей схемы.
- Стратегия на публикациях новостей: Использует ли тест сведения, доступные в момент решения, и реально достижимые цены исполнения?
- Программа с лимитом убытка: Оцениваете ли вы правила стратегии или соблюдение условий конкретной программы? Укажите, является ли среда симуляцией или реальной торговлей.
Мы не назначаем этим методам «дату смерти». Предмет проверки — конкретная версия, набор данных и процесс исполнения.
Защитная мера может предшествовать выводу о причине. Прекращение экспозиции не доказывает автоматически исчезновение преимущества.
8. Действия по результатам проверки
Перечисленные ниже состояния помогают упорядочить решение. Это не валидированная шкала и не алгоритм распределения капитала. Дата проверки определяется планом исследования и возможностью его выполнить, а не обязанностью терпеть убытки ещё несколько месяцев.
Оставить правила без изменений
Проверка не выявила причин менять правила в исследованных пределах. Зафиксируйте эти пределы и неизвестное. «Ошибка не найдена» не означает «безопасность установлена». Проект может оставаться в симуляции.
Собрать дополнительные наблюдения
Укажите, какие данные позволят различить гипотезы. Сбор новых наблюдений без исследовательского вопроса не решает проблему. Многие пробелы можно исследовать на исторических данных или демосчёте.
Снизить экспозицию
Если проект уже включает реальную торговлю, снижение риска — отдельное защитное решение. Общего правила «всегда уменьшать прежнюю позицию вдвое» нет. Меньшая экспозиция тоже может приводить к потерям и не заменяет исправление дефекта.
Приостановить торговлю
Не ждите достижения требуемого n, если нарушен лимит, невозможно управлять ордерами или неизвестны важные затраты. Примените подготовленную процедуру управления риском к открытым позициям; закрытие приложения не закрывает позиции и не отменяет отложенные ордера.
Архивировать версию
Прекратите работу над версией, если не хотите оплачивать дальнейшее исследование, не можете восстановить существенные данные или идея больше не соответствует вашим ограничениям. Сохраните причину: «недостаточно доказательств» не должно спустя годы превратиться в «рынок уничтожил систему».
9. Продолжать исследование или закрыть проект?
Возвращение к старой идее может иметь смысл как новый этап исследования, если вы можете определить, чему научит ещё одна попытка и как ограничить её стоимость. Смена брокера, фильтра или окна принятия решений не доказывает устранение проблемы. Сравнение должно учитывать другие условия, изменившиеся одновременно.
| Что известно | Возможный следующий шаг | Какой вывод делать нельзя |
|---|---|---|
| Подтверждена ошибка в затратах или коде. | Исправить её, пересчитать ту же выборку, затем провести оценку на данных, не использованных при разработке исправления. | Улучшение исправленного результата не гарантирует преимущества вне выборки. |
| Результаты ухудшились; причина не установлена. | Исследовать альтернативные объяснения, продолжить симуляцию или закрыть проект из-за затрат на исследование. | Неопределённость не обязывает продолжать торговлю. |
| Правила невозможно исполнить в текущих условиях. | Приостановить эту версию; рассмотреть другой продукт или новую спецификацию исполнения. | Старый бэктест нельзя просто перенести на новые условия. |
| Прежний результат невозможно восстановить. | Архивировать его, зафиксировав недостающие доказательства, либо заново построить тест на основе явно сформулированной гипотезы. | Отсутствие материалов не доказывает неэффективность всех похожих стратегий. |
10. Что сохранить для следующего проекта
Приложите к разбору файлы данных, спецификацию затрат, код или торговый регламент, отчёты до и после исправления и реестр вариантов. Упорядочьте даты, именованные часовые пояса и названия файлов так, чтобы другой человек мог восстановить анализ. Перед передачей удалите учётные данные доступа и обезличьте персональную информацию.
Завершите заметку тремя предложениями: что установлено, что остаётся нерешённым и что из этого следует для следующей попытки. Например: «В тесте не учли комиссию. После исправления преимущество на независимых данных не оценивалось. Перед следующей оценкой я сверю отчёт с полной таблицей составляющих затрат».
Необязательно сразу разрабатывать новую стратегию. Можно вернуться к обучению, сделать перерыв или завершить проект. Вопросы времени и обязательств рассматриваются в 16.3 — оценка ваших обстоятельств. Для содержания домохозяйства без снятия средств с торгового счёта используйте модель из 16.8. Само по себе число заброшенных стратегий не измеряет компетентность и не определяет продолжительность будущей карьеры.
Часто задаваемые вопросы
После скольких убытков нужно менять стратегию Форекс?
Как отличить просадку от ухудшения преимущества?
Можно ли вернуться к ранее отклонённой системе?
Достаточно ли положительного среднего, чтобы продолжать?
Что проверять в коммерческой проп-программе?
Чем заметка о выведенной из работы версии отличается от аудита?
Источники и их область применения
- Bailey, Borwein, López de Prado и Zhu, «Вероятность переобучения бэктеста» (The Probability of Backtest Overfitting), авторская версия, февраль 2015 года (PDF). Риск отбора стратегий при множестве тестов, а не срок годности или универсальный порог допуска к торговле.
- Резервный банк Австралии (Reserve Bank of Australia), «Вставка B: недавнее резкое движение японской иены» (Box B: The Recent Japanese Yen Flash Event), февраль 2019 года. Событие и ограничения причинного объяснения, а не история конкретной стратегии.
- NIST/SEMATECH, «Доверительные границы для среднего» (Confidence Limits for the Mean). Формула t-интервала и интерпретация уровня доверия. Применение требует проверки предположений модели.
- Американская статистическая ассоциация (American Statistical Association), «Заявление о статистической значимости и p-значениях» (Statement on Statistical Significance and P-Values) (PDF), 7 марта 2016 года. Ограничения выводов по одному статистическому порогу.
Источники проверены 8 сентября 2026 года. Примеры A, B и C, сравнение размеров позиций и расчёт вклада — иллюстративные учебные модели, а не инвестиционные результаты. Шаблон и состояния решения — редакционные инструменты, а не валидированный тест. Материал носит образовательный характер и не является инвестиционной рекомендацией.
