Результат сделки и качество процесса принятия решения — как оценивать решения независимо от исхода
Сделка по плану может завершиться убытком, а вход без проверки условий — принести прибыль. В иллюстративных примерах этой статьи EUR/USD разворачивается в пяти пунктах от цели, а другая позиция, открытая с нарушением правил за пять минут до выхода данных, приносит 300 USD. Если после первой мы меняем план, а вторую одобряем, то судим о решениях лишь по их результатам. Мы покажем, как отделять соблюдение правил исполнения от финансового результата, оценивать процесс по заранее заданным критериям и распознавать случаи, когда для оценки правил нужен гораздо более длинный ряд наблюдений.
- Ошибка оценки по результату — это изменение оценки решения после того, как стал известен его исход — то же решение, та же информация, доступная в момент выбора, но более высокая оценка, когда всё случайно закончилось хорошо (Baron и Hershey, 1988)
- Ретроспективное искажение портит разбор собственной истории — когда финал известен, движение кажется предсказуемым, а память подставляет уверенность, которой до решения не было (Fischhoff, 1975)
- Самый опасный случай — прибыль, заработанная вопреки собственным правилам — вознаграждение приходит сразу, а издержки отсрочены и распределены во времени, поэтому поведение может повториться
- Запись до отправки ордера ограничивает реконструкцию после исхода — условие входа, степень уверенности и уровень выхода с отметкой времени до открытия позиции
- Критерий процесса должен допускать однозначную проверку без взгляда на результат — пять вопросов о соблюдении правил с ответами «да» или «нет»
- Оценка исполнения и оценка правил — два отдельных цикла — первый проводится еженедельно по дюжине с небольшим решений, второму нужны сотни сделок, и он относится к разделу 8
1. Две сделки, четыре возможных вердикта
Начнём с первой. Вы открываете длинную позицию по EUR/USD по 1,0820 после отскока от зоны спроса, описанной в вашем каталоге сетапов. Стоп-лосс на 1,0780, цель на 1,0900 — оба уровня выставлены до нажатия кнопки, риск соответствует заранее записанному в плане. Цена идёт вверх, достигает 1,0895 и разворачивается. До цели не хватило пяти пунктов. Она возвращается к 1,0780, и позиция закрывается по стопу.
Было ли это плохим решением?
Нет. Решение принято по условию, действовавшему до входа, с риском, ограниченным заранее предусмотренным способом. То, что до цели не хватило пяти пунктов, ничего не меняет в информации, которой вы располагали в момент нажатия кнопки. Меняется лишь результат, а исход одной сделки — одна реализация из распределения, а не вердикт о верности выбора.
Вторая сделка той же недели. Иллюстративный пример: пятница, 14:25 по времени платформы, за пять минут до публикации данных о рынке труда, назначенной на 14:30. Вы не проверяете календарь. Открываете длинную позицию по GBP/USD по свечной модели на пятнадцатиминутном графике, без защитного ордера, объёмом больше разрешённого планом. Выходят слабые для доллара данные, фунт растёт на шестьдесят пунктов, вы закрываете позицию с прибылью триста долларов.
Было ли это хорошим решением?
Тоже нет. Условие входа не проверено, размер позиции не следует из правила, а у позиции без защитного ордера нет определённого риска: нельзя сказать, сколько вы могли потерять, поскольку не существовало уровня, на котором вы бы вышли. Если бы данные оказались противоположными, единственной границей убытка стал бы момент, когда вы успели отреагировать вручную. Здесь прибыль не доказывает ничего, кроме того, что у распределения есть две стороны и на этот раз вы оказались на благоприятной.
| Квадрант | Иллюстративный пример | Вердикт и его обоснование |
|---|---|---|
| 1. Процесс соблюдён, результат положительный | Условие входа выполнено и записано до нажатия кнопки, уровни выхода выставлены, цель достигнута без вмешательства в позицию | Положительный. Результат не повышает оценку: она была бы той же, развернись цена в пяти пунктах от цели |
| 2. Процесс соблюдён, результат отрицательный | Та же сделка, но цена разворачивается, не дойдя до цели, и позиция закрывается по стопу | Положительный, без изменений. Именно в этом квадранте чаще всего решают менять правила, обычно без оснований, поскольку одно наблюдение о них ничего не говорит |
| 3. Процесс нарушен, результат положительный | Вход без проверки календаря, позиция больше предусмотренной планом, защитного ордера нет — прибыль после выхода данных | Отрицательный. Результат может побуждать повторять нарушение, но прибыль не подтверждает безопасность; отсутствие условия и защиты по-прежнему видно в записи |
| 4. Процесс нарушен, результат отрицательный | Вход после движения, без условия из каталога, с переносом стопа при открытой позиции | Отрицательный. Единственный квадрант, где оба вердикта совпадают, и именно поэтому он наименее поучителен |
Эти две сделки находятся в квадрантах 2 и 3 матрицы. Квадрант 4 распознаётся без труда: вы нарушили правило и заплатили, вывод напрашивается сам. Квадрант 1 тоже не вызывает затруднений. Проблема в двух остальных: там вердикт результата противоположен вердикту процесса, причём результат виден сразу, а процесс нужно было описать заранее, чтобы к нему можно было вернуться.
Квадрант 3 требует особого внимания при разборе: нарушение сопровождается прибылью. Этот результат может скрыть отступление и побудить его повторить, но пример не доказывает, что именно так произойдёт с конкретным трейдером. Прибыль немедленна и заметна, а последствия отсутствия защитного ордера нельзя оценить по одной этой сделке. Если поведение повторяется, исследуйте его предпосылки и исполнение, а не предполагайте беспечность или определённый механизм обучения. Благоприятный исход реален; он не устанавливает качество процесса.
Противоположная чрезмерная коррекция столь же дорого обходится. Фраза «результат не имеет значения» неверна: результат — информация, но не о том, о чём кажется, и для её оценки нужно другое число наблюдений. Мы вернёмся к этому в части 8, где я показываю ситуацию, в которой результат многое говорит о процессе.
2. Ошибка оценки по результату — оценка решения по его исходу
У этого явления есть название и исследование. Ошибка оценки по результату — это изменение оценки качества решения под влиянием информации об исходе при неизменной информации, доступной в момент выбора. Дело не в том, что постфактум мы знаем больше, а в том, что одно и то же, одинаково описанное решение получает другую оценку лишь потому, что к нему приписали иной финал.
Стоит уточнить, что это определение не охватывает, поскольку в текстах о трейдинге под одним названием объединяют три разные вещи.
Это не вывод по малой выборке. Оценивать правила после трёх сделок вместо двухсот — проблема статистической мощности, которую Amos Tversky и Daniel Kahneman в 1971 году описали как закон малых чисел[4] — там респондентами были профессиональные исследователи, и даже они систематически переоценивали воспроизводимость результатов малых выборок. Механизм рассматривается в статье 10.1. Обе ошибки можно совершать одновременно, и обычно так и происходит, но противодействуют им по-разному: для малой выборки полезно повременить с выводом, а для ошибки оценки по результату ожидание совсем не помогает.
Это не рациональное обновление убеждения. Если после сделки вы узнали то, чего нельзя было знать раньше, — что инструмент иначе ведёт себя в это время суток или что условие входа определено неоднозначно, — обновление обоснованно. Критерий прост: новая информация касается правила или только результата?
Это не эффект недавности. Завышенный вес последних наблюдений (эффект недавности) касается того, какие данные вы учитываете. Ошибка оценки по результату касается критерия, по которому вы их оцениваете. Каталог самих когнитивных искажений находится в статье 10.3.
В литературе практиков ту же ошибку иногда называют суждением по исходу (resulting) — термином, который популяризировала Annie Duke, игрок в покер и автор книги о решениях в условиях неопределённости[7]. Название удобно и прижилось, но нужно обозначить тип источника: это понятие из практического руководства, а не результат исследования. Популярность термина ничего не доказывает: доказательство — работа Baron и Hershey, а не число людей, повторяющих лозунг.
3. Ретроспективное искажение — почему вчерашний график плохо учит
У ошибки оценки по результату есть младший брат, ещё эффективнее портящий обучение на истории. Ретроспективное искажение — систематическое завышение после известного исхода уверенности в том, что исход был предсказуем, включая ложное воспоминание, будто он был предсказан заранее.
В трейдинге проявление банально и потому опасно. Вы открываете график прошлой недели. Видите пробой, откат, продолжение. Всё на месте, каждый уровень именно там, где должен быть. Проблема в том, что вы смотрите на график, у которого уже нет прежнего правого края. В четверг в 11:40 тот же график заканчивался посередине свечи, рядом оставались два других сценария, а условие входа либо было выполнено, либо нет. Восстановить по памяти, что именно было видно тогда, постфактум нельзя: финал уже переписал воспоминание.
Отсюда берётся самая частая фраза еженедельного разбора: «это же было очевидно». Нет. Это был один из нескольких сценариев, казавшихся сопоставимыми в тот момент; очевидным он стал лишь после того, как дорисовали правую часть графика.
Ретроспективное искажение не нужно путать с обычным знанием, полученным позже. Если после двухсот сделок вы заметили, что условие входа иначе ведёт себя в первый час сессии, это вывод из данных, а не иллюзия, при условии что вы не утверждаете, будто знали это до их сбора. Граница проходит именно здесь: между «теперь я знаю» и «я знал».
Практическая защита — записывать информацию и условие до того, как станет известен исход. Это не гарантирует беспристрастности, но даёт опорную точку, независимую от позднейшего воспоминания. Сопоставляйте её с историей исполнения, а не полагайтесь только на память или обещание быть честнее в следующем разборе.
4. Самоатрибуция — прибыль моя, убыток рыночный
Третий механизм искажает не оценку одного решения, а подведение итогов целой серии. Самоатрибуция — асимметрия в приписывании причин: успехи объясняются внутренними факторами (навыком, подготовкой, чутьём), неудачи — внешними (рынком, брокером, новостями, невезением).
Для трейдера следствие арифметическое, а не моральное. Если прибыль записывается на счёт «навыка», а убытки — на счёт «условий», то после нескольких десятков сделок картина собственного процесса сдвигается в одну сторону независимо от того, каков он был на самом деле. Вместе с этим растёт разрыв между заявленной и фактической точностью — то, что статья 10.3 описывает как плохую калибровку, в отличие от простой самоуверенности.
Остерегайтесь и обратной стороны: фраза «принимай каждый убыток на свой счёт» — не противодействие, а перевёрнутая ошибка. Часть убытков действительно вызвана условиями, на которые вы не влияли, и приписывать их себе столь же вредно для учёта. Противодействие — не суровость к себе, а критерий, установленный раньше события, которое ему предстоит оценить.
5. Запись до решения — опорная точка для оценки
Описанные механизмы могут влиять на оценку, когда исход уже известен. Поэтому часть журнала нужно заполнять до ордера: она сохраняет информацию, доступную в момент решения. Запись после закрытия тоже нужна, но не заменяет прежний план. Разделение этих записей помогает оценивать исполнение, не опираясь только на позднейшую реконструкцию.
У записи о решении три временных слоя: созданное до нажатия кнопки, записанное при открытой позиции и добавленное после того, как стал известен результат. Полная конструкция журнала с таким разделением — все поля, коды нарушений и протокол разбора — описана в статье 10.8; здесь от неё нужна лишь одна вещь.
Первый слой предшествует результату, поэтому его следует сохранять без последующих изменений. Новую информацию или пересмотренный план записывайте отдельно, с временем и причиной. Та же информация, восстановленная только после закрытия позиции, уже может содержать уверенность или обоснование, подогнанные под финал. Это не обязательно сознательная фальсификация: память подвержена реконструкции. Ранняя запись позволяет выявить расхождения, хотя и не устраняет все источники ошибок суждения.
Отдельное замечание о шкалах. Степень уверенности нужна для сравнения собственных записей друг с другом, а не для измерения чего-либо: ограничения шкал самоотчёта и создаваемая ими видимость точности обсуждаются в статье 10.8.
6. Карточка оценки процесса — критерии, проверяемые без знания исхода
Чтобы ограничить оценку процесса по его исходу, задайте критерии, которые проверяющий может оценить без знания прибыли или убытка. Если для ответа нужен столбец результата, критерий касается и исхода. Это полезная проверка карточки соблюдения правил; она не гарантирует полной беспристрастности и не заменяет отдельную оценку самих правил.
Пять вопросов, проходящих эту проверку:
- Было ли условие входа выполнено до входа — по описанию в каталоге, а не по обоснованию, дописанному позже?
- Следовал ли размер позиции из правила, действовавшего до сессии? Само правило и его уровень берутся из раздела 9 — здесь вы проверяете только его применение.
- Были ли уровни выхода выставлены до входа и соответствовали ли последующие изменения плану?
- Было ли решение принято в то временное окно, когда вам разрешено торговать по собственному плану?
- Были ли предпосылки задокументированы до нажатия кнопки?
На каждый вопрос можно ответить «да» или «нет» и проверить ответ по истории ордеров и первому слою записи. Ни один не требует знания результата. В этом отличие карточки процесса от субъективной отметки «сделка была довольно хорошей».
Есть ещё один способ оценки процесса, который выглядит разумно, но является ловушкой. После пятидесяти сделок хочется разделить их на соответствующие и не соответствующие правилам, сравнить результаты двух групп и принять разницу за доказательство того, что процесс работает. Такое сравнение описывает связь соблюдения правил и исхода, а не доказывает действие процесса. Это не обязательно ошибка оценки по результату, если критерии соблюдения заданы заранее, но здесь нужно учитывать различия групп и осторожно делать выводы.
Нарушения могут совпадать с сериями убытков, концом сессии, увеличенными позициями или определёнными рыночными условиями. Поэтому группы соблюдения и нарушения могут отличаться уже в момент формирования. Нужно проверить и направление: прежние убытки могут влиять на последующие действия, нарушения — на последующие исходы, а у обоих могут быть общие причины. Само разделение пятидесяти наблюдений на две группы не различает эти возможности. Используйте заранее определённые критерии и учитывайте различия условий.
Метрика процесса, не обращающаяся к результату, — просто частота нарушений и её распределение во времени: сколько решений из десяти получили полный набор из пяти ответов «да», как это число меняется от недели к неделе, после каких событий падает. Ответы на эти вопросы не требуют взгляда на результат. Конструкция самого журнала, коды нарушений и протокол разбора описаны в статье 10.8; разработка процедур, призванных ограничивать эти нарушения, — в статье 10.7.
7. Сколько наблюдений нужно, прежде чем результат что-то значит
Если результат — информация, остаётся вопрос о её необходимом количестве. Ответ неприятен, и полезнее увидеть расчёт, чем услышать совет о терпении.
Возьмём простейшую наблюдаемую трейдером величину: долю прибыльных сделок, то есть долю выигрышей. Предположим, что последовательные сделки независимы, а истинная доля выигрышей постоянна. На практике оба допущения нарушаются, и ниже я к этому вернусь; однако при них арифметика наиболее оптимистична, так что выводы тем убедительнее.
Стандартная ошибка наблюдаемой доли выигрышей:
SE = √( p × (1 − p) / n )
Для истинной доли выигрышей 50% нормальное приближение даёт следующие интервалы, охватывающие около 95% наблюдаемых долей. Они округлены; фактическая доля в конечной выборке принимает дискретные значения:
| Число сделок | Стандартная ошибка | Приблизительный диапазон доли выигрышей (около 95%) |
|---|---|---|
| 20 | 11,2 п.п. | от 28% до 72% |
| 50 | 7,1 п.п. | от 36% до 64% |
| 100 | 5,0 п.п. | от 40% до 60% |
| 200 | 3,5 п.п. | от 43% до 57% |
| 400 | 2,5 п.п. | от 45% до 55% |
| 1000 | 1,6 п.п. | от 47% до 53% |
Читать эту таблицу просто. Правила с истинной долей выигрышей 50% могут после двадцати сделок дать значение в широком приблизительном диапазоне 28–72%; возможные значения кратны 5 процентным пунктам. После ста сделок и 41%, и 59% всё ещё в пределах нормы, а именно в этом диапазоне трейдер обычно решает что-то менять.
Практический вопрос другой: сколько сделок нужно, чтобы отличить долю выигрышей 55% от 50%? Для теста одной доли при уровне значимости 0,05 и мощности 80% получается примерно 620 сделок в одностороннем варианте и примерно 780 в двустороннем. Проверка симуляцией одностороннего теста доли с нормальным приближением (α = 0,05), чтобы формула не оставалась единственным аргументом: при генерации 200 000 серий сделок с истинной долей выигрышей 55% (начальное значение генератора 20260810) разница обнаруживается в 24% прогонов при 100 сделках, в 64% при 400 и в 88% при 800.
Здесь полезно вспомнить расчёт из статьи 10.1: при доле выигрышей 50% вероятность серии пяти убытков в заранее заданной последовательности сделок равна (0,5)⁵, то есть около 3%, а вероятность появления такой серии где-либо в пределах 100 независимых сделок — около 81%. Значит, сама серия убытков не устанавливает отказ правил: она возможна и при неизменных правилах.
Упорядочивающая аналогия: актуарий страховой компании не меняет тариф после одной крупной выплаты. Он меняет его, когда убыточность отклоняется от предположения по всему портфелю полисов. Он не смелее трейдера — у него просто с первого дня есть выборка нужного размера. У трейдера через месяц дюжина с небольшим наблюдений и та же потребность сделать вывод.
8. Два цикла: оценка исполнения и оценка правил
Исполнению и правилам нужны отдельные разборы с разными критериями, частотой и объёмами выборки. Их смешение может привести к изменению настроек после нескольких убытков без проверки того, изменилась ли основа правила. Различение упорядочивает анализ, но не решает автоматически любую проблему исполнения или стратегии.
Цикл исполнения проводится еженедельно и не требует результатов: в нём вы проверяете пять критериев из части 6 и считаете, сколько решений получили полный набор ответов «да». Цикл правил работает на сотнях сделок, требует серии результатов и статистики, а его инструменты — оценка преимущества, историческое тестирование, симуляция — относятся к разделу 8. Второй цикл нельзя ускорить дисциплиной, как и отсутствие преимущества нельзя исправить лучшим исполнением.
Раздельные разборы не означают, что при новой информации всегда нужно ждать большой выборки. Следующий контрпример показывает границу этого принципа.
Разделяйте два вопроса: «Каков финансовый результат?» и «Исполнил ли я план по согласованным критериям?» План и условия входа можно оценить до открытия позиции. Полное исполнение, включая последующие изменения и выход, можно оценить только после этих действий, сравнив раннюю запись с историей ордеров без использования прибыли или убытка как критерия соблюдения. Отдельный разбор более длинной серии оценивает экономическую основу правила.
То же различение гораздо труднее сохранять, когда следующие решения перестают отвечать на рынок и становятся ответом на прежний убыток. Это тема статьи об отыгрывании убытков и тильте (10.5): что наблюдаемым образом меняется в поведении прежде, чем последовательность зайдёт слишком далеко.
Частые вопросы — результат сделки и качество решения
Можно ли оценить свои правила после двадцати сделок?
Чем ошибка оценки по результату отличается от ретроспективного искажения?
Я заработал, нарушив собственное правило. Что с этим делать?
Я сам выношу вердикт о своём процессе. Разве это не бесполезно?
Значит ли это, что результат не важен?
Я торгую быстро, до входа нет времени что-либо записывать.
Источники и литература
- Baron J., Hershey J.C., «Ошибка оценки по результату при оценивании решений» («Outcome bias in decision evaluation»), Journal of Personality and Social Psychology, 54(4), 1988, с. 569–579. Оценка одного и того же решения меняется с его исходом; медицинские и игровые сценарии, гипотетические ставки.
- Fischhoff B., «Ретроспектива ≠ предвидение: влияние знания исхода на суждения в условиях неопределённости» («Hindsight ≠ foresight: The effect of outcome knowledge on judgment under uncertainty»), Journal of Experimental Psychology: Human Perception and Performance, 1(3), 1975, с. 288–299. Знание финала повышает ретроспективную оценку его вероятности. В эксперименте 1 участвовали четыре студенческие выборки (100, 80, 87 и 100 участников); некоторые оценивали несколько событий. Оригинальный полный текст, с. 289–290.
- Guilbault R.L., Bryant F.B., Brockway J.H., Posavac E.J., «Метаанализ исследований ретроспективного искажения» («A meta-analysis of research on hindsight bias»), Basic and Applied Social Psychology, 26(2–3), 2004, с. 103–117. Метаанализ более девяноста исследований; эффект подтверждён, средняя величина мала.
- Tversky A., Kahneman D., «Вера в закон малых чисел» («Belief in the law of small numbers»), Psychological Bulletin, 76(2), 1971, с. 105–110. Систематическая переоценка выводов, допустимых по малой выборке.
- Mezulis A.H., Abramson L.Y., Hyde J.S., Hankin B.L., «Существует ли универсальное позитивное искажение атрибуций?» («Is there a universal positivity bias in attributions?»), Psychological Bulletin, 130(5), 2004, с. 711–747. Метаанализ 266 исследований асимметрии в приписывании причин успехам и неудачам.
- Miller D.T., Ross M., «Самообслуживающие искажения при атрибуции причинности: факт или вымысел?» («Self-serving biases in the attribution of causality: Fact or fiction?»), Psychological Bulletin, 82(2), 1975, с. 213–225. Критика мотивационного объяснения асимметрии атрибуций.
- Duke A., Мышление ставками (Thinking in Bets), Portfolio/Penguin, 2018. Источник термина «resulting» — литература практиков, не исследование.
