Backtesting
O backtesting avalia uma estratégia especificada com dados históricos. Para que os resultados sejam úteis, é necessária uma cronologia explícita da informação, dados fiáveis, execução e custos realistas, bem como proteção contra o enviesamento por antecipação de informação, o enviesamento de seleção e o sobreajustamento. Separe o desenvolvimento da avaliação com dados ainda não observados; selecionar regras repetidamente depois de inspecionar uma amostra reservada compromete essa amostra. Uma boa curva histórica não demonstra rentabilidade futura, e um resultado mais fraco em dados ainda não observados é um aviso que deve ser investigado, não uma prova conclusiva de uma causa específica. O número de barras não é o número de operações.
Exemplo. Uma estratégia hipotética apresenta uma esperança matemática bruta de +0.40R por operação num teste que abrange 500 barras; o número de barras não é o número de operações concluídas. Se a distância do stop for 25 pips, um modelo com um pip de spread e um pip de execução adversa tanto na entrada como na saída totaliza três pips, ou 0.12R. Sob pressupostos de dimensão e custos iguais, o resultado passa a +0.28R depois desses custos modelados, antes de qualquer comissão ou financiamento adicional. Não desconte novamente o spread quando os preços efetivos de execução bid/ask já o incluem. Se metade do lucro resultar de apenas três eventos invulgarmente favoráveis, o desempenho com dados ainda não observados poderá ser substancialmente diferente. O exemplo ilustra a sensibilidade aos pressupostos, não uma percentagem universal de sobreavaliação dos resultados em todos os backtests. Um resultado fraco fora da amostra pode refletir sobreajustamento, uma mudança de regime, um erro de implementação ou a incerteza de uma amostra pequena; investigue em vez de presumir uma única causa.
Uma especificação reproduzível
Registe o instrumento, o período gráfico, a fonte dos preços, a versão das regras e o momento em que cada informação de entrada ficou disponível. Um sinal baseado no fecho não justifica uma execução anterior nessa barra. Quando os dados OHLC não permitem determinar a ordem entre stop e alvo, utilize uma convenção documentada ou dados mais detalhados, em vez de escolher o resultado favorável.
Robustez para além de um único ótimo
Compare parâmetros próximos, janelas, custos e a remoção de operações extremas individuais. Escolher a melhor variante depois de inspecionar uma amostra reservada compromete a sua independência. Mantenha um registo de todas as variantes testadas para que o relatório não oculte a seleção.
Um relatório que permita decidir
Apresente as operações concluídas, o período, a esperança matemática líquida, a dispersão, os drawdowns e as posições abertas. Distinga as curvas de saldo das curvas de património. Os dados, o código e a configuração arquivados ajudam a separar alterações posteriores do modelo de erros de reprodução.
Perguntas frequentes
Em que difere um backtest de um teste prospetivo?
Um backtest utiliza dados históricos; um teste prospetivo utiliza dados que chegam depois de as regras terem sido fixadas. O teste prospetivo pode usar uma simulação ou uma conta real. A execução numa conta de demonstração não é a execução real da corretora, enquanto os testes reais introduzem custos efetivos e risco financeiro. Uma demonstração pode testar a lógica e o fluxo de trabalho. Uma fase real separada, com pequeno volume, também expõe o operador às condições efetivas da conta e às emoções associadas ao dinheiro real, mas não demonstra a qualidade da execução com uma posição muito maior.
Que custos deve incluir um backtest?
Modele o spread, a comissão, as diferenças de execução relevantes e, quando aplicável, o financiamento overnight e outros encargos. Use os lados da cotação e os momentos de execução de forma realista. Não desconte o mesmo spread duas vezes se o modelo do preço de execução já o incluir. Especifique se o modelo representa o preço de ativação de uma ordem ou o seu preço de execução, e como trata os gaps e a liquidez insuficiente.
O que é o sobreajustamento e como pode ser investigado?
Consiste em ajustar regras ou parâmetros a características ocasionais da amostra de desenvolvimento, em vez de a uma relação repetível. Utilize uma amostra reservada protegida, avaliação walk-forward e verificações de robustez sensatas. Um resultado mais fraco em dados ainda não observados é um aviso, mas não constitui, por si só, um diagnóstico definitivo. Estas verificações exigem que os dados de avaliação não sejam reutilizados na otimização. Mudanças de regime, uma amostra pequena e erros de implementação também podem enfraquecer o resultado em dados ainda não observados.
Quantos dados históricos são suficientes?
Os suficientes para avaliar a incerteza da regra específica e as condições de mercado relevantes. A dependência, os resultados raros e o número de variantes testadas são relevantes, tal como o número de operações. Um mínimo universal de 100 operações por janela não é uma garantia, e um teste num regime não demonstra o comportamento noutro. Apresente o número de operações concluídas separadamente do número de barras e quantifique a incerteza das estimativas.
