Negociação algorítmica — procedimentos de teste e avaliação de resultados de terceiros

Um programa pode executar uma regra com mais rapidez e precisão, mas automatizar a negociação, sozinho, não estabelece vantagem. Mudanças em sinais, preços de execução e custos precisam ser verificadas. Esta lição explica como preparar teste reproduzível, reconhecer limites dos dados e avaliar seu próprio resultado ou o relatório de quem fornece um algoritmo. Também mostra por que a seleção de parâmetros e a sequência de eventos dentro de uma vela podem determinar o resultado. Todo exemplo numérico é ilustrativo; não foi realizado teste com cotações de mercado.

1. O que a automação muda na execução e deixa inalterado no cálculo

Um programa converte uma especificação em ordens e registro de eventos. A fidelidade depende de código correto, dados e ambiente funcionando; erros e interrupções continuam possíveis.

Portanto, é preciso verificar tanto a regra quanto se sua implementação executa a versão correta. A automação só fornece procedimento reproduzível sob essas condições.

Um sistema automatizado pode avaliar uma condição em horários programados, enviar ordens com parâmetros especificados e manter registros. Cada elemento exige implementação correta e monitoramento do ambiente. Os registros também devem incluir sinais não executados e os motivos de serem ignorados. São benefícios potenciais de execução, não garantia de funcionamento sem falhas.

Executar mais sinais não precisa significar lucro maior. A multiplicação abaixo preserva o sinal apenas em um modelo com resultado líquido médio por operação inalterado. Não descreve todo efeito de mudar métodos de execução.

Por que registros manuais não preveem o resultado de um sistema automatizado

Não sabemos se os 90 sinais ignorados eram amostra aleatória. Omissões podem depender do horário de observação e de filtros adicionais, mas sua relação com resultados exige dados. Os registros devem incluir sinais não executados e o motivo de cada omissão.

Registros manuais descrevem a versão executada de uma regra. Não precisam descrever uma versão que execute todo sinal. Um filtro discricionário pode melhorar ou piorar resultados; a diferença não pode ser estimada sem os casos omitidos.

Isso é resolvido determinando resultados de todos os sinais, incluindo ignorados, em dados históricos — o teste tratado no restante deste artigo. Registros prospectivos que também incluem sinais não executados, como no cálculo acima, servem ao mesmo propósito. A diferença é que se acumulam no ritmo do mercado, que não pode ser acelerado, enquanto um teste histórico usa material já disponível.

Limites da contribuição da automação

A lista do que a automação não faz é menor que a de promessas, mas suas afirmações podem ser verificadas.

A automação não estabelece uma vantagem. Pode mudar ganhos e perdas médios, taxa de acerto e custo por meio do momento e do método de execução. O valor esperado líquido precisa ser verificado para a versão efetiva da regra, sem tomar emprestado o resultado da versão manual anterior.

Não garante custos menores. Spreads e comissões continuam aplicáveis, embora respostas mais rápidas ou horário apropriado de saída possam mudar execução. Atraso entre sinal e envio e deslizamento entre ordem e execução são desvios distintos; ambos podem afetar resultados. Mudanças de custo exigem medição em sinais comparáveis.

Mais operações podem fornecer mais informação, embora não proporcionalmente ao número de linhas adicionais. Dependência positiva dos resultados pode aumentar o erro da média, enquanto algumas formas de dependência negativa podem reduzi-lo. O tamanho efetivo da amostra pertence a um modelo justificado; não é automaticamente menor que N. O artigo 8.2 desenvolve a avaliação.

Antecipa decisões em vez de removê-las. Toda decisão tomada durante negociação manual precisa ser tomada antes para negociação automatizada — como especificação. São necessárias mais decisões, pois um programa também exige respostas para perguntas que uma pessoa trata instintivamente: o que acontece com um sinal enquanto há posição aberta, com uma vela ausente ou com posição que não atinge nenhum nível? A seção 3 trata dessas perguntas.

Um sistema automatizado executa um procedimento especificado; a avaliação cobre sua lógica, dados e execução. Melhor execução pode ter valor econômico. Não substitui evidência de que a regra completa continua rentável após os custos fora do material usado para selecioná-la.

A execução pode mudar o sinal do resultado líquido

Uma ilustração com a mesma lógica de sinal: resultado médio antes de desvios de execução de +0,40 pips. Com custo e atraso da versão manual de 0,65, a média líquida é −0,25; com valor da versão automática de 0,25, é +0,15. Esses valores não estabelecem que a automação geralmente melhora resultados. Mostram por que afirmar sinal inalterado exige hipótese de execução inalterada.

2. Quatro formas de automação e os incentivos do fornecedor

Participantes de varejo podem escolher arranjos distinguidos por algo mais importante que o grau de automação: quem especificou a regra e quem pode verificá-la. Isso importa mais que a distinção entre “manual” e “automático”, pois determina se o procedimento abaixo pode sequer ser aplicado.

O modelo de remuneração do fornecedor precisa ser lido nas condições do serviço: pode depender de assinaturas, giro ou desempenho. Só o modelo não estabelece qualidade nem desonestidade. Avaliar exige regra, descrição do teste e dados que identifiquem o que o resultado publicado representa.

As ofertas disponíveis podem omitir programas retirados ou contas cujos resultados deixaram de ser publicados. Nesse caso, o ranking contém seleção por sobrevivência. Estabeleça sua composição histórica em vez de pressupor que todo programa malsucedido desaparece.

Seu próprio programa e conflitos sem vendedor

A primeira linha da tabela parece livre do problema da última coluna porque não há fornecedor. Um conflito permanece, porém, e pode ser mais difícil por não haver outra parte a identificá-lo. Quem cria e testa a regra é a mesma pessoa, e o teste decide o destino do trabalho que ela já fez.

Quem cria deve registrar toda versão testada e todo uso de dados de validação, incluindo fracassos. Não atribuímos frequência de omissões nem motivos aos autores. Um registro mantido desde o início é simplesmente mais confiável que reconstruir o histórico dos experimentos.

Semiautomação e a lacuna que deixa

Na semiautomação, um programa pode avaliar a condição enquanto uma pessoa seleciona ordens. Se o filtro adicional for especificado e reproduzível, o arranjo inteiro pode ser testado. Se continuar discricionário, o resultado pertence à combinação de programa e decisões humanas.

A consequência coincide com os registros manuais da seção 1 e merece esclarecimento aqui por poder ser menos visível. O resultado não pertence apenas à regra programada; pertence a essa regra combinada com regra de seleção não especificada. Testar a primeira nada diz sobre a combinação. Para avaliar o arranjo, a segunda regra precisa ser especificada. O artigo 8.1 apresenta o critério de especificação: duas pessoas devem interpretá-la de forma idêntica.

A natureza do resultado depende do que foi especificado e executado, não apenas da participação de uma pessoa. Um programa com filtro explícito pode formar sistema reproduzível; um filtro não divulgado limita a reprodutibilidade.

Reproduzir operações de outra conta

Sem a regra, copy trading permite avaliar a série de operações publicada, mas não reproduzir um teste da estratégia em outro período. Ainda se podem questionar datas, instrumentos, custos e diferenças de execução. A regra ausente limita a avaliação; não remove toda informação do registro.

A execução também difere. Copiar segue um sinal de outra conta; assim, a ordem chega ao mercado depois e o volume pode ser redimensionado. As duas diferenças afetam a conta que copia, não a original; portanto, a trajetória publicada descreve algo diferente do recebido por quem copia. A divergência depende da regra: pode ser insignificante com alvo de dezenas de pips, mas superar todo o ganho planejado com alvo de poucos pips. O cálculo de custo/alvo do artigo 8.3 mostra isso.

Questões jurídicas — status do serviço, obrigações do fornecedor e proteção do cliente — pertencem à seção 13 e estão fora deste texto. O ponto metodológico é que copiar remove a capacidade de testar a regra, deixando as perguntas da seção 9.

3. O pré-requisito: a regra pode ser reproduzida nos dados?

Antes de perguntar sobre desempenho, pergunte se duas reconstruções independentes da mesma especificação com os mesmos dados de cotação produzem a mesma lista de operações. Caso contrário, a comparação posterior perde sentido: seriam comparadas duas regras diferentes com o mesmo nome.

Duas implementações independentes testam fortemente a clareza. Não precisam ser a única verificação: casos de referência acordados e comparações evento por evento também ajudam. Uma discrepância pode vir de lacuna de especificação ou erro de código. Localize a causa em vez de reescrever a regra automaticamente.

Verificar listas de eventos fornece mais informação que igualar totais finais. Duas implementações podem chegar ao mesmo resultado por operações diferentes ou gerar sinais idênticos com saídas diferentes porque as sequências de execução diferem. Compare horários, direção, lado da cotação, base de acionamento e execução.

A concordância não estabelece vantagem nem modelo válido de execução. Confirma reprodução consistente de especificação e configurações específicas. As duas implementações podem compartilhar hipótese incorreta. Casos de referência e verificações da disponibilidade da informação testam hipóteses no nível da decisão individual antes de usar resultados agregados na avaliação econômica.

Verificar a concordância entre duas reconstruções

O procedimento é direto e exige duas execuções: mesma regra, arquivo de cotações e período. Compare listas, não agregados: registro de tempo da entrada, direção, preço de entrada, registro de tempo da saída, preço de saída e motivo da saída. A concordância é a parcela de operações presentes nas duas listas na união das operações únicas.

De onde surgem discrepâncias

Os casos seguintes exigem especificações explícitas ou verificações da implementação. Não lhes são atribuídas frequências. Uma especificação clara remove algumas diferenças; outras exigem verificar dados e modelos de execução.

• Limites das janelas. A vela avaliada pertence à janela do nível de referência? Em uma janela de 20 velas, mudar uma pode mudar o nível conforme a fórmula — de nenhuma mudança até um múltiplo do alvo planejado.
• Desigualdade estrita ou não estrita. “Preço acima do nível” inclui igualdade? Com precisão decimal finita, a igualdade ocorre mais do que a intuição sugere porque os preços são arredondados ao incremento da cotação.
• Um sinal enquanto há posição aberta. É ignorado, aumenta a posição ou a substitui? Essas três respostas produzem três listas de operações a partir do mesmo fluxo de sinais.
• Um sinal na vela em que uma posição encerra. A posição encerrou antes de o sinal ser avaliado? A resposta depende de uma sequência que a vela não contém.
• Dados ausentes. A condição é avaliada quando falta uma vela na janela? Preencher a lacuna com valor vizinho e ignorar a avaliação produzem listas diferentes; qualquer um pode ser escolhido sem reconhecer que houve escolha.
• Identificação de velas e mudanças do relógio. As velas são identificadas por registros de tempo locais da fonte ou tempo universal? Na hora repetida após uma mudança do relógio, a primeira convenção cria rótulos duplicados; sem deslocamento explícito, rótulos locais podem repetir. Verifique a regra de identificação.
• Uma posição não resolvida. Há saída por tempo, e seu contador usa velas existentes ou horas do relógio? Um fim de semana faz essas respostas produzirem datas de encerramento diferentes.
• O fim do período de teste. O que acontece com uma posição aberta na última vela? Encerrar no último preço, omitir a operação inteira ou deixá-la aberta produzem três totais diferentes.

Atribua cada discrepância à especificação, ao código, aos dados ou ao modelo de execução. Esclareça por escrito uma lacuna da especificação; repare no programa um erro da implementação. Depois repita a comparação com casos de referência e a lista completa de eventos.

Separe duas questões frequentemente combinadas na prática. Tornar uma regra objetiva — converter uma observação de gráfico em condição calculável — é técnica analítica tratada no artigo 5.12. Verificar se dois programas independentes reproduzem essa especificação de forma idêntica é metodológico e pertence aqui. A primeira pergunta “é possível calcular?”; a segunda, “será sempre calculado da mesma forma?”.

Uma regra baseada em fechamento e o preço de resposta

Uma condição que usa o fechamento da vela só fica disponível depois. Uma execução não pode preceder a disponibilidade do sinal e uma resposta realista. A cotação seguinte pode ser igual ao fechamento; só a igualdade de preço não prova uso de informação futura.

O erro ocorre quando o teste usa informação indisponível no horário atribuído à decisão. Registrar um preço de fechamento após a disponibilidade do sinal não é inerentemente um erro; verifique registros de tempo de disponibilidade, envio e execução e a regra do simulador.

Um exemplo de uso de informação futura: um nível de saída no instante t usa a máxima ou mínima de uma vela que só surgirá após t. Usar a vela atual nem sempre é errado — seus dados até aquele momento já podem estar disponíveis. A verificação trata de quando um valor específico se tornou conhecido, não apenas do rótulo da vela.

Estabeleça o horário de disponibilidade de cada valor. Um valor conhecido no fechamento da vela só pode acionar ordem depois de ficar disponível à estratégia. Uma execução posterior pode ser igual ao fechamento, mas só a vela não estabelece isso. Informação temporal ausente limita a interpretação e precisa ser informada e investigada.

4. Dados, lado da cotação e convenções intravela

Um teste é função de três coisas: regra, dados e modelo de custos. A seção anterior cobriu a primeira. Esta aborda as outras, começando por um ponto frequentemente omitido em material de testes: os dados não são um registro universal único. Um instrumento em um período tem tantos registros quanto fontes, e suas diferenças vão além do arredondamento.

O que precisa ser conhecido sobre os dados

Um conjunto de cotações é descrito por características que não podem ser inferidas umas das outras.

Fonte e versão. Um registro vem de fornecedor específico e pode ser revisado depois — lacunas preenchidas e cotações incorretas corrigidas. Testes antes e depois da correção são testes diferentes. A reprodutibilidade exige registrar a data de obtenção, além do nome da fonte.

Lado da cotação. O registro pode conter Bid, Ask, ambos ou seu ponto médio. A seção 2 explica a distinção; seu efeito aritmético no teste aparece abaixo.

OHLC não contém a sequência dentro da vela. Um registro completo de ticks dá a sequência das mudanças registradas na resolução de seus registros de tempo, mas não garante completude nem execuções. Resolução temporal, lado da cotação e lacunas precisam ser conhecidos; são características distintas dos dados.

Completude. Unidades de tempo ausentes, registros de tempo duplicados e interrupções da fonte mudam as oportunidades de avaliação. O tratamento de lacunas precisa ser especificado; caso contrário, o comportamento padrão da ferramenta o decide.

Mudanças no universo de instrumentos. Para teste de vários instrumentos, estabeleça se o conjunto permaneceu constante durante todo o período. Um instrumento cujas cotações são retiradas desaparece junto com seu resultado — o mesmo mecanismo que afeta as ofertas da seção 2.

Lado da cotação: o efeito aritmético

Uma regra pode ser calculada em um lado enquanto as ordens executam no outro. Uma posição comprada abre no Ask oferecido ao participante e encerra no Bid; a diferença é paga uma vez por operação completa de ida e volta. Se a simulação entra e sai no mesmo lado, toda a diferença desaparece do cálculo.

Com spread constante e lista de operações congelada, o componente omitido cresce linearmente com a contagem de operações. Spreads reais podem variar e afetar ativação e ordens posteriores. O exemplo abaixo isola um ajuste aritmético fixo; não é simulação Ask/Bid completa.

Convenções intravela: onde os dados se calam

OHLC não especifica se máxima ou mínima ocorreu primeiro. Quando as duas saídas são atingidas após a entrada na mesma vela, o resultado pode depender da trajetória desconhecida. Mesmo quando apenas um nível é atingido, podem restar perguntas sobre horário de entrada, lado da cotação e disponibilidade de execução.

Pressupor TP antes de SL ou SL antes de TP é convenção do modelo. O TradingView, por exemplo, descreve trajetórias O–H–L–C e O–L–H–C selecionadas conforme a posição do preço de abertura.^[6] Dados mais detalhados podem reduzir ambiguidade, mas não estabelecem automaticamente disponibilidade de execução em todo nível tocado.

Relate o efeito das operações disputadas no total e na média junto com sua participação. Uma parcela pequena pode ter grande efeito quando os resultados são grandes. As duas trajetórias fornecem limites úteis apenas dentro do modelo especificado de níveis e execuções; não são limites gerais dos resultados reais.

Verifique a clareza do lado do preço e da sequência após a condição de entrada. Uma vela que abrange os dois níveis antes da entrada não precisa criar o mesmo problema que outra que os abrange depois. A especificação deve distinguir essas situações, não tratar automaticamente toda vela assim como disputada.

A sensibilidade à sequência pode ser calculada para níveis e execuções supostos, mas liquidez desconhecida ou execução parcial podem criar outros resultados. Portanto, “otimista” e “conservadora” se referem a uma convenção específica. Relatar ambas é mais informativo que ocultar uma escolha, mas não garante que uma operação real ficaria entre elas.

Modelo de custos na simulação

Registre separadamente spread, comissão e deslizamento. Um modelo com preço de referência único precisa acrescentar custo explicitamente. Para diferenças entre execuções efetivas Ask/Bid, spread e deslizamento já incorporados aos preços estão incluídos e não podem ser descontados novamente. O deslizamento simulado pode ser estimado de amostra empírica separada; o próprio backtest não mede execuções novas.

Modelos de deslizamento fixo e baseados em distribuição podem diferir. A distribuição pode depender do tipo de saída e das condições de mercado. Não atribua direção nem magnitude à assimetria sem dados; compare cenários explícitos e execuções empíricas disponíveis.

Rejeições e execuções parciais podem ser simuladas. Omiti-las nem sempre distorce resultados em uma direção: uma ordem rejeitada poderia ganhar ou perder. Identifique sua ausência como limite do modelo, não prova de que o resultado sempre esteja superestimado.

Para posições que atravessam rollover, o financiamento soma Σ rⱼdⱼ. Aqui rⱼ é a taxa naquele momento e dⱼ, o peso do lançamento. Omitir swap negativo superestima o resultado; omitir positivo o subestima. Os artigos 8.5 e 8.6 explicam os pesos.

Não multiplique a taxa de hoje pela contagem de noites para aplicá-la retrospectivamente ao histórico inteiro. São necessários pesos dos eventos de lançamento, taxas da época e unidades. Volume variável também exige a base de cálculo de cada segmento. Um histórico de taxas ausente precisa ser identificado como limite ou substituído por cenário de custo explicitamente nomeado.

Swaps omitidos podem distorcer comparações entre dois horizontes em direções diferentes. Lançamento positivo é receita que melhora o saldo sob as condições supostas, não custo com outro nome. Lançamento negativo o reduz. Nenhum sinal decorre automaticamente da direção da posição. Transfira o método de cálculo dos artigos 8.5–8.6, não suas taxas ilustrativas.

Se a regra suspende negociação perto de eventos, reproduza o filtro com calendário histórico e fuso horário. Sem o filtro, os resultados incluem as duas condições. Uma média pode descrever a combinação, mas sua composição e custos separados devem ser informados. O artigo 8.8 trata das janelas de divulgação; 8.4 define o fim do dia de negociação.

Um filtro de divulgações exige informação disponível antes da decisão, não comentário posterior que identifique quais eventos foram importantes. Especifique lista, horário da divulgação no fuso pertinente e tratamento de revisões da programação. Se a regra não tem filtro, não retire depois operações desfavoráveis perto de divulgações chamando o restante de teste inalterado.

Mudar o limite do dia é metodologicamente semelhante: pode mudar sinais e atribuição dos dados. Preserve a convenção da fonte e os deslocamentos dos relógios em vez de ajustá-los aos resultados. A média da amostra mista continua sendo descrição válida dessa combinação, mas pode ocultar concentração do desempenho sem subperíodos e condições de custo.

Um teste em demonstração verifica sinais e execução em ambiente de demonstração. Seus resultados podem ser analisados, mas não estabelecem distribuições de custos idênticas em uma conta real. Teste em modo sombra não envia ordens nem mede execuções. Identifique explicitamente esses modos.

Uma vela, dois resultados admissíveis

Uma posição comprada ilustrativa já estava aberta no Ask 1,10000. O stop aciona no Bid 1,09800; o alvo, no Bid 1,10300. A vela Bid seguinte: O=1,09992; H=1,10320; L=1,09780; C=1,10040. As duas trajetórias correspondem a esse OHLC: O–H–L–C atinge o alvo primeiro; O–L–H–C atinge o stop primeiro.

Com execuções completas do modelo nos níveis, os resultados de preço são +30 e −20 pips. Após comissão de 0,20, são +29,80 e −20,20. O spread já está incluído entre Ask efetivo da entrada e Bid da saída; portanto, não é descontado novamente. OHLC não estabelece sequência nem execução nos níveis tocados.

As duas trajetórias desenhadas visitam os mesmos O, H, L e C em ordens diferentes. Isso basta para demonstrar ambiguidade, embora não esgote toda trajetória compatível com OHLC. Os resultados são medidos do Ask de entrada suposto ao Bid de saída. A vela Bid não tem histórico Ask e, sozinha, não pode reconstruir todo o histórico do spread.

Os valores de +29,80 e −20,20 são cálculos de duas execuções completas do modelo, não execução observada. A documentação do simulador define a convenção; dados mais detalhados podem estabelecer a sequência das cotações. Execuções reais exigiriam registros de ordens e execuções. Relate essas três camadas — trajetória, convenção e execução — separadamente.

5. Da regra à implantação, com critérios de progressão

As etapas de teste de regras costumam ser apresentadas como lista de tarefas. Uma lista sozinha não decide nada, pois não dá condição de progressão. Abaixo, cada etapa tem pergunta que exige resposta afirmativa para a próxima fazer sentido, mais a ação em caso de resposta negativa. A sequência não é arbitrária: cada etapa pressupõe a conclusão da anterior.

O que acontece após uma resposta negativa

Listas divergentes interrompem a interpretação dos resultados até estabelecer a causa. Após reparar dados, código ou especificação, repita as duas execuções. Não selecione uma lista só porque seu resultado é melhor.

Etapa dois. A falta de qualquer uma das cinco características dos dados interrompe o teste, pois cada uma afeta os resultados. Fornecê-las é trabalho de organização, não pesquisa substantiva, e geralmente leva menos tempo que discutir se é necessário.

Resultados nos dados de seleção descrevem a versão ajustada e não fornecem confirmação independente. Podem diagnosticar problemas e rejeitar uma ideia segundo critérios previamente especificados. Um resultado negativo não precisa encerrar todo projeto, mas uma versão revisada é nova decisão que exige avaliação independente. Relate a participação e o efeito dos casos intravela não resolvidos mesmo com média positiva.

Walk-forward seleciona parâmetros em uma janela anterior e os avalia na seguinte. O trecho disponível do capítulo de Pardo descreve essa construção.^[1] Os resultados ficam fora de cada janela local de seleção, mas escolher tamanhos das janelas e o procedimento inteiro após inspecionar todos os resultados ainda pode ajustar a avaliação. Registre o histórico de decisões e, após revisões assim, use novo teste final intocado.

Testar com dados que chegam pode ocorrer em modo sombra, demonstração ou conta real. O modo sombra compara disponibilidade de dados e sinais; demonstração também inclui execuções demonstrativas. Deslizamento, rejeições e execuções parciais reais exigem registros de ordens reais. Cada modo também fornece informação prospectiva sobre o comportamento da regra, não apenas sobre execução.

Etapa seis. Um critério de desligamento escrito após a implantação é comentário sobre o resultado, não critério. A seção 10 explica sua construção e propriedades estatísticas. Aqui basta a exigência formal: precisa existir antes da primeira ordem.

O monitoramento compara a mesma medida nas mesmas unidades, considerando tamanho da amostra e período. Um resultado na moeda da conta e outro em pips não são diretamente comparáveis. Não se afirma prevalência nem prioridade desse erro sem estudar relatórios.

O critério de desligamento faz parte do procedimento. Seu acionamento não é certo em todo período finito. Revisá-lo após inspecionar resultados exige registrar nova versão e verificá-la separadamente.

Quanto histórico cada etapa usa

Por trás dessa sequência de tarefas está o consumo de um recurso finito: histórico de cotações disponível. Ver a alocação numericamente é útil porque pode ser o único motivo de o procedimento não poder ser realizado na forma planejada.

Uma janela de treinamento maior fornece mais dados, mas pode incluir condições de mercado mais distantes; não garante seleção melhor. As conclusões dependem de incerteza, tamanho do efeito e mudança ao longo do tempo. Só algumas dezenas de operações não estabelecem que um teste não contenha informação.

Natureza dos dados e modo de execução

In-sample designa material usado para construção ou seleção. OOS designa material não usado naquela decisão; walk-forward é procedimento específico de avaliações OOS locais sucessivas. Teste prospectivo significa dados que chegam depois de fixar a versão, com execução em modo sombra, demonstração ou conta real. Um resultado real é efetivamente incorrido em uma conta. Esses rótulos descrevem eixos separados e podem se combinar; teste prospectivo não significa automaticamente execuções reais.

A natureza sempre se refere a uma decisão específica. Um período pode ser OOS para uma versão anterior e material de seleção da seguinte se seu primeiro resultado provocar revisão. Teste prospectivo descreve ordem cronológica, portanto observações prospectivas também podem selecionar versão posterior.

O modo de execução responde a outra pergunta. Modo sombra observa dados e sinais sem ordens; demonstração fornece execuções demonstrativas; conta real fornece execuções efetivas. Não são níveis de uma classificação. Um relatório pode, portanto, identificar simultaneamente período prospectivo, papel relativo à versão e modo de execução. Cada um resolve uma incerteza interpretativa diferente.

Relate separadamente o papel dos dados e o modo de execução. Sem eles, o significado de um número é limitado: pode descrever seleção de versão, avaliação independente, sinais futuros ou resultado efetivamente incorrido. Não são quatro categorias mutuamente exclusivas.

Teste prospectivo: quais eventos você realmente observa?

Todo relatório identifica datas, versão congelada da regra e mudanças durante o período. Teste prospectivo descreve teste cronológico; “conta real” descreve execução. Não são rótulos intercambiáveis.

6. Um catálogo de armadilhas dos testes

As armadilhas limitam a confiabilidade dos testes de formas diferentes. Alguns erros específicos, como uso de informação futura em implementação conhecida, podem ser removidos e verificados repetindo a execução. Não haver garantia para o futuro não significa que todo erro detectado só possa ser mitigado parcialmente.

Examinar muitas versões aumenta a chance de selecionar resultado favorável por acaso. Só um máximo não prova um artefato; considere a família de regras testadas e o procedimento de seleção. White descreve um teste que compara o melhor desempenho com uma referência, controlando a exploração repetida dos dados.^[2]

Harvey, Liu e Zhu analisam várias relações testadas em pesquisa sobre a seção transversal dos retornos esperados.^[4] Seus limiares de significância não são transferidos para um teste de FX de varejo. Essa fonte aponta para uma literatura separada sobre testes múltiplos.

Por que o uso repetido consome uma janela de validação

OOS deixa de ser validação independente para novas decisões se seu resultado foi usado para revisar a regra ou o procedimento. Só reler não muda os dados, mas agir com base nessa leitura muda seu papel.

Quando revisões usam resultados OOS, esse período passa a fazer parte da seleção da nova versão. Bailey e coautores descrevem a probabilidade de sobreajuste em um procedimento específico de seleção.^[3] Isso não estabelece que toda seleção invalide toda informação sobre o futuro.

Uma janela usada não pode voltar a ser não vista. O procedimento inteiro, porém, pode ser congelado e avaliado em dados novos intocados ou por divisão externa separada. Registros de uso identificam a versão para a qual um resultado ainda era OOS.

O escopo da tabela

As linhas descrevem diferentes limites de testes, não apenas superestimação. Algumas omissões podem agir nos dois sentidos. Especificações contratuais exigem verificação separada: se a regra não puder ser executada sob essas restrições, um teste favorável não resolve o problema. A seção 11 desenvolve essas condições.

A revisão de Park e Irwin examina estudos sobre rentabilidade da análise técnica.^[5] Não é usada aqui para atribuir proporção de resultados falsos nem afirmar que a maioria das regras falha. Cálculos explícitos de modelo estabelecem os limites desta lição, não generalizações não verificadas sobre a literatura.

Um novo teste após mudar a regra usando dados OOS

A versão v 1 foi selecionada sem o período B, tornando B OOS para aquela decisão. Ler B levou a uma mudança de parâmetro e à v 2. B agora serve à seleção da v 2: ainda pode documentar erro, mas não confirma mais v 2 independentemente. A v 2 congelada precisa do período C, não usado para parâmetros, tamanhos de janela ou custos. O relatório preserva v 1, v 2, datas das decisões e papel de cada período.

7. Teste de sensibilidade: custo, parâmetro e período

Afirmar vantagem exige verificar se o desempenho sobrevive a mudanças razoáveis das hipóteses. Três eixos são essenciais, pois todo teste contém três tipos de hipóteses: custo, valor do parâmetro principal e período selecionado. Os três são examinados abaixo em um conjunto numérico para poderem ser comparados.

A regra tem um parâmetro livre: o tamanho da janela usado para calcular um nível de referência. Os valores testados são 10, 15, 20, 25, 30 e 40 velas. A medida é resultado médio por operação encerrada em pips após custo de 0,60 pips. As versões A e B diferem na construção da condição de entrada. Todo número desta seção é ilustrativo, não vem de teste real e serve apenas para mostrar como interpretar um conjunto assim.

As tabelas usam médias e contagens supostas sem processar cotações. Portanto, não há participação empírica de velas disputadas, registro de execuções ou natureza IS/OOS. Esses campos são não aplicáveis — nenhum teste realizado, não 0%. Um relatório real precisa fornecê-los junto com dados e modelos.

Nenhum teste realizado não significa zero erros. Velas disputadas, rejeições e casos de uso de informação futura são desconhecidos porque não existe uma lista de eventos assim. Zero seria resultado de uma verificação especificada em amostra completa. “Não aplicável”, com seu motivo, descreve com precisão a construção da ilustração.

Uma comparação real exigiria fonte e versão das cotações, definição do sinal, custos, papéis dos períodos e lista de eventos que reproduza as médias. Parecer relatório de teste não confere essa natureza. Esses valores são entradas de cálculos de sensibilidade; a validação verifica a aritmética, não a qualidade empírica de A ou B.

O eixo do parâmetro

As duas versões atingem o pico em 20 velas. Escolher apenas o número maior favoreceria A. Verificações de vizinhança e subperíodos mostram maior sensibilidade de A neste conjunto, mas não estabelecem vantagem para B.

As razões das médias ponderadas completas são 1,733333/0,400028=4,3330 para A e 0,509750/0,463442=1,0999 para B. As tabelas mostram valores arredondados. A média da vizinhança usa as duas médias completas, não as linhas arredondadas.

A tem pico isolado; B, área mais ampla de resultados semelhantes. Isso diagnostica sensibilidade, não prova que A seja artefato nem B, estratégia estável. As médias vizinhas também vêm da mesma amostra, muitas vezes compartilhando operações; não substituem novos dados OOS.

O gráfico preserva um eixo numérico de parâmetro: 30 a 40 é mais largo que os intervalos adjacentes anteriores. Portanto, a largura da área desenhada corresponde aos tamanhos das janelas, não a uma contagem arbitrária de colunas. As alturas dos pontos usam médias ponderadas completas, não linhas arredondadas copiadas.

Uma área positiva mais ampla descreve utilmente a sensibilidade desta amostra. Não fornece muitas confirmações independentes, pois regras vizinhas podem usar as mesmas operações. A própria área também pode ser escolhida após ver resultados; seu histórico de seleção exige então o mesmo exame que um pico isolado. A geometria do gráfico não substitui divisões dos dados e avaliação da incerteza.

A contagem de operações cai com o tamanho da janela, mas a incerteza também depende de dispersão e dependência. Uma linha com N menor ainda pode fornecer informação útil. Sem distribuições, não se atribuem intervalos de confiança nem certeza de seleção aqui.

O eixo do custo

Com uma lista fixa de operações e custo adicional uniforme ΔC, a média cai em exatamente ΔC. Uma regra sem filtro de custo não garante lista inalterada: spreads variáveis podem mudar ativação, enquanto execuções ou rejeições podem mudar posições e sinais posteriores. Um teste completo precisa simular novamente esses eventos.

Deslocar cada média só é útil com lista congelada e custo adicional igual por resultado. Revela rapidamente uma margem, mas não reconstrói o comportamento alterado da estratégia. Se o custo adicional depende de horário, tipo de saída ou período de manutenção, calcule-o para os eventos apropriados.

Mudanças de spread também podem violar a hipótese de lista fixa. Para uma posição vendida, Ask pode acionar stop antes; esse encerramento muda os sinais posteriores permitidos por uma regra de posição única. O custo torna-se então parte da sequência de decisões, não dedução do total final. Estresse completo da execução exige nova simulação explícita.

Os 0,60 pips adicionais são estresse ilustrativo, não diferença típica medida entre simulação e negociação. Com lista congelada, tornam negativas as duas médias da vizinhança. Uma faixa de estresse crível em um relatório real exige dados ou condições de execução justificadas.

B tem baixa sensibilidade a parâmetros vizinhos neste conjunto, mas maior sensibilidade a custo. Após custos adicionais justificados, um pico positivo sozinho não basta para estabelecer vantagem. Avaliação completa também exige incerteza e dados fora da seleção.

O eixo do período

O terceiro eixo repete todo o exame de parâmetros separadamente em dois subperíodos disjuntos.

Mudar o melhor parâmetro indica dependência do período. Pode refletir ruído, condições variáveis ou adaptação justificada. Só o deslocamento do máximo não distingue essas possibilidades.

Pondere médias pela contagem de operações. Em 20, A: (110×3,20+100×0,12)/210=1,733333. B: (105×0,60+95×0,41)/200=0,509750, arredondado para 0,51. As médias exatas das seis configurações fundamentam os cálculos de vizinhança e estresse de custos.

O máximo de A passa de 20 velas no primeiro subperíodo para 40 no segundo. Na configuração 20, o primeiro contribui 110×3,20=352 pips e o segundo, 100×0,12=12; o primeiro representa 96,7% do total de 364. O máximo de B passa de 20 para 25, e toda média permanece positiva. A diferença de 0,01 entre duas configurações é característica dos números construídos; sua significância não pode ser determinada sem dispersão dos resultados.

A é sensível a parâmetro e período neste conjunto; B dá resultados vizinhos semelhantes. Ambas enfraquecem com custos maiores. Não há amostra empírica, variância de resultados nem teste de seleção, portanto não se atribui vantagem duradoura a nenhuma.

Usar os resultados do teste de sensibilidade

O eixo do parâmetro descreve a vizinhança; custo descreve a margem para um acréscimo específico; período descreve a concentração histórica do desempenho. Nenhum identifica número transferível para o futuro sem outras verificações.

Quando as três avaliações apontam na mesma direção, a conclusão é direta. Quando diferem, não há regra decisiva, e fingir o contrário não ajuda. Ainda assim, uma afirmação é clara: um resultado que inverte o sinal após pequena mudança realista em uma hipótese é instável, independentemente de sua altura inicial.

Uma vizinhança plana ainda pode compartilhar a mesma amostra

As versões de 15, 20 e 25 velas podem compartilhar muitas operações. Médias semelhantes, então, não fornecem três confirmações independentes. Antes de concluir robustez, verifique eventos compartilhados, resultados por subperíodo e histórico de seleção da área inteira. A média da vizinhança descreve esta amostra; não é evidência OOS nova.

8. O registro de reprodutibilidade

Um teste é reproduzível quando alguém, apenas com sua descrição, consegue obter o mesmo resultado. O critério é estrito, sem graus intermediários: a descrição basta ou não. O registro abaixo lista itens cuja ausência interrompe a reprodução e identifica o que fica desconhecido.

O registro documenta dados, regra e método de execução. Não se atribuem tempo de preenchimento nem prevalência de omissões em outros relatórios sem pesquisa. Versões de ferramentas, somas de verificação de arquivos e listas de decisões estabelecem se o mesmo experimento está sendo comparado.

Uma curva de patrimônio pode mostrar a trajetória dos resultados e a concentração se eixos e base forem especificados. Não substitui regra, dados, custos ou histórico de seleção. Só o gráfico não reproduz um teste nem avalia todo limite, embora não seja desprovido de informação.

O que congelar para reproduzir um resultado

Junto ao registro, preserve hashes SHA-256 dos dados e do código, versões das ferramentas, parâmetros, fuso e deslocamentos UTC, semente aleatória se aplicável e lista de eventos. Datas de verificação das fontes identificam a documentação de modelo consultada. Após mudar dados ou ferramentas, compare a lista de operações com o manifesto anterior, não apenas o total final.

Uma soma de verificação detecta mudanças nos bytes do arquivo; não avalia qualidade dos dados nem correção do código. Arquivos idênticos podem compartilhar erro. O manifesto identifica o que foi usado para uma pessoa independente investigar e repetir a execução corrigida em versão nomeada.

Um componente aleatório também exige parâmetros do gerador, método de amostragem e sequência de uso. Só a semente pode não bastar após mudanças de biblioteca ou modelo. Versões de ferramentas e registros de eventos distinguem um fluxo aleatório alterado de uma regra alterada. É informação para interpretar resultados, não tutorial de configuração de ambiente.

9. Avaliar resultados de terceiros por meio de perguntas

Um resultado de terceiros é avaliado como o próprio, com uma diferença: informação ausente não pode ser suprida independentemente; portanto, uma pergunta sem resposta encerra essa avaliação, em vez de virar etapa dela.

Separe as duas listas antes da primeira pergunta; caso contrário, a comparação fica longa demais para terminar. Oito perguntas sobre o resultado em si — contagem de operações, período e instrumentos, custos, divisão dos dados, número de versões testadas, drawdown máximo, concentração nas maiores operações e quem assume o risco — pertencem ao artigo 8.2, seção 13. Aplicam-se sem mudança a resultados algorítmicos e não são repetidas aqui. A lista abaixo cobre apenas o que é acrescentado quando um número vem de teste em cotações históricas, não de operações executadas. Cada linha segue a mesma ordem: pergunta, resposta exigida e significado de sua ausência.

A última pergunta pode ser considerada indelicada e é a única que não trata do procedimento de teste em si. Ela esclarece se as outras dez perguntas se dirigem a alguém que sofreu as consequências das próprias conclusões ou a alguém afetado apenas pelas conclusões dos outros. Isso não acusa nenhuma das partes; identifica onde recai o ônus da verificação.

Como combinar as duas listas

A ordem prática importa. Comece pelas oito perguntas do artigo 8.2: são mais curtas e resolvem a questão com mais frequência. Sem contagem de operações, datas ou divisão dos dados, a resolução dos registros é irrelevante, pois não se sabe o que ela descreveria. Um resultado que passa por essa lista exige as onze perguntas acima, que determinam se o número descreve a regra ou o procedimento usado para testá-la.

Relatórios de ordens em conta real contêm execuções efetivas, mas ainda exigem versão do algoritmo, origem dos sinais e mudanças da regra. Questões intrabar dizem respeito à simulação; qualidade dos dados e disponibilidade dos sinais também importam na execução real. Modelos históricos de custos podem ser estimados a partir de uma amostra separada de execuções.

A execução resolve a incerteza sobre o preço daquele preenchimento, mas não sobre por que o programa enviou a ordem. Dados disponíveis naquele momento, versão da regra e registros dos sinais continuam necessários. Falhas nas fontes ou limites incorretos das velas podem ocorrer na negociação real, mesmo quando uma execução está corretamente registrada.

Uma simulação pode usar slippage estimado de execuções reais anteriores. Essa amostra tem datas, instrumentos e limitações próprios. Ela não mede novas execuções do backtest nem garante que a distribuição se transfira ao período seguinte. Preserve a proveniência de cada componente, sem tratar o teste inteiro como incompatível com qualquer forma de dados reais.

O que pode ser fornecido no lugar das respostas

Outros materiais podem substituir as respostas, embora nenhum seja equivalente. Primeiro, uma curva de patrimônio não contém regra, modelo de custos nem divisão da amostra. Segundo, duração do período sem contagem de operações: dois anos podem significar 20 ou 2000 operações; portanto, o mesmo intervalo de tempo não precisa fornecer uma quantidade comparável de observações. Ambas as grandezas pertencem à lista do artigo 8.2, mas uma pode substituir a outra. Terceiro, um único indicador agregado de qualidade sem amostra, período, custos ou divisão dos dados é uma função dessas grandezas ausentes, não apenas da regra.

Um histórico de desempenho correto pode ter valor limitado para avaliar o futuro. Distinga a veracidade dos dados da independência do teste, do alcance dos custos e do histórico de seleção. Selecionar apenas pelo desempenho não prova um artefato, mas exige validação que leve a seleção em conta.

Aplicar as mesmas perguntas ao próprio resultado

Seu relatório deve preservar as datas das decisões, incluindo avaliações sem mudança da regra. A reconstrução retrospectiva é menos confiável que um registro feito na época, mas não se deve atribuir um sentido predeterminado ao erro de memória.

Uma divisão registrada antes dos testes estabelece o uso planejado dos dados. Uma reconstrução pode descrever a divisão efetivamente usada, mas não prova que ela permaneceu inalterada após a consulta dos resultados. São necessários históricos de versões e decisões.

10. Monitoramento e critério de desligamento definido previamente

Após a implantação, observe se o comportamento da regra corresponde ao alcance da versão testada. Diferenças podem refletir dispersão aleatória, mudança das condições ou falhas nos dados e na execução. Um critério de desempenho não identifica perfeitamente a causa, mas sua frequência de alarmes e seu atraso podem ser avaliados em modelos explícitos.

Um critério baseado em superar a pior observação do teste

Uma construção dispara um alarme quando um resultado individual é pior que o mínimo do teste. Suas propriedades são calculadas abaixo para um modelo especificado, sem afirmar que essa construção seja comum.

O cálculo tem implicações para o projeto. Esse critério deve ser relacionado à duração do período, não apenas ao limiar: “pior que o pior resultado do teste” difere após 100 e 1000 operações. A segunda implicação diz respeito à quarta etapa do procedimento: um teste mais longo reduz a sensibilidade a falsos alarmes, mais um motivo para não encurtar essa etapa.

Um critério baseado na ausência de operações

A segunda construção trata da situação oposta: a regra não gera sinais, embora devesse gerá-los. Esse alerta diz respeito ao encontro das condições para as quais a regra foi projetada, não ao desempenho.

O que deve conter um critério de desligamento por escrito

Um critério de desempenho deve indicar medida, unidade, limiar, duração da observação, amostra necessária e ação após o alarme. Falhas de integridade separadas, como ordens duplicadas ou ausência de dados necessários, podem exigir suspensão imediata, sem aguardar uma contagem mínima de operações.

Um limiar sem período de observação é incompleto: um resultado, uma média de janela recente e o mínimo histórico são grandezas diferentes. A duração da janela e o N necessário determinam quais eventos disparam alarmes. Várias verificações exigem considerar frequência e dependência; a porcentagem de uma verificação não descreve automaticamente todo o monitoramento.

A ação após o alarme também deve ser especificada. Suspensão, diagnóstico e reinício exigem a causa e a versão monitorada. Uma revisão que usa o período do alarme não pode manter a condição antiga de teste independente. Falhas de integridade permanecem distintas: detectá-las não precisa aguardar a avaliação estatística da média.

As condições de reinício devem ser reproduzíveis: identifique a causa do alarme, corrija-a e avalie a nova versão em dados não usados e em um modo prospectivo especificado. O período que motivou a revisão serve ao diagnóstico, não a uma nova validação OOS independente.

Por que esses critérios podem errar nos dois sentidos

Um critério sensível desliga uma regra que funciona, como mostra o primeiro cálculo. Um critério pouco sensível mantém uma regra operando após a mudança das condições pelo tempo necessário para coletar uma amostra decisiva. Os dois lados dessa escolha surgem porque uma série de resultados é compatível com muitas distribuições, e distingui-las exige observações que levam tempo para se acumular. O artigo 8.2 trata da amostra necessária para detectar uma diferença especificada.

Um critério de desempenho escolhe um equilíbrio entre alarmes frequentes e reações tardias. Suas propriedades podem ser avaliadas em modelos explícitos e prospectivamente. Os resultados não identificam um regime com certeza, mas ainda permitem um diagnóstico útil.

Mais verificações aumentam a chance de um alarme

Em um modelo de Poisson homogêneo, uma única pausa de 60 sessões escolhida previamente tem probabilidade de ausência de sinal q=exp(−60/21)=5,74%. Para 12 janelas disjuntas, independentes nesse modelo, a chance de pelo menos uma janela vazia é 1−(1−q)¹²=50,82%. Isso não modela janelas móveis e sobrepostas. O limiar de uma verificação não pode ser chamado de taxa anual de falsos alarmes sem novo cálculo.

As 12 janelas disjuntas definem um conjunto específico de verificações. As contagens de Poisson nelas são independentes, permitindo multiplicar as probabilidades de nenhuma janela vazia e subtrair o produto de 1. Essa hipótese pertence à fórmula, não a toda estratégia observada.

Verificações móveis compartilham muitas sessões. Seus resultados são dependentes e podem sinalizar repetidamente uma pausa longa. Sua frequência exige outro cálculo ou uma simulação explícita do procedimento completo. Estimar a intensidade a partir de uma amostra curta também acrescenta incerteza. A ilustração trata uma operação a cada 21 sessões como um parâmetro dado, não como uma vantagem medida.

11. O que este artigo não estabelece

O procedimento tem um alcance definido, que convém explicitar porque cada limitação abaixo altera as conclusões que ele sustenta.

Concluir o procedimento não estabelece uma vantagem

O procedimento fornece evidências sobre a versão testada sob dados e custos especificados. Não garante vantagem duradoura. Um bom desempenho OOS com avaliação da incerteza pode sustentar uma; seleção e teste não estabelecem previamente nem sucesso nem artefato.

Essa distinção é prática, não filosófica. “A regra concluiu o procedimento” pode ser verificado e declarado. “A regra tem vantagem” exige adicionalmente estimativas de valor esperado com custos completos e de incerteza em dados externos à construção da regra. Isso pertence ao artigo 8.2, não a este texto.

Todos os valores numéricos aqui são hipotéticos

Nenhum teste foi realizado. Os 240 sinais, 400 operações, 46 casos disputados, seis valores de parâmetros em duas versões e 21 sessões entre sinais apenas ilustram cálculos e escala. Seus próprios dados de entrada mudariam todos os resultados, às vezes seu sinal. Tratar qualquer um desses números como estimativa contrariaria sua natureza declarada.

Encontrar uma regra que valha a pena testar

Ideias e construção de sinais pertencem à seção 5 e ao artigo 8.7. Um teste pode fornecer diagnóstico útil para a hipótese seguinte, mas não garante uma ideia melhor. Toda revisão que usa resultados do teste amplia o histórico de seleção.

A execução é um dado de entrada aqui, não o tema

Slippage, rejeições e execuções parciais entram no modelo de custos como números que exigem uma fonte. Sua origem diz respeito às condições de negociação e comparações, tratadas na seção 11. Ambiente, configuração e requisitos técnicos do programa pertencem à seção 12. Nenhum desses temas é descrito aqui nem pode ser inferido do material anterior.

Tamanho da posição e medidas de risco da carteira ficam fora do cálculo

Os resultados em pips independem do volume no modelo de custos linear adotado. Tarifas mínimas e condições de execução diferentes podem violar isso. Dimensionamento de posições e medidas da trajetória do patrimônio pertencem à seção 9.

O comportamento após o desligamento pertence a outra seção

Os critérios de desligamento foram discutidos como elementos do procedimento com propriedades modeladas. Defina-os antes da implantação e registre mudanças posteriores. Reações humanas a resultados adversos pertencem à seção 10.

12. Exercício de verificação e próximo passo

O exercício repete três cálculos com outros dados de entrada e identifica omissões no relatório de outra pessoa. Os dados e a resolução vêm a seguir.

Aplicar o procedimento a seguir

Documente primeiro regra, dados e modelo. Depois verifique a concordância das implementações e calcule. Não se supõe que isso leve uma hora nem que determinado número de omissões apareça na maioria dos relatórios.

Diagnostique a parcela e o efeito dos casos intrabar, a vizinhança dos parâmetros e a sensibilidade a custos. O primeiro exige eventos da simulação; o segundo, configurações adicionais dos parâmetros; o teste completo de custos pode exigir nova simulação. Nem toda informação vem de uma única execução.

Uma questão separada, fora deste artigo, frequentemente decide primeiro a viabilidade: esse método de trabalho cabe nas horas e circunstâncias de que você dispõe? A automação muda menos do que pode parecer, deslocando o esforço da observação do mercado para a construção e supervisão, em vez de eliminá-lo. O monitoramento da seção 10 continua sendo trabalho regular. O artigo 8.10, a última lição da seção, elimina métodos inviáveis diante das restrições pessoais.