Backtesting
Backtesting bewertet eine festgelegte Strategie anhand historischer Daten. Aussagekräftige Ergebnisse erfordern eine ausdrückliche zeitliche Zuordnung der verfügbaren Informationen, zuverlässige Daten, realistische Ausführung und Kosten sowie Schutz vor Vorgriffsverzerrung, Auswahlverzerrung und Überanpassung. Trennen Sie die Entwicklung von der Bewertung anhand zuvor ungesehener Daten. Werden Regeln nach wiederholter Einsicht in einen zurückgehaltenen Datensatz ausgewählt, wird dessen Unabhängigkeit beeinträchtigt. Eine gute historische Kapitalkurve belegt keine künftige Rentabilität. Ein schwächeres Ergebnis auf ungesehenen Daten ist ein Anlass zur Untersuchung, aber kein eindeutiger Beweis für eine bestimmte Ursache. Die Anzahl der Kerzen ist nicht die Anzahl der Geschäfte.
Beispiel. Eine hypothetische Strategie zeigt einen Bruttoerwartungswert von +0.40R je Geschäft in einem Test über 500 Kerzen; die Kerzenzahl ist nicht die Zahl der abgeschlossenen Geschäfte. Bei einer Stop-Distanz von 25 Pips ergibt ein Modell mit einem Pip Spread und jeweils einem Pip nachteiliger Ausführung beim Ein- und Ausstieg insgesamt drei Pips, also 0.12R. Unter der Annahme gleicher Positionsgrößen und Kosten beträgt das Ergebnis nach diesen modellierten Kosten +0.28R, noch vor zusätzlichen Provisionen oder Finanzierungskosten. Ziehen Sie einen Spread nicht erneut ab, wenn er bereits in den tatsächlichen Bid-/Ask-Ausführungskursen enthalten ist. Stammt die Hälfte des Gewinns aus nur drei ungewöhnlich günstigen Ereignissen, kann die Leistung auf ungesehenen Daten erheblich abweichen. Das Beispiel zeigt die Empfindlichkeit gegenüber Annahmen, keinen universellen Prozentsatz, um den jeder Backtest seine Ergebnisse überzeichnet. Ein schwaches Out-of-Sample-Ergebnis kann auf Überanpassung, einen Regimewechsel, einen Implementierungsfehler oder die Unsicherheit einer kleinen Stichprobe zurückgehen. Untersuchen Sie die Ursachen, statt eine davon vorauszusetzen.
Reproduzierbare Spezifikation
Dokumentieren Sie Instrument, Zeitrahmen, Kursquelle, Regelversion und den Zeitpunkt, zu dem jede Eingabe verfügbar ist. Ein auf dem Schlusskurs beruhendes Signal rechtfertigt keine frühere Ausführung innerhalb derselben Kerze. Wenn OHLC-Daten die Reihenfolge von Stop und Ziel nicht klären, verwenden Sie eine dokumentierte Konvention oder feinere Daten, statt das günstigere Ergebnis auszuwählen.
Robustheit über ein Optimum hinaus
Vergleichen Sie benachbarte Parameter, Zeitfenster und Kostenannahmen sowie die Ergebnisse nach dem Entfernen einzelner extremer Geschäfte. Wird die beste Variante nach Einsicht in den zurückgehaltenen Datensatz ausgewählt, beeinträchtigt das dessen Unabhängigkeit. Protokollieren Sie alle getesteten Varianten, damit der Bericht die Auswahl nicht verschweigt.
Entscheidungsreifer Bericht
Berichten Sie über abgeschlossene Geschäfte, Zeitraum, Nettoerwartungswert, Streuung, Drawdowns und offene Positionen. Unterscheiden Sie Kontostandskurven von Equity-Kurven. Archivierte Daten, Code und Konfiguration helfen dabei, spätere Modelländerungen von Fehlern bei der Reproduktion zu unterscheiden.
Häufige Fragen
Wie unterscheiden sich Backtest und Forward-Test?
Ein Backtest verwendet historische Daten; ein Forward-Test verwendet Daten, die erst nach der Festlegung der Regeln eintreffen. Forward-Tests sind in einer Simulation oder auf einem Echtgeldkonto möglich. Eine Demoausführung ist keine reale Brokerausführung, während ein Echtgeldtest tatsächliche Kosten und finanzielle Risiken mit sich bringt. Auf einem Demokonto lassen sich Logik und Arbeitsablauf prüfen. Eine separate Echtgeldphase mit kleinem Volumen setzt den Trader außerdem den tatsächlichen Kontobedingungen und den mit echtem Geld verbundenen Emotionen aus. Sie belegt jedoch nicht die Ausführungsqualität bei einer wesentlich größeren Position.
Welche Kosten gehören in einen Backtest?
Modellieren Sie den maßgeblichen Spread, Provisionen, Ausführungsabweichungen sowie gegebenenfalls Übernachtfinanzierung und weitere Gebühren. Verwenden Sie realistische Kursseiten und Zeitpunkte. Ziehen Sie denselben Spread nicht zweimal ab, wenn das Modell der Ausführungskurse ihn bereits enthält. Geben Sie an, ob das Modell den Auslösekurs oder den Ausführungskurs einer Order abbildet und wie es Kurslücken sowie unzureichende Liquidität behandelt.
Was ist Überanpassung und wie untersucht man sie?
Überanpassung bedeutet, Regeln oder Parameter an zufällige Besonderheiten der Entwicklungsstichprobe statt an einen wiederholbaren Zusammenhang anzupassen. Verwenden Sie einen geschützten zurückgehaltenen Datensatz, eine Walk-forward-Bewertung und sinnvolle Robustheitsprüfungen. Ein schwächeres Ergebnis auf ungesehenen Daten ist ein Warnsignal, für sich allein aber keine endgültige Diagnose. Diese Prüfungen setzen voraus, dass die Bewertungsdaten nicht erneut zur Optimierung verwendet werden. Auch Regimewechsel, eine kleine Stichprobe und Implementierungsfehler können das Ergebnis auf ungesehenen Daten verschlechtern.
Wie viele historische Daten reichen?
Sie benötigen genügend Daten, um die Unsicherheit der konkreten Regel und die relevanten Marktbedingungen zu beurteilen. Neben der Anzahl der Geschäfte spielen Abhängigkeiten, seltene Ergebnisse und die Zahl der getesteten Varianten eine Rolle. Ein allgemeines Minimum von 100 Geschäften je Fenster ist keine Garantie, und ein Test in einem Regime belegt nicht das Verhalten in einem anderen. Geben Sie die Anzahl der abgeschlossenen Geschäfte getrennt von der Kerzenzahl an und quantifizieren Sie die Schätzunsicherheit.
