Data Snooping
Funktionsweise
Die gesamte Versuchsfamilie protokollieren: Parameter, Filter, Instrumente und verworfene Versionen. Entwicklung und Schlussprüfung trennen. Wiederholte Holdout-Sichtung macht ihn zum Teil der Modellauswahl und beeinträchtigt seine ursprüngliche Rolle als unabhängige Prüfung.
Häufiger Fehler
Die 92.3% des Modells bedeuten nicht, dass eine konkret ausgewählte Strategie mit dieser Wahrscheinlichkeit falsch ist. Korrektur für Mehrfachtests kann helfen, beseitigt aber weder Informationsleck noch fehlerhaftes Ausführungsmodell.
Weiterlernen
Im Kurs: 5.12 Automatisierung und Screening in der technischen Analyse — Werkzeuge, Ablauf und Fallstricke; 15.4 Backtesting und Forward-Testing — Methoden, Belege und Fallstricke. Quellen: ASA: Erklärung zu p-Werten.
Ein Protokoll der Forschungsentscheidungen
Verworfene Filter, Instrumente und manuelle Änderungen ebenso wie gespeicherte Dateien erfassen. Wurde eine Bedingung nach Holdout-Sichtung gewählt, gehört dieser Datensatz zur Entwicklung. Ein Schlusstest braucht Daten unabhängig von diesen Auswahlentscheidungen.
Primärquelle geprüft am 11. Oktober 2026: stat.ethz.ch.
Häufige Fragen
Beseitigt ein gutes Out-of-Sample-Ergebnis das Problem?
Macht die Bezeichnung OOS einen Datensatz unabhängig?
Nein. Sein tatsächlicher Einfluss auf die Regelwahl zählt, nicht sein Ordneretikett.