Statistische Signifikanz
Das Konzept verstehen
Hypothese, Statistik, Annahmen, Entscheidungsschwelle und Effektschätzung mit Unsicherheit angeben. Mehr informative Beobachtungen können Präzision verbessern; Abhängigkeit verringert aber effektive Information. Ein kleiner positiver Erwartungswert kann viel mehr Belege verlangen als ein größerer Effekt; Ergebnisse müssen plausible Handelskosten enthalten.
Stichprobengröße und wirtschaftlicher Vorteil
Dreißig Gewinne in 50 unabhängigen Versuchen schätzen 60% Trefferquote; unter Binomialmodell beträgt das 95%-Wilson-Intervall ungefähr 46.2–72.4%. Auswahl, abhängige Trades und Regimewechsel können dieses einfache Modell ungeeignet machen. Trefferquote allein beschreibt keinen Erwartungswert: Gewinn- und Verlustgrößen sowie Kosten zählen ebenfalls.
Wirtschaftlich bedeutsamen Effekt, Out-of-Sample-Validierungsplan und Mehrfachtestkontrolle vor Auswahl der besten Variante festlegen. Signifikanz ersetzt weder Robustheitsprüfungen noch Risikokontrollen.
Häufiger Fehler
p = 0.03 nicht als 97% Wahrscheinlichkeit profitablen Handels lesen. Auch ein signifikanter Backtest überwindet weder wiederholte Modellauswahl, Informationsleck noch Regimewechsel.
Weiterlernen
Im Kurs: 15.10 Strategieprüfung — Wann das System und wann das eigene Verhalten korrigieren; 15.4 Backtesting und Forward-Testing — Methoden, Belege und Fallstricke. Quellen: American Statistical Association: Erklärung zu p-Werten.
Häufige Fragen
Genügen 100 Out-of-Sample-Trades?
Beweist ein nicht signifikanter Befund fehlenden Effekt?
Nein. Begrenzte Informationen oder hohe Streuung können eine Ablehnung verhindern. Berichten Sie die Schätzung und ihre Unsicherheit, statt die Nichtablehnung als Beweis für einen Effekt von null zu behandeln.