統計的有意性
仮定したモデルの下で、指定した帰無仮説の棄却基準をデータが満たす検定結果です。p値は、その仮説とモデルの下で、同程度以上に極端な結果が得られる確率であり、優位性が本物である確率や、偶然が結果の原因である確率ではありません。統計的有意性と実用的な費用後の優位性は別です。標本数、依存関係、多重検定、アウトオブサンプルでの選択が解釈に影響し、優位性を立証する普遍的取引件数はありません。
例。 真である帰無仮説の独立した20検定をα = 0.05で行うと、誤棄却数の期待値は20 × 0.05 = 1ですが、必ず一件という保証ではありません。少なくとも一つある確率は1−0.95²⁰ ≈ 64.15%です。追加仮定なしに依存する検定へこの式を適用できません。
概念を理解する
仮説、統計量、仮定、判断閾値、効果推定と不確実性を示します。情報を持つ観測が増えれば精度は改善し得ますが、依存関係は有効情報を減らします。小さな正の期待値には大きな効果よりはるかに多くの証拠が必要な場合があり、結果には現実的な取引費用を含める必要があります。
標本数と経済的優位性
独立した50試行で三十勝なら推定勝率は60%です。二項モデルの95%ウィルソン区間は約46.2–72.4%です。選択、依存する取引、レジーム変化で、この単純モデルが不十分になる場合があります。勝率だけでは期待値は分からず、利益幅、損失幅、費用も重要です。
最良変種を選ぶ前に、経済的に意味のある効果、アウトオブサンプル検証計画、多重検定の制御を指定します。有意性は頑健性確認やリスク管理の代わりにはなりません。
よくある誤り
p = 0.03を、利益の出る取引を行う確率が97%と読んではいけません。有意なバックテストでも、繰り返したモデル選択、情報漏洩、レジーム変化は克服できません。
さらに学ぶ
講座内：15.10 戦略監査 — システムを直す時と自分を直す時; 15.4 バックテストとフォワードテスト — 方法、証拠、落とし穴。出典：米国統計学会：p値に関する声明.
よくある質問
アウトオブサンプル取引100件で十分ですか？
普遍的な閾値はありません。必要な情報は効果量、変動性、依存関係、研究設計、必要精度によります。
有意でない結果は効果がない証明ですか？
いいえ。情報不足や大きなばらつきで棄却できない場合があります。棄却しないことをゼロ効果の証明とせず、推定値と不確実性を報告します。
