データスヌーピング
魅力的なルールを選ぶために同じデータを繰り返し探索・再利用することによるバイアスです。モデルは再現する仕組みではなく、偶然の過去の特徴に適合している場合があります。独立した評価集合のはずのデータで結果を見た後、戦略を何度も修正することも含みます。未来参照バイアスとは別ですが、両方が同時に起こり得ます。
例。 真である帰無仮説の独立した50検定をα = 0.05で行うと、誤棄却数の期待値は2.5です。少なくとも一つの誤棄却がある確率は1−0.95⁵⁰ ≈ 92.3%です。実際の戦略変種は通常、独立ではありません。
仕組み
パラメーター、フィルター、商品、却下した版など、試行群全体を記録します。開発と最終評価を分離します。ホールドアウトを繰り返し調べるとモデル選択の一部となり、独立確認という元の役割が損なわれます。
よくある誤り
モデルの92.3%は、選ばれた特定戦略がその確率で誤っているという意味ではありません。多重検定補正は役立ちますが、情報漏洩や不正確な約定モデルは取り除けません。
さらに学ぶ
講座内：5.12 テクニカル分析の自動化とスクリーニング — ツール、手順、落とし穴; 15.4 バックテストとフォワードテスト — 方法、証拠、落とし穴。出典：ASA：p値に関する声明.
研究判断の記録
保存ファイルだけでなく、破棄したフィルター、商品、手動変更も記録します。ホールドアウトを見て選んだ条件があれば、そのデータ集合も開発に加わっています。最終検証には、その選択判断から独立したデータが必要です。
一次資料の確認日2026年10月11日：stat.ethz.ch.
よくある質問
良好なアウトオブサンプル結果が一つあれば問題は消えますか？
自動的には消えません。選択手順、過去の試行、評価データが設計判断から独立しているかがすべて重要です。
データセットをOOSと名付ければ独立になりますか？
いいえ。フォルダー名ではなく、実際にルール選択へ与えた影響が重要です。
