標本外検証
戦略選択とパラメータ適合から除外したデータを、未見観測の成績評価に使うことです。結果が追加変更に使われたら、改定戦略の汚れていない保留標本ではなくなります。固定比率や取引数で有意義な検証は保証できません。漏洩を避け現実的費用を含めます。
例では英語式の数値表記を使います。カンマは千ごとの桁区切り、ピリオドは小数点です。1,000は千、1.25は一と四分の一を意味します。
例。 2020–2023で規則を開発し、別の2024検証で選択し、凍結版を未使用2025テストで評価するとします。開発+0.30R、テスト+0.08Rの期待値差だけで単一原因は分かりません。2025を見てフィルター変更したら、その年は改定版にとってクリーンなOOSではありません。
標本を選択から分ける
OOSは評価戦略の選択に未使用のデータで、単なる別名ファイルではありません。テストを見てパラメータ、商品、例外を選んでも情報利用です。追加研究は透明に行えますが、開発中検証と最終テストを区別します。開発者が本当に未見だったものが分かるよう、判断と版を残します。
時系列とデータ漏洩
市場時系列を無作為に混ぜると未来と過去が混在し得ます。尺度調整、特徴選択、閾値はテスト前の利用データだけで適合します。将来期間にかかる取引やラベルは標本境界を跨ぐため、時間軸に合う除外を定義します。日程上の間隔だけでは全漏洩は消えません。参照：scikit-learnのデータ漏洩文書に例があります。
弱い成績は何を意味するか？
過剰適合、市況変化、費用増、実装誤り、小標本の不確実性などが候補です。自動的に過剰適合と断定せず原因を調べます。決済取引数、ばらつき、全費用を報告します。短い正のOOSも収益性証明ではなく、特定モデル・測定窓の推定です。
文書化で再現可能にする
コード版、元データ、公表予定、商品仕様を残します。境界を跨ぐ保有ポジションと指標の準備履歴の扱いを定義します。指標計算に使う以前の観測と、選択に使う未来結果は違います。後の知識を以前の評価へ黙って挿入せず、正確なテスト版を再現できる記録にします。
実務的な手順
結果を見る前に、標本境界、情報利用可能時刻、評価基準、行動計画を記録します。全費用と比較可能な数量を保ちます。変更に使ったテストを未使用と呼ばず、後のデータで新たな誠実な評価を行います。講座内：バックテストとフォワードテスト。情報源は2026年10月11日に確認。
図と計算例
原寸の図を開く
よくある質問
70/30分割なら常に十分ですか？
いいえ。適切な分割は時間軸、観測数、依存、選択過程によります。
OOSを何度も見られますか？
はい。ただしモデルや選択に影響するなら、未使用の最終テストでなく研究データになります。
