Data snooping
Cara kerja
Catat seluruh keluarga percobaan: parameter, filter, instrumen dan versi ditolak. Pisahkan pengembangan dari evaluasi akhir. Pemeriksaan holdout berulang menjadikannya bagian seleksi model dan merusak peran awal pemeriksaan independen.
Kesalahan umum
Angka model 92.3% bukan probabilitas strategi pilihan tertentu salah. Koreksi pengujian berganda membantu, tetapi tidak menghapus kebocoran informasi atau model eksekusi tidak akurat.
Pelajaran lanjutan
Dalam kursus: 5.12 Otomasi dan penyaringan analisis teknikal — alat, alur dan jebakan; 15.4 Backtesting dan forward testing — metode, bukti dan jebakan. Sumber: ASA: pernyataan p-value.
Log keputusan riset
Catat filter, instrumen dan perubahan manual dibuang serta file disimpan. Jika syarat dipilih setelah memeriksa holdout, set itu masuk pengembangan. Uji akhir perlu data independen dari keputusan seleksi tersebut.
Sumber primer diperiksa 11 Oktober 2026: stat.ethz.ch.
Pertanyaan umum
Apakah satu hasil di luar sampel baik menghapus masalah?
Apakah menamai dataset OOS membuat independen?
Tidak. Pengaruh nyata pada pemilihan aturan penting, bukan label folder.