Signifikansi statistik
Memahami konsep
Nyatakan hipotesis, statistik, asumsi, ambang keputusan dan estimasi efek dengan ketidakpastian. Observasi banyak memperbaiki presisi jika informatif, tetapi ketergantungan mengurangi informasi efektif. Expectancy positif kecil mungkin perlu jauh lebih banyak bukti daripada efek besar, dan hasil harus memasukkan biaya trading masuk akal.
Ukuran sampel dan keunggulan ekonomi
Tiga puluh kemenangan dalam 50 percobaan independen mengestimasi win rate 60%; menurut binomial, interval Wilson 95% sekitar 46.2–72.4%. Seleksi, transaksi bergantung dan rezim berubah dapat membuat model sederhana tidak memadai. Win rate saja tidak menjelaskan expectancy: besar untung/rugi serta biaya juga penting.
Tetapkan efek bermakna ekonomi, rencana validasi di luar sampel serta kontrol pengujian berganda sebelum memilih varian terbaik. Signifikansi tidak mengganti pemeriksaan ketahanan atau kontrol risiko.
Kesalahan umum
Jangan baca p = 0.03 sebagai probabilitas trading untung 97%. Backtest signifikan juga tidak mengatasi seleksi model berulang, kebocoran informasi atau pergantian rezim.
Pelajaran lanjutan
Dalam kursus: 15.10 Audit Strategi — Kapan Memperbaiki Sistem, Kapan Memperbaiki Diri; 15.4 Backtesting dan forward testing — metode, bukti dan jebakan. Sumber: American Statistical Association: pernyataan p-value.
Pertanyaan umum
Apakah 100 transaksi di luar sampel cukup?
Apakah hasil tidak signifikan membuktikan tanpa efek?
Tidak. Informasi terbatas atau dispersi tinggi mungkin mencegah penolakan. Laporkan estimasi dan ketidakpastian, jangan anggap tidak menolak sebagai bukti efek nol.