Trading algoritmik — prosedur pengujian dan penilaian hasil pihak lain

Program dapat menjalankan aturan dengan lebih cepat dan akurat, tetapi otomatisasi trading saja tidak membuktikan adanya keunggulan. Perubahan sinyal, harga eksekusi, dan biaya perlu diperiksa. Pelajaran ini menjelaskan cara menyiapkan pengujian yang dapat direproduksi, mengenali keterbatasan data, dan menilai hasil sendiri atau laporan penyedia algoritme. Pelajaran ini juga menunjukkan mengapa seleksi parameter dan urutan peristiwa dalam satu candle dapat menentukan hasil. Semua contoh numerik bersifat ilustratif; tidak ada pengujian pada kuotasi pasar yang dilakukan.

1. Apa yang diubah otomatisasi dalam eksekusi, dan apa yang tetap dalam perhitungan

Program mengubah spesifikasi menjadi order dan catatan peristiwa. Kesesuaiannya bergantung pada kode yang benar, data, dan lingkungan yang berfungsi; kesalahan dan gangguan tetap mungkin terjadi.

Karena itu, aturan maupun apakah implementasinya menjalankan versi yang benar perlu diperiksa. Otomatisasi menyediakan prosedur yang dapat direproduksi hanya dalam kondisi tersebut.

Sistem otomatis dapat mengevaluasi kondisi pada waktu terjadwal, mengirim order dengan parameter tertentu, dan menyimpan catatan. Setiap unsur memerlukan implementasi yang benar dan pemantauan lingkungan. Catatan juga harus mencakup sinyal yang tidak dieksekusi dan alasan sinyal dilewati. Ini adalah manfaat eksekusi yang mungkin diperoleh, bukan jaminan operasi tanpa kesalahan.

Mengeksekusi lebih banyak sinyal belum tentu berarti lebih banyak laba. Perkalian di bawah mempertahankan tanda hanya dalam model dengan rata-rata hasil neto per transaksi yang tidak berubah. Perhitungan ini tidak menjelaskan setiap dampak perubahan metode eksekusi.

Mengapa catatan manual tidak memprediksi hasil sistem otomatis

Kita tidak tahu apakah 90 sinyal yang dilewati merupakan sampel acak. Sinyal yang dilewati dapat bergantung pada jam pengamatan dan filter tambahan, tetapi hubungannya dengan hasil memerlukan data. Catatan harus mencakup sinyal yang tidak dieksekusi beserta alasan setiap pengabaian.

Catatan manual menggambarkan versi aturan yang dijalankan. Catatan itu belum tentu menggambarkan versi yang menjalankan setiap sinyal. Filter diskresioner dapat memperbaiki atau memperburuk hasil; selisihnya tidak dapat diperkirakan tanpa kasus yang diabaikan.

Hal ini diselesaikan dengan menentukan hasil semua sinyal, termasuk yang dilewati, pada data historis — pengujian yang dibahas dalam sisa artikel ini. Catatan prospektif yang juga mencakup sinyal tidak dieksekusi, seperti pada perhitungan di atas, memiliki tujuan yang sama. Bedanya, catatan itu terkumpul mengikuti laju pasar yang tidak dapat dipercepat, sedangkan pengujian historis menggunakan bahan yang sudah tersedia.

Batas kontribusi otomatisasi

Daftar hal yang tidak dilakukan otomatisasi lebih pendek daripada daftar janji, tetapi pernyataannya dapat diperiksa.

Otomatisasi tidak membuktikan adanya keunggulan. Otomatisasi dapat mengubah rata-rata keuntungan, kerugian, tingkat kemenangan, dan biaya melalui waktu serta metode eksekusi. Nilai harapan neto perlu diperiksa untuk versi aturan yang sebenarnya, bukan meminjam hasil versi manual sebelumnya.

Otomatisasi tidak menjamin biaya yang lebih rendah. Spread dan komisi tetap berlaku, meskipun respons lebih cepat atau waktu keluar yang tepat dapat mengubah eksekusi. Jeda dari sinyal hingga pengiriman dan slippage dari order hingga eksekusi adalah penyimpangan berbeda; keduanya dapat memengaruhi hasil. Perubahan biaya memerlukan pengukuran pada sinyal yang sebanding.

Lebih banyak transaksi dapat memberikan lebih banyak informasi, tetapi tidak sebanding dengan jumlah baris tambahan. Ketergantungan hasil yang positif dapat meningkatkan galat rata-rata, sedangkan beberapa bentuk ketergantungan negatif dapat menguranginya. Ukuran sampel efektif merupakan bagian dari model yang beralasan; nilainya tidak otomatis lebih kecil daripada N. Artikel 8.2 mengembangkan penilaiannya.

Otomatisasi memajukan keputusan, bukan menghapusnya. Setiap keputusan dalam trading manual harus dibuat lebih dahulu untuk trading otomatis — sebagai spesifikasi. Lebih banyak keputusan diperlukan karena program juga memerlukan jawaban atas pertanyaan yang ditangani manusia secara naluriah: apa yang terjadi pada sinyal saat posisi terbuka, candle yang hilang, atau posisi yang tidak mencapai kedua level? Bagian 3 membahas pertanyaan tersebut.

Sistem otomatis menjalankan prosedur tertentu; penilaian mencakup logika, data, dan eksekusinya. Eksekusi yang lebih baik dapat memiliki nilai ekonomi. Hal itu tidak menggantikan bukti bahwa aturan lengkap tetap menguntungkan setelah biaya di luar bahan yang digunakan untuk menyeleksinya.

Eksekusi dapat mengubah tanda hasil neto

Ilustrasi dengan logika sinyal yang sama: rata-rata hasil sebelum penyimpangan eksekusi +0,40 pip. Dengan biaya dan keterlambatan versi manual sebesar 0,65, rata-rata netonya −0,25; dengan angka versi otomatis sebesar 0,25, rata-rata netonya +0,15. Nilai ini tidak membuktikan bahwa otomatisasi biasanya memperbaiki hasil. Nilai tersebut menunjukkan mengapa klaim tanda yang tidak berubah memerlukan asumsi eksekusi yang tidak berubah.

2. Empat bentuk otomatisasi dan insentif penyedia

Peserta ritel dapat memilih pengaturan yang dibedakan oleh hal yang lebih penting daripada tingkat otomatisasi: siapa yang menentukan aturan dan siapa yang dapat memverifikasinya. Ini lebih penting daripada perbedaan antara “manual” dan “otomatis”, karena menentukan apakah prosedur di bawah dapat diterapkan sama sekali.

Model imbalan penyedia harus dibaca dalam ketentuan layanan: dapat bergantung pada langganan, perputaran transaksi, atau kinerja. Model itu sendiri tidak membuktikan kualitas maupun ketidakjujuran. Penilaian memerlukan aturan, uraian pengujian, dan data yang mengidentifikasi apa yang diwakili hasil terpublikasi.

Penawaran yang tersedia mungkin tidak mencakup program yang ditarik atau akun yang hasilnya tidak lagi dipublikasikan. Jika demikian, peringkat mengandung seleksi berdasarkan keberlangsungan. Tetapkan komposisi historisnya, bukan menganggap setiap program yang gagal menghilang.

Program sendiri dan konflik tanpa penjual

Baris pertama tabel tampak bebas dari masalah kolom terakhir karena tidak ada penyedia. Namun, satu konflik tetap ada dan mungkin lebih sulit karena tidak ada pihak lain yang mengidentifikasinya. Pembuat aturan dan pengujinya adalah orang yang sama, dan pengujian menentukan nasib pekerjaan yang sudah dilakukan.

Pembuat harus mencatat setiap versi yang diuji dan setiap penggunaan data validasi, termasuk kegagalan. Kita tidak menetapkan frekuensi penghilangan maupun motif pembuat. Catatan yang disimpan sejak awal hanya lebih andal daripada rekonstruksi riwayat eksperimen.

Semiotomatisasi dan celah yang ditinggalkannya

Dalam semiotomatisasi, program dapat mengevaluasi kondisi sementara seseorang memilih order. Jika filter tambahan ditentukan dan dapat direproduksi, seluruh pengaturan dapat diuji. Jika tetap diskresioner, hasilnya milik gabungan program dan keputusan manusia.

Konsekuensinya sama dengan catatan manual di bagian 1 dan perlu diperjelas di sini karena mungkin kurang terlihat. Hasilnya bukan milik aturan terprogram saja; hasil itu milik gabungan aturan tersebut dengan aturan seleksi yang tidak ditentukan. Menguji yang pertama tidak menjelaskan gabungannya. Untuk menilai pengaturan tersebut, aturan kedua harus ditentukan. Artikel 8.1 memberikan kriteria spesifikasi: dua orang harus menafsirkannya secara identik.

Status hasil bergantung pada apa yang ditentukan dan dijalankan, bukan semata keterlibatan seseorang. Program dengan filter eksplisit dapat membentuk sistem yang dapat direproduksi; filter yang tidak diungkapkan membatasi reproduktibilitas.

Mereproduksi transaksi akun lain

Tanpa aturan, copy trading memungkinkan penilaian rangkaian transaksi terpublikasi, tetapi tidak dapat mereproduksi pengujian strategi pada periode lain. Tanggal, instrumen, biaya, dan perbedaan eksekusi tetap dapat dipertanyakan. Aturan yang hilang membatasi penilaian; tidak menghilangkan setiap informasi dalam catatan.

Eksekusi juga berbeda. Penyalinan mengikuti sinyal akun lain, sehingga order mencapai pasar lebih lambat dan volume mungkin disesuaikan. Kedua perbedaan memengaruhi akun penyalin, bukan akun asli; jadi lintasan terpublikasi menggambarkan sesuatu yang berbeda dari yang diterima penyalin. Penyimpangan bergantung pada aturan: mungkin tidak berarti dengan target puluhan pip, tetapi dapat melebihi seluruh keuntungan yang direncanakan dengan target beberapa pip. Perhitungan biaya terhadap target di artikel 8.3 menunjukkan hal ini.

Masalah hukum — status layanan, kewajiban penyedia, dan perlindungan klien — dibahas di bagian 13 dan berada di luar teks ini. Pokok metodologisnya adalah penyalinan menghilangkan kemampuan menguji aturan, menyisakan pertanyaan di bagian 9.

3. Prasyarat: dapatkah aturan direproduksi pada data?

Sebelum bertanya tentang kinerja, tanyakan apakah dua rekonstruksi independen dari spesifikasi yang sama pada data kuotasi yang sama menghasilkan daftar transaksi identik. Jika tidak, perbandingan berikutnya kehilangan makna: dua aturan berbeda dengan nama yang sama akan dibandingkan.

Dua implementasi independen merupakan pemeriksaan kuat terhadap kejelasan makna. Keduanya tidak harus menjadi satu-satunya pemeriksaan: kasus acuan yang disepakati dan perbandingan setiap peristiwa juga membantu. Penyimpangan dapat muncul dari celah spesifikasi atau kesalahan kode. Temukan penyebabnya, bukan otomatis menulis ulang aturan.

Memeriksa daftar peristiwa memberi lebih banyak informasi daripada menyamakan total akhir. Dua implementasi dapat mencapai hasil yang sama melalui transaksi berbeda, atau menghasilkan sinyal identik dengan keluaran berbeda karena urutan eksekusi berbeda. Bandingkan waktu, arah, sisi kuotasi, dasar pemicu, dan eksekusi.

Kesesuaian tidak membuktikan keunggulan maupun validitas model eksekusi. Kesesuaian mengonfirmasi reproduksi konsisten dari spesifikasi dan pengaturan tertentu. Kedua implementasi dapat memiliki asumsi salah yang sama. Kasus acuan dan pemeriksaan ketersediaan informasi menguji asumsi pada tingkat keputusan individual sebelum hasil agregat dipakai untuk penilaian ekonomi.

Memeriksa kesesuaian dua rekonstruksi

Prosedurnya sederhana dan memerlukan dua pelaksanaan: aturan, berkas kuotasi, dan periode yang sama. Bandingkan daftar, bukan agregat: stempel waktu masuk, arah, harga masuk, stempel waktu keluar, harga keluar, dan dasar keluar. Kesesuaian adalah proporsi transaksi yang muncul di kedua daftar terhadap gabungan transaksi unik.

Dari mana penyimpangan muncul

Kasus berikut memerlukan spesifikasi eksplisit atau pemeriksaan implementasi. Tidak ada frekuensi yang ditetapkan. Spesifikasi jelas menghilangkan sebagian perbedaan; yang lain memerlukan pemeriksaan data dan model eksekusi.

• Batas jendela. Apakah candle yang dievaluasi termasuk jendela level acuan? Dalam jendela 20 candle, mengganti satu candle dapat mengubah level sesuai rumusnya — dari tidak berubah hingga kelipatan target yang direncanakan.
• Pertidaksamaan ketat atau tidak ketat. Apakah “harga di atas level” mencakup kesamaan? Dengan presisi desimal terbatas, kesamaan terjadi lebih sering daripada dugaan intuitif karena harga dibulatkan ke kenaikan kuotasi.
• Sinyal ketika posisi terbuka. Apakah dilewati, menambah posisi, atau menggantikannya? Tiga jawaban tersebut menghasilkan tiga daftar transaksi dari aliran sinyal yang sama.
• Sinyal pada candle ketika posisi ditutup. Apakah posisi ditutup sebelum sinyal dievaluasi? Jawabannya bergantung pada urutan yang tidak terkandung dalam candle.
• Data yang hilang. Apakah kondisi dievaluasi ketika satu candle hilang dari jendela? Mengisi celah dengan nilai tetangga dan melewati evaluasi menghasilkan daftar berbeda; salah satunya dapat dipilih tanpa menyadari bahwa itu pilihan.
• Identifikasi candle dan perubahan jam. Apakah candle diidentifikasi melalui stempel waktu lokal sumber atau waktu universal? Pada jam yang berulang setelah perubahan jam, konvensi pertama menciptakan label duplikat; tanpa offset eksplisit, label lokal dapat berulang. Periksa aturan identifikasinya.
• Posisi yang belum terselesaikan. Apakah ada keluar berdasarkan waktu, dan apakah penghitungnya memakai candle yang tersedia atau jam pada jam dinding? Akhir pekan membuat kedua jawaban menghasilkan tanggal penutupan berbeda.
• Akhir periode pengujian. Apa yang terjadi pada posisi terbuka di candle terakhir? Menutup pada harga terakhir, menghilangkan seluruh transaksi, dan membiarkannya terbuka menghasilkan tiga total berbeda.

Kaitkan setiap penyimpangan dengan spesifikasi, kode, data, atau pemodelan eksekusi. Perjelas celah spesifikasi secara tertulis; perbaiki kesalahan implementasi dalam program. Lalu ulangi perbandingan dengan kasus acuan dan daftar peristiwa lengkap.

Pisahkan dua masalah yang sering digabungkan dalam praktik. Membuat aturan objektif — mengubah pengamatan grafik menjadi kondisi yang dapat dihitung — merupakan teknik analitis dalam artikel 5.12. Memeriksa apakah dua program independen mereproduksi spesifikasi itu secara identik bersifat metodologis dan dibahas di sini. Yang pertama bertanya “dapatkah dihitung?”, yang kedua “apakah selalu dihitung dengan cara yang sama?”.

Aturan berbasis penutupan dan harga respons

Kondisi yang menggunakan harga penutupan candle baru tersedia setelahnya. Eksekusi tidak dapat mendahului ketersediaan sinyal dan respons yang realistis. Kuotasi berikutnya mungkin sama dengan harga penutupan; kesamaan harga saja tidak membuktikan penggunaan informasi masa depan.

Kesalahan terjadi ketika pengujian memakai informasi yang belum tersedia pada waktu keputusan yang ditetapkan. Mencatat harga penutupan setelah sinyal tersedia bukan kesalahan dengan sendirinya; periksa stempel waktu ketersediaan, pengiriman, dan eksekusi serta aturan simulator.

Contoh penggunaan informasi masa depan: level keluar pada waktu t memakai harga tertinggi atau terendah candle yang baru akan muncul setelah t. Memakai candle saat ini tidak selalu salah — data sejauh ini mungkin sudah tersedia. Pemeriksaan menyangkut kapan suatu nilai diketahui, bukan hanya label candle.

Tetapkan waktu ketersediaan setiap nilai. Nilai yang diketahui saat candle ditutup hanya dapat memicu order setelah tersedia bagi strategi. Eksekusi berikutnya mungkin sama dengan harga penutupan, tetapi candle saja tidak dapat membuktikannya. Informasi waktu yang hilang membatasi penafsiran dan harus diungkapkan serta diteliti.

4. Data, sisi kuotasi, dan konvensi intrabar

Pengujian adalah fungsi tiga hal: aturan, data, dan model biaya. Bagian sebelumnya membahas yang pertama. Bagian ini membahas lainnya, mulai dari hal yang sering diabaikan dalam materi pengujian: data bukan satu catatan universal. Satu instrumen pada satu periode memiliki catatan sebanyak jumlah sumbernya, dan perbedaannya melampaui pembulatan.

Apa yang harus diketahui tentang data

Kumpulan data kuotasi dijelaskan oleh karakteristik yang tidak dapat disimpulkan satu dari lainnya.

Sumber dan versi. Catatan berasal dari penyedia tertentu dan dapat direvisi kemudian — celah diisi dan kuotasi yang salah diperbaiki. Pengujian sebelum dan sesudah perbaikan adalah pengujian berbeda. Reproduktibilitas memerlukan pencatatan tanggal pengunduhan serta nama sumber.

Sisi kuotasi. Catatan dapat berisi Bid, Ask, keduanya, atau titik tengahnya. Bagian 2 menjelaskan perbedaan tersebut; dampak aritmetisnya dalam pengujian ditunjukkan di bawah.

OHLC tidak memuat urutan dalam satu candle. Catatan tick lengkap memberikan urutan perubahan tercatat pada resolusi stempel waktunya, tetapi tidak menjamin kelengkapan maupun eksekusi. Resolusi waktu, sisi kuotasi, dan celah harus diketahui; ketiganya karakteristik data yang berbeda.

Kelengkapan. Unit waktu yang hilang, stempel waktu duplikat, dan gangguan sumber mengubah peluang evaluasi. Penanganan celah harus ditentukan; jika tidak, perilaku bawaan alat yang memutuskannya.

Perubahan semesta instrumen. Untuk pengujian multiinstrumen, tetapkan apakah kumpulan instrumen tetap selama seluruh periode. Instrumen yang kuotasinya ditarik menghilang bersama hasilnya — mekanisme yang sama memengaruhi penawaran dalam bagian 2.

Sisi kuotasi: dampak aritmetis

Aturan dapat dihitung pada satu sisi sementara order dieksekusi pada sisi lain. Posisi long dibuka pada Ask yang ditawarkan kepada peserta dan ditutup pada Bid; selisih dibayar satu kali per transaksi buka-tutup lengkap. Jika simulasi masuk dan keluar pada sisi yang sama, seluruh selisih itu hilang dari perhitungan.

Dengan spread konstan dan daftar transaksi yang dibekukan, komponen yang diabaikan tumbuh linear dengan jumlah transaksi. Spread nyata dapat berubah dan memengaruhi aktivasi serta order berikutnya. Contoh di bawah mengisolasi penyesuaian aritmetis tetap; bukan simulasi Ask/Bid lengkap.

Konvensi intrabar: ketika data tidak menjawab

OHLC tidak menentukan apakah harga tertinggi atau terendah terjadi lebih dahulu. Ketika kedua level keluar tercapai setelah masuk dalam satu candle, hasilnya dapat bergantung pada lintasan yang tidak diketahui. Bahkan ketika hanya satu level tercapai, pertanyaan tentang waktu masuk, sisi kuotasi, dan ketersediaan eksekusi dapat tersisa.

Mengasumsikan TP sebelum SL atau SL sebelum TP merupakan konvensi model. TradingView, misalnya, menjelaskan lintasan O–H–L–C dan O–L–H–C yang dipilih sesuai posisi harga pembukaan.^[6] Data lebih rinci dapat mengurangi ambiguitas, tetapi tidak otomatis membuktikan ketersediaan eksekusi pada setiap level yang disentuh.

Laporkan dampak transaksi yang diperselisihkan pada total dan rata-rata beserta proporsinya. Proporsi kecil dapat berdampak besar jika hasilnya besar. Kedua lintasan memberi batas berguna hanya dalam model level dan eksekusi yang ditentukan; bukan batas umum hasil nyata.

Periksa kejelasan sisi harga dan urutan setelah kondisi masuk. Candle yang mencakup kedua level sebelum masuk belum tentu menimbulkan masalah yang sama dengan candle yang mencakupnya setelah masuk. Spesifikasi harus membedakan situasi tersebut, bukan otomatis menganggap setiap candle semacam itu diperselisihkan.

Sensitivitas urutan dapat dihitung untuk level dan eksekusi asumsi, tetapi likuiditas yang tidak diketahui atau eksekusi parsial dapat menghasilkan hasil lain. Karena itu, “optimistis” dan “konservatif” merujuk pada konvensi tertentu. Melaporkan keduanya lebih informatif daripada menyembunyikan suatu pilihan, tetapi tidak menjamin transaksi nyata akan berada di antaranya.

Pemodelan biaya dalam simulasi

Catat spread, komisi, dan slippage secara terpisah. Model dengan satu harga acuan harus menambahkan biaya secara eksplisit. Untuk selisih eksekusi Ask/Bid nyata, spread dan slippage yang sudah tercermin dalam harga telah tercakup dan tidak boleh dikurangkan lagi. Slippage simulasi dapat diperkirakan dari sampel empiris terpisah; backtest itu sendiri tidak mengukur eksekusi baru.

Model slippage tetap dan berbasis distribusi dapat berbeda. Distribusinya dapat bergantung pada jenis keluar dan kondisi pasar. Jangan menetapkan arah atau besaran asimetri tanpa data; bandingkan skenario eksplisit dan eksekusi empiris yang tersedia.

Penolakan dan eksekusi parsial dapat disimulasikan. Mengabaikannya tidak selalu membias hasil ke satu arah: order yang ditolak mungkin untung atau rugi. Nyatakan ketiadaannya sebagai keterbatasan model, bukan bukti bahwa hasil selalu dibesar-besarkan.

Untuk posisi yang melewati rollover, total pembiayaan adalah Σ rⱼdⱼ. Di sini rⱼ adalah tarif saat itu dan dⱼ bobot akrual. Mengabaikan swap negatif membesar-besarkan hasil; mengabaikan swap positif merendahkannya. Artikel 8.5 dan 8.6 menjelaskan bobot tersebut.

Jangan mengalikan tarif hari ini dengan jumlah malam lalu menerapkannya secara retrospektif pada seluruh riwayat. Diperlukan bobot peristiwa akrual, tarif saat itu, dan satuannya. Volume variabel juga memerlukan dasar perhitungan setiap segmen. Riwayat tarif yang hilang harus dinyatakan sebagai keterbatasan atau diganti skenario biaya yang dinamai secara eksplisit.

Swap yang diabaikan dapat membias perbandingan dua horizon ke arah berbeda. Akrual positif adalah pendapatan yang memperbaiki saldo dalam kondisi asumsi, bukan biaya dengan nama lain. Akrual negatif menguranginya. Tidak satu pun tandanya otomatis berasal dari arah posisi. Terapkan metode perhitungan artikel 8.5–8.6, bukan tarif ilustratifnya.

Jika aturan menghentikan trading di sekitar peristiwa, reproduksi filter itu memakai kalender historis dan zona waktu. Tanpa filter, hasil mencakup kedua kondisi. Rata-rata dapat menggambarkan campuran, tetapi komposisi dan biaya terpisahnya harus diungkapkan. Artikel 8.8 membahas jendela rilis; 8.4 menentukan akhir hari trading.

Filter rilis memerlukan informasi yang tersedia sebelum keputusan, bukan komentar kemudian yang mengidentifikasi peristiwa mana yang ternyata penting. Tentukan daftar, waktu rilis dalam zona terkait, dan penanganan revisi jadwal. Jika aturan tidak memiliki filter, jangan kemudian membuang transaksi buruk di sekitar rilis dan menyebut sisanya pengujian yang tidak berubah.

Mengubah batas hari serupa secara metodologis: dapat mengubah sinyal dan pengelompokan data. Pertahankan konvensi sumber dan offset jam, bukan menyesuaikannya dengan hasil. Rata-rata sampel campuran tetap menjadi deskripsi valid campuran tersebut, tetapi dapat menyembunyikan konsentrasi kinerja tanpa subperiode dan kondisi biaya.

Pengujian demo memeriksa sinyal dan eksekusi dalam lingkungan demonstrasi. Hasilnya dapat dianalisis, tetapi tidak membuktikan distribusi biaya identik pada akun riil. Pengujian bayangan tidak mengirim order dan tidak mengukur eksekusi. Nyatakan mode tersebut secara eksplisit.

Satu candle, dua hasil yang mungkin

Posisi long ilustratif sudah terbuka pada Ask 1,10000. Stop dipicu pada Bid 1,09800, target pada Bid 1,10300. Candle Bid berikutnya: O=1,09992; H=1,10320; L=1,09780; C=1,10040. Kedua lintasan cocok dengan OHLC ini: O–H–L–C mencapai target lebih dahulu; O–L–H–C mencapai stop lebih dahulu.

Dengan eksekusi penuh yang dimodelkan pada level tersebut, hasil harga adalah +30 dan −20 pip. Setelah komisi 0,20, hasilnya +29,80 dan −20,20. Spread sudah tercakup antara Ask masuk aktual dan Bid keluar, sehingga tidak dikurangkan lagi. OHLC tidak membuktikan urutan maupun eksekusi pada level yang disentuh.

Kedua lintasan tergambar mengunjungi O, H, L, dan C yang sama dalam urutan berbeda. Ini cukup untuk menunjukkan ambiguitas, meskipun tidak mencakup semua lintasan yang konsisten dengan OHLC. Hasil diukur dari Ask masuk asumsi ke Bid keluar. Candle Bid tidak memiliki riwayat Ask dan tidak dapat merekonstruksi seluruh riwayat spread sendirian.

Angka +29,80 dan −20,20 merupakan perhitungan dua eksekusi penuh yang dimodelkan, bukan eksekusi teramati. Dokumentasi simulator menentukan konvensi; data lebih rinci mungkin dapat menentukan urutan kuotasi. Eksekusi nyata memerlukan catatan order dan eksekusi. Laporkan tiga lapisan ini — lintasan, konvensi, dan eksekusi — secara terpisah.

5. Dari aturan ke penerapan, dengan kriteria untuk melanjutkan

Tahap pengujian aturan sering disajikan sebagai daftar tugas. Daftar saja tidak memutuskan apa pun karena tidak memberikan syarat untuk melanjutkan. Di bawah, setiap tahap memiliki pertanyaan yang memerlukan jawaban afirmatif agar tahap berikutnya bermakna, serta tindakan untuk jawaban negatif. Urutannya tidak acak: setiap tahap mengasumsikan tahap sebelumnya selesai.

Apa yang terjadi setelah jawaban negatif

Daftar yang tidak sesuai menghentikan interpretasi hasil sampai penyebab ditentukan. Setelah memperbaiki data, kode, atau spesifikasi, ulangi kedua pelaksanaan. Jangan memilih daftar hanya karena hasilnya lebih baik.

Tahap dua. Ketiadaan salah satu dari lima karakteristik data menghentikan pengujian karena setiap karakteristik memengaruhi hasil. Menyediakannya merupakan pekerjaan organisasi, bukan riset substantif, dan biasanya lebih cepat daripada berdebat apakah hal itu perlu.

Hasil pada data seleksi menggambarkan versi yang disesuaikan dan tidak memberi konfirmasi independen. Hasil itu dapat mendiagnosis masalah dan menolak ide berdasarkan kriteria yang ditetapkan sebelumnya. Hasil negatif tidak harus mengakhiri setiap proyek, tetapi versi revisi merupakan keputusan baru yang memerlukan penilaian independen. Laporkan proporsi dan dampak kasus intrabar yang belum terselesaikan meskipun rata-ratanya positif.

Walk-forward menyeleksi parameter pada jendela sebelumnya dan mengevaluasinya pada jendela berikutnya. Cuplikan bab Pardo yang tersedia menjelaskan konstruksi ini.^[1] Hasil berada di luar setiap jendela seleksi lokal, tetapi memilih panjang jendela dan seluruh prosedur setelah melihat semua hasil tetap dapat menyesuaikan evaluasi. Catat riwayat keputusan dan, setelah revisi demikian, gunakan pengujian akhir baru yang belum disentuh.

Pengujian pada data yang masuk dapat memakai mode bayangan, demo, atau riil. Mode bayangan membandingkan ketersediaan data dan sinyal; demo juga mencakup eksekusi demonstrasi. Slippage, penolakan, dan eksekusi parsial nyata memerlukan catatan order riil. Setiap mode juga memberi informasi prospektif tentang perilaku aturan, bukan eksekusi saja.

Tahap enam. Kriteria penghentian yang ditulis setelah penerapan merupakan komentar atas hasil, bukan kriteria. Bagian 10 menjelaskan konstruksi dan sifat statistiknya. Di sini syarat formal cukup: kriteria harus ada sebelum order pertama.

Pemantauan membandingkan ukuran yang sama dalam satuan yang sama, dengan mempertimbangkan ukuran sampel dan periode. Hasil dalam mata uang akun dan dalam pip tidak dapat dibandingkan langsung. Tidak ada klaim tentang prevalensi atau prioritas kesalahan ini tanpa meneliti laporan.

Kriteria penghentian merupakan bagian prosedur. Pengaktifannya tidak pasti terjadi dalam setiap periode terbatas. Merevisinya setelah melihat hasil memerlukan pencatatan versi baru dan pemeriksaan terpisah.

Berapa banyak riwayat yang digunakan setiap tahap

Di balik urutan tugas ini ada konsumsi satu sumber daya terbatas: riwayat kuotasi yang tersedia. Melihat alokasinya secara numerik berguna karena bisa menjadi satu-satunya alasan prosedur tidak dapat dilakukan sesuai rencana.

Jendela pelatihan lebih panjang menyediakan lebih banyak data tetapi mungkin mencakup kondisi pasar yang lebih jauh; tidak menjamin seleksi lebih baik. Kesimpulan bergantung pada ketidakpastian, besaran efek, dan perubahan seiring waktu. Beberapa puluh transaksi saja tidak membuktikan bahwa pengujian tidak mengandung informasi.

Status data dan mode eksekusi

In-sample berarti bahan untuk membangun atau menyeleksi. OOS berarti bahan yang tidak digunakan untuk keputusan itu; walk-forward adalah prosedur tertentu berupa evaluasi OOS lokal berurutan. Pengujian prospektif berarti data yang datang setelah versi ditetapkan, dengan eksekusi bayangan, demo, atau riil. Hasil riil benar-benar terjadi pada akun. Label ini menggambarkan sumbu terpisah dan dapat digabungkan; pengujian prospektif tidak otomatis berarti eksekusi riil.

Status selalu merujuk pada keputusan tertentu. Satu periode dapat menjadi OOS bagi versi sebelumnya dan bahan seleksi bagi versi berikutnya jika hasil pertamanya mendorong revisi. Pengujian prospektif menggambarkan urutan waktu, sehingga observasi prospektif juga dapat menyeleksi versi berikutnya.

Mode eksekusi menjawab pertanyaan terpisah. Bayangan mengamati data dan sinyal tanpa order; demo menyediakan eksekusi demonstrasi; akun riil menyediakan eksekusi nyata. Ketiganya bukan tingkat dalam satu klasifikasi. Karena itu, laporan dapat mengidentifikasi periode prospektif, perannya terhadap versi, dan mode eksekusi sekaligus. Masing-masing menyelesaikan ketidakpastian interpretasi yang berbeda.

Laporkan peran data dan mode eksekusi secara terpisah. Tanpanya, makna angka terbatas: mungkin menggambarkan seleksi versi, evaluasi independen, sinyal mendatang, atau hasil yang benar-benar terjadi. Ini bukan empat kategori yang saling meniadakan.

Pengujian prospektif: peristiwa apa yang benar-benar Anda amati?

Setiap laporan mengidentifikasi tanggal, versi aturan yang dibekukan, dan perubahan selama periode tersebut. Pengujian prospektif menggambarkan pengujian kronologis; “riil” menggambarkan eksekusi. Keduanya bukan label yang dapat dipertukarkan.

6. Katalog jebakan pengujian

Jebakan membatasi keandalan pengujian dengan cara berbeda. Beberapa kesalahan khusus, seperti penggunaan informasi masa depan dalam implementasi yang diketahui, dapat dihilangkan dan diperiksa dengan menjalankan ulang. Ketiadaan jaminan masa depan tidak berarti setiap kesalahan terdeteksi hanya dapat dikurangi sebagian.

Memeriksa banyak versi meningkatkan peluang memilih hasil yang menguntungkan secara acak. Nilai maksimum saja tidak membuktikan artefak; pertimbangkan keluarga aturan yang diuji dan prosedur seleksi. White menjelaskan pengujian yang membandingkan kinerja terbaik dengan tolok ukur sambil mengendalikan eksplorasi data berulang.^[2]

Harvey, Liu, dan Zhu menganalisis berbagai hubungan yang diuji dalam riset penampang lintang imbal hasil harapan.^[4] Ambang signifikansi mereka tidak diterapkan pada pengujian FX ritel. Sumber ini menunjuk ke literatur terpisah mengenai pengujian berganda.

Mengapa penggunaan berulang menghabiskan jendela validasi

OOS berhenti menjadi validasi independen untuk keputusan baru jika hasilnya dipakai merevisi aturan atau prosedur. Membaca ulang saja tidak mengubah data, tetapi bertindak berdasarkan pembacaan itu mengubah perannya.

Ketika revisi memakai hasil OOS, periode tersebut menjadi bagian seleksi versi baru. Bailey dan rekan menjelaskan probabilitas overfitting dalam prosedur seleksi tertentu.^[3] Ini tidak membuktikan bahwa setiap seleksi membatalkan seluruh informasi tentang masa depan.

Jendela yang sudah digunakan tidak dapat kembali menjadi belum terlihat. Namun, seluruh prosedur dapat dibekukan dan dinilai pada data baru yang belum disentuh atau melalui pembagian luar terpisah. Catatan penggunaan mengidentifikasi versi yang hasilnya masih OOS.

Cakupan tabel

Baris-barisnya menjelaskan berbagai keterbatasan pengujian, bukan hanya pembesaran hasil. Beberapa penghilangan dapat bekerja ke dua arah. Spesifikasi kontrak memerlukan pemeriksaan terpisah: jika aturan tidak dapat dijalankan dalam batasan tersebut, pengujian yang menguntungkan tidak menyelesaikan masalah. Bagian 11 mengembangkan kondisi ini.

Tinjauan Park dan Irwin merangkum studi profitabilitas analisis teknis.^[5] Tinjauan itu tidak dipakai di sini untuk menetapkan proporsi hasil palsu atau menyatakan bahwa sebagian besar aturan gagal. Perhitungan model eksplisit menetapkan keterbatasan pelajaran ini, bukan generalisasi literatur yang tidak diverifikasi.

Pengujian baru setelah mengubah aturan menggunakan data OOS

Versi v 1 dipilih tanpa periode B, sehingga B menjadi OOS untuk keputusan tersebut. Membaca B memicu perubahan parameter dan v 2. Kini B digunakan untuk menyeleksi v 2: masih dapat mendokumentasikan kesalahan, tetapi tidak lagi mengonfirmasi v 2 secara independen. Versi v 2 yang dibekukan memerlukan periode C, yang tidak digunakan untuk parameter, panjang jendela, atau biaya. Laporan mempertahankan v 1, v 2, tanggal keputusan, dan peran setiap periode.

7. Pengujian sensitivitas: biaya, parameter, dan periode

Klaim keunggulan memerlukan pemeriksaan apakah kinerja bertahan terhadap perubahan asumsi yang wajar. Tiga sumbu penting karena setiap pengujian mengandung tiga jenis asumsi: biaya, nilai parameter utama, dan periode terpilih. Ketiganya diperiksa pada satu kumpulan numerik di bawah agar dapat dibandingkan.

Aturan memiliki satu parameter bebas: panjang jendela untuk menghitung level acuan. Nilai yang diuji adalah 10, 15, 20, 25, 30, dan 40 candle. Ukurannya adalah rata-rata hasil per transaksi tertutup dalam pip setelah biaya 0,60 pip. Versi A dan B berbeda dalam konstruksi kondisi masuk. Setiap angka dalam bagian ini bersifat ilustratif, tidak berasal dari pengujian nyata, dan hanya menunjukkan cara menafsirkan kumpulan seperti itu.

Tabel memakai rata-rata dan jumlah asumsi tanpa memproses kuotasi. Karena itu, tidak ada proporsi empiris candle yang diperselisihkan, catatan eksekusi, atau status IS/OOS. Kolom-kolom ini tidak berlaku — tidak ada pengujian yang dilakukan, bukan 0%. Laporan nyata harus menyediakannya beserta data dan model.

Tidak ada pengujian bukan berarti tidak ada kesalahan. Candle yang diperselisihkan, penolakan, dan kasus informasi masa depan tidak diketahui karena daftar peristiwa tersebut tidak ada. Nol akan menjadi hasil pemeriksaan tertentu pada sampel lengkap. “Tidak berlaku”, dengan alasannya, menggambarkan konstruksi ilustrasi secara tepat.

Perbandingan nyata memerlukan sumber dan versi kuotasi, definisi sinyal, biaya, peran periode, dan daftar peristiwa yang mereproduksi rata-rata. Menyerupai laporan pengujian tidak memberikan status tersebut. Nilai ini adalah masukan perhitungan sensitivitas; validasi memeriksa aritmetika, bukan kualitas empiris A atau B.

Sumbu parameter

Kedua versi memuncak pada 20 candle. Memilih angka lebih besar saja akan mengunggulkan A. Pemeriksaan area sekitar dan subperiode menunjukkan sensitivitas A lebih besar dalam kumpulan ini, tetapi tidak membuktikan keunggulan B.

Rasio dari rata-rata tertimbang lengkap adalah 1,733333/0,400028=4,3330 untuk A dan 0,509750/0,463442=1,0999 untuk B. Tabel menampilkan nilai dibulatkan. Rata-rata area sekitar memakai dua rata-rata lengkap, bukan baris yang dibulatkan.

A memiliki puncak terisolasi; B memiliki area hasil serupa yang lebih luas. Ini mendiagnosis sensitivitas, bukan membuktikan A artefak atau B strategi stabil. Rata-rata tetangga juga berasal dari sampel yang sama, sering berbagi transaksi; tidak menggantikan data OOS baru.

Grafik mempertahankan sumbu parameter numerik: 30 ke 40 lebih lebar daripada interval bersebelahan sebelumnya. Karena itu, lebar area tergambar sesuai panjang jendela, bukan jumlah kolom sembarang. Tinggi titik memakai rata-rata tertimbang lengkap, bukan salinan baris dibulatkan.

Area positif lebih luas berguna untuk menggambarkan sensitivitas sampel ini. Area tersebut tidak memberikan banyak konfirmasi independen karena aturan tetangga mungkin memakai transaksi yang sama. Area itu sendiri juga dapat dipilih setelah melihat hasil; riwayat seleksinya kemudian memerlukan pemeriksaan yang sama dengan satu puncak. Geometri grafik tidak menggantikan pembagian data dan penilaian ketidakpastian.

Jumlah transaksi turun ketika jendela makin panjang, tetapi ketidakpastian juga bergantung pada dispersi dan ketergantungan. Baris dengan N lebih kecil masih dapat memberikan informasi berguna. Tanpa distribusi, tidak ditetapkan interval kepercayaan atau kepastian seleksi di sini.

Sumbu biaya

Dengan daftar transaksi tetap dan biaya tambahan seragam ΔC, rata-rata turun tepat sebesar ΔC. Aturan tanpa filter biaya tidak menjamin daftar yang tetap: spread variabel dapat mengubah aktivasi, sedangkan eksekusi atau penolakan dapat mengubah posisi dan sinyal berikutnya. Pengujian lengkap harus menyimulasikan ulang peristiwa ini.

Menggeser setiap rata-rata hanya berguna dengan daftar yang dibekukan dan biaya tambahan sama per hasil. Cara itu cepat menunjukkan margin, tetapi tidak merekonstruksi perubahan perilaku strategi. Jika biaya tambahan bergantung pada waktu, jenis keluar, atau masa penahanan, hitung untuk peristiwa yang sesuai.

Perubahan spread juga dapat melanggar asumsi daftar tetap. Pada posisi short, Ask dapat memicu stop lebih awal; penutupan itu mengubah sinyal berikutnya yang diizinkan aturan satu posisi. Biaya kemudian menjadi bagian urutan keputusan, bukan pengurang total akhir. Uji tekanan eksekusi lengkap memerlukan pelaksanaan ulang eksplisit.

Tambahan 0,60 pip adalah tekanan ilustratif, bukan selisih tipikal terukur antara simulasi dan trading. Dengan daftar yang dibekukan, tambahan itu membuat kedua rata-rata sekitar puncak negatif. Rentang tekanan yang kredibel dalam laporan nyata memerlukan data atau kondisi eksekusi yang beralasan.

B memiliki sensitivitas rendah terhadap parameter tetangga dalam kumpulan ini, tetapi sensitivitas biaya lebih besar. Setelah biaya tambahan yang beralasan, puncak positif saja tidak cukup untuk membuktikan keunggulan. Penilaian lengkap juga memerlukan ketidakpastian dan data di luar seleksi.

Sumbu periode

Sumbu ketiga mengulang seluruh pemeriksaan parameter secara terpisah pada dua subperiode yang tidak tumpang tindih.

Parameter terbaik yang berubah menunjukkan ketergantungan pada periode. Bisa mencerminkan derau, kondisi berubah, atau adaptasi yang beralasan. Pergerakan maksimum saja tidak membedakannya.

Timbang rata-rata berdasarkan jumlah transaksi. Pada 20, A: (110×3,20+100×0,12)/210=1,733333. B: (105×0,60+95×0,41)/200=0,509750, dibulatkan menjadi 0,51. Rata-rata tepat seluruh enam pengaturan mendasari perhitungan area sekitar dan tekanan biaya.

Maksimum A berpindah dari 20 candle pada subperiode pertama ke 40 pada yang kedua. Pada pengaturan 20, yang pertama menyumbang 110×3,20=352 pip dan yang kedua 100×0,12=12; yang pertama membentuk 96,7% dari total 364. Maksimum B berpindah dari 20 ke 25 dan setiap rata-rata tetap positif. Selisih 0,01 antara dua pengaturan merupakan ciri angka yang dibentuk; signifikansinya tidak dapat ditentukan tanpa dispersi hasil.

A sensitif terhadap parameter dan periode dalam kumpulan ini; B memberi hasil tetangga serupa. Keduanya melemah dengan biaya lebih tinggi. Tidak ada sampel empiris, varians hasil, atau pengujian seleksi, sehingga tidak satu pun dinyatakan memiliki keunggulan berkelanjutan.

Menggunakan hasil pengujian sensitivitas

Sumbu parameter menggambarkan area sekitar; biaya menggambarkan margin untuk tambahan tertentu; periode menggambarkan konsentrasi historis kinerja. Tidak satu pun mengidentifikasi angka yang dapat diterapkan pada masa depan tanpa pemeriksaan lanjutan.

Ketika ketiga penilaian mengarah sama, kesimpulannya jelas. Ketika berbeda, tidak ada aturan penentu, dan berpura-pura sebaliknya tidak membantu. Namun, satu pernyataan jelas: hasil yang berbalik tanda setelah perubahan asumsi kecil dan realistis tidak stabil, terlepas dari tinggi awalnya.

Area sekitar puncak yang datar tetap dapat memakai sampel yang sama

Versi 15, 20, dan 25 candle dapat berbagi banyak transaksi. Rata-rata serupa kemudian tidak memberikan tiga konfirmasi independen. Sebelum menyimpulkan ketahanan, periksa peristiwa bersama, hasil subperiode, dan riwayat seleksi seluruh area. Rata-rata sekitar menggambarkan sampel ini; bukan bukti OOS baru.

8. Catatan reproduktibilitas

Pengujian dapat direproduksi ketika seseorang hanya dengan uraiannya dapat memperoleh hasil yang sama. Kriterianya ketat, tanpa tingkat peralihan: uraian itu cukup atau tidak. Catatan di bawah mendaftar unsur yang ketiadaannya menghentikan reproduksi dan menunjukkan apa yang kemudian tidak diketahui.

Catatan mendokumentasikan data, aturan, dan metode eksekusi. Waktu penyelesaian dan prevalensi penghilangan pada laporan lain tidak ditetapkan tanpa penelitian. Versi alat, checksum berkas, dan daftar keputusan menentukan apakah eksperimen yang sama sedang dibandingkan.

Kurva ekuitas dapat menunjukkan lintasan dan konsentrasi hasil jika sumbu serta dasarnya ditentukan. Kurva itu tidak menggantikan aturan, data, biaya, atau riwayat seleksi. Grafik saja tidak dapat mereproduksi pengujian atau menilai setiap keterbatasan, meskipun bukan tanpa informasi.

Apa yang dibekukan untuk mereproduksi hasil

Bersama catatan, simpan hash SHA-256 data dan kode, versi alat, parameter, zona waktu dan offset UTC, seed acak jika relevan, serta daftar peristiwa. Tanggal verifikasi sumber mengidentifikasi dokumentasi model yang diperiksa. Setelah perubahan data atau alat, bandingkan daftar transaksi dengan manifes sebelumnya, bukan hanya total akhir.

Checksum mendeteksi perubahan byte berkas; tidak menilai kualitas data atau kebenaran kode. Berkas identik dapat memiliki kesalahan bersama. Manifes mengidentifikasi apa yang digunakan agar orang independen dapat meneliti dan mengulang pelaksanaan yang diperbaiki pada versi bernama.

Komponen acak juga memerlukan parameter generator, metode pengambilan sampel, dan urutan penggunaan. Seed saja mungkin tidak cukup setelah perubahan pustaka atau model. Versi alat dan catatan peristiwa membedakan perubahan aliran acak dari perubahan aturan. Ini informasi untuk menafsirkan hasil, bukan tutorial konfigurasi lingkungan.

9. Menilai hasil pihak lain melalui pertanyaan

Hasil pihak lain dinilai seperti hasil sendiri, dengan satu perbedaan: informasi yang hilang tidak dapat dilengkapi secara independen, sehingga pertanyaan tanpa jawaban mengakhiri penilaian, bukan menjadi salah satu tahapnya.

Pisahkan kedua daftar sebelum pertanyaan pertama; jika tidak, perbandingan menjadi terlalu panjang untuk diselesaikan. Delapan pertanyaan tentang hasil itu sendiri — jumlah transaksi, periode dan instrumen, biaya, pembagian data, jumlah versi yang diuji, drawdown maksimum, konsentrasi pada transaksi terbesar, dan siapa yang menanggung risiko — dibahas di artikel 8.2, bagian 13. Pertanyaan itu berlaku tanpa perubahan untuk hasil algoritmik dan tidak diulang di sini. Daftar di bawah hanya mencakup apa yang ditambahkan ketika angka berasal dari pengujian kuotasi historis, bukan transaksi yang dieksekusi. Setiap baris mengikuti urutan sama: pertanyaan, jawaban yang diperlukan, dan arti ketiadaannya.

Pertanyaan terakhir mungkin dianggap tidak sopan dan satu-satunya yang bukan tentang prosedur pengujian itu sendiri. Pertanyaan itu menjelaskan apakah sepuluh pertanyaan lainnya ditujukan kepada orang yang menanggung akibat temuannya sendiri atau yang hanya terpengaruh temuan orang lain. Ini tidak menuduh pihak mana pun; ini mengidentifikasi letak beban verifikasi.

Cara menggabungkan kedua daftar

Urutan praktisnya penting. Mulailah dengan delapan pertanyaan dalam artikel 8.2: lebih singkat dan lebih sering menyelesaikan persoalan. Tanpa jumlah transaksi, tanggal, atau pembagian data, resolusi pencatatan tidak relevan karena tidak diketahui apa yang digambarkannya. Hasil yang lolos daftar itu memerlukan sebelas pertanyaan di atas, yang menentukan apakah angka menggambarkan aturan atau prosedur pengujiannya.

Laporan order riil memuat eksekusi nyata, tetapi tetap memerlukan versi algoritme, sumber sinyal, dan perubahan aturan. Pertanyaan intrabar menyangkut simulasi; kualitas data dan ketersediaan sinyal juga penting dalam eksekusi riil. Model biaya historis dapat diperkirakan dari sampel eksekusi terpisah.

Eksekusi menyelesaikan ketidakpastian harga eksekusi tersebut, tetapi tidak menjelaskan mengapa program mengirim order. Data yang tersedia saat itu, versi aturan, dan catatan sinyal tetap diperlukan. Gangguan sumber atau batas candle yang salah dapat terjadi dalam trading riil meskipun eksekusi dicatat dengan benar.

Simulasi dapat memakai slippage yang diperkirakan dari eksekusi riil sebelumnya. Sampel itu memiliki tanggal, instrumen, dan keterbatasan sendiri. Sampel tersebut tidak mengukur eksekusi backtest baru maupun menjamin distribusi dapat diterapkan pada periode berikutnya. Pertahankan asal-usul setiap komponen, bukan menganggap seluruh pengujian bertentangan dengan semua bentuk data nyata.

Apa yang dapat disediakan sebagai pengganti jawaban

Bahan lain dapat menggantikan jawaban, meskipun tidak ada yang setara. Pertama, kurva ekuitas tidak memuat aturan, model biaya, atau pembagian sampel. Kedua, panjang periode tanpa jumlah transaksi: dua tahun dapat berarti 20 atau 2000 transaksi, sehingga rentang waktu yang sama belum tentu memberikan jumlah observasi sebanding. Kedua besaran termasuk daftar artikel 8.2, tetapi satu dapat menggantikan yang lain. Ketiga, satu angka kualitas agregat tanpa sampel, periode, biaya, atau pembagian data merupakan fungsi besaran yang hilang itu, bukan aturan saja.

Catatan kinerja yang akurat mungkin memiliki nilai terbatas untuk menilai masa depan. Bedakan kebenaran data dari independensi pengujian, cakupan biaya, dan riwayat seleksi. Seleksi berdasarkan kinerja saja tidak membuktikan artefak, tetapi memerlukan validasi yang memperhitungkan seleksi.

Menerapkan pertanyaan yang sama pada hasil sendiri

Laporan Anda harus mempertahankan tanggal keputusan, termasuk pembacaan tanpa perubahan aturan. Rekonstruksi retrospektif kurang andal daripada catatan saat itu, tetapi tidak boleh menetapkan terlebih dahulu arah kesalahan ingatan.

Pembagian yang dicatat sebelum pengujian menetapkan rencana penggunaan data. Rekonstruksi dapat menjelaskan pembagian yang benar-benar dipakai, tetapi tidak membuktikan bahwa pembagian itu tetap setelah melihat hasil. Riwayat versi dan keputusan diperlukan.

10. Pemantauan dan kriteria penghentian yang ditetapkan sebelumnya

Setelah penerapan, amati apakah perilaku aturan sesuai cakupan versi yang diuji. Perbedaan dapat mencerminkan dispersi acak, perubahan kondisi, atau kegagalan data/eksekusi. Kriteria kinerja tidak dapat mengidentifikasi penyebab dengan sempurna, tetapi frekuensi dan keterlambatan alarm dapat dinilai dalam model eksplisit.

Kriteria berdasarkan pelampauan observasi terburuk pengujian

Satu konstruksi memicu alarm ketika hasil individual lebih buruk daripada minimum pengujian. Sifatnya dihitung di bawah untuk model tertentu, tanpa klaim bahwa konstruksi ini umum.

Perhitungan ini memiliki implikasi desain. Kriteria semacam itu harus dikaitkan dengan panjang periode, bukan ambangnya saja: “lebih buruk daripada yang terburuk dalam pengujian” berbeda setelah 100 dan 1000 transaksi. Implikasi kedua menyangkut tahap empat dalam prosedur: pengujian lebih panjang mengurangi sensitivitas alarm palsu, alasan lain untuk tidak mempersingkat tahap itu.

Kriteria berdasarkan ketiadaan transaksi

Konstruksi kedua membahas situasi kebalikan: aturan tidak menghasilkan sinyal padahal seharusnya menghasilkan sinyal. Peringatan ini menyangkut apakah aturan menemui kondisi yang menjadi tujuan desainnya, bukan kinerja.

Apa yang harus dimuat kriteria penghentian tertulis

Kriteria kinerja harus menyatakan ukuran, satuan, ambang, panjang observasi, sampel yang diperlukan, dan tindakan setelah alarm. Kegagalan integritas terpisah, seperti order duplikat atau data wajib yang hilang, mungkin memerlukan penghentian sementara segera tanpa menunggu jumlah transaksi minimum.

Ambang tanpa periode observasi tidak lengkap: satu hasil, rata-rata jendela terkini, dan minimum historis merupakan besaran berbeda. Panjang jendela dan N yang diperlukan menentukan peristiwa pemicu alarm. Banyak pemeriksaan memerlukan pertimbangan frekuensi dan ketergantungan; persentase satu pemeriksaan tidak otomatis menggambarkan seluruh pemantauan.

Tindakan setelah alarm juga harus ditentukan. Penghentian sementara, diagnosis, dan pengaktifan kembali memerlukan penyebab dan versi yang dipantau. Revisi yang menggunakan periode alarm tidak dapat mempertahankan status pengujian independen lama. Kegagalan integritas tetap berbeda: mendeteksinya tidak perlu menunggu evaluasi statistik rata-rata.

Syarat pengaktifan kembali harus dapat direproduksi: identifikasi penyebab alarm, perbaiki, dan nilai versi baru pada data yang belum digunakan serta dalam mode prospektif tertentu. Periode yang memicu revisi digunakan untuk diagnosis, bukan validasi OOS independen baru.

Mengapa kriteria tersebut dapat salah ke dua arah

Kriteria sensitif menghentikan aturan yang berfungsi, sebagaimana perhitungan pertama. Kriteria tidak sensitif membiarkan aturan berjalan setelah kondisi berubah selama waktu untuk mengumpulkan sampel penentu. Kedua sisi kompromi muncul karena satu rangkaian hasil sesuai dengan banyak distribusi, dan membedakannya memerlukan observasi yang butuh waktu untuk terkumpul. Artikel 8.2 membahas sampel yang diperlukan untuk mendeteksi perbedaan tertentu.

Kriteria kinerja memilih keseimbangan antara alarm yang sering dan reaksi yang terlambat. Sifatnya dapat dinilai dalam model eksplisit dan secara prospektif. Hasil tidak dapat mengidentifikasi rezim dengan pasti, tetapi diagnosis berguna tetap mungkin.

Lebih banyak pemeriksaan meningkatkan peluang alarm

Dalam model Poisson homogen, satu jeda 60 sesi yang dipilih sebelumnya memiliki probabilitas tanpa sinyal q=exp(−60/21)=5,74%. Untuk 12 jendela terpisah, independen dalam model ini, peluang sedikitnya satu jendela kosong adalah 1−(1−q)¹²=50,82%. Ini tidak memodelkan jendela bergulir yang tumpang tindih. Ambang satu pemeriksaan tidak dapat disebut tingkat alarm palsu tahunan tanpa perhitungan ulang.

Dua belas jendela terpisah menentukan kumpulan pemeriksaan tertentu. Jumlah Poisson di dalamnya independen, sehingga probabilitas tidak adanya jendela kosong dapat dikalikan lalu dikurangkan dari 1. Asumsi itu milik rumus, bukan setiap strategi yang diamati.

Pemeriksaan bergulir berbagi banyak sesi. Hasilnya saling bergantung dan dapat menandai satu jeda panjang berulang kali. Frekuensinya memerlukan perhitungan berbeda atau simulasi eksplisit seluruh prosedur. Estimasi intensitas dari sampel pendek juga menambah ketidakpastian. Ilustrasi memperlakukan satu transaksi per 21 sesi sebagai parameter yang diberikan, bukan keunggulan terukur.

11. Apa yang tidak dibuktikan artikel ini

Prosedur memiliki cakupan tertentu yang perlu dijelaskan karena setiap keterbatasan di bawah mengubah kesimpulan yang didukungnya.

Menyelesaikan prosedur tidak membuktikan adanya keunggulan

Prosedur memberikan bukti tentang versi yang diuji dengan data dan biaya tertentu. Tidak menjamin keunggulan berkelanjutan. Kinerja OOS yang baik dengan penilaian ketidakpastian dapat mendukung keunggulan; seleksi dan pengujian tidak menetapkan terlebih dahulu keberhasilan maupun artefak.

Perbedaan ini praktis, bukan filosofis. “Aturan menyelesaikan prosedur” dapat diperiksa dan dinyatakan. “Aturan memiliki keunggulan” juga memerlukan estimasi nilai harapan dengan biaya lengkap dan ketidakpastian pada data di luar pembangunan aturan. Hal itu dibahas dalam artikel 8.2, bukan teks ini.

Semua nilai numerik di sini merupakan asumsi

Tidak ada pengujian dilakukan. Sebanyak 240 sinyal, 400 transaksi, 46 kasus diperselisihkan, enam nilai parameter pada dua versi, dan 21 sesi antarsinyal hanya menggambarkan perhitungan dan skala. Masukan Anda sendiri akan mengubah setiap hasil, terkadang tandanya. Memperlakukan angka ini sebagai estimasi akan bertentangan dengan status yang dinyatakan.

Menemukan aturan yang layak diuji

Ide dan konstruksi sinyal termasuk bagian 5 dan artikel 8.7. Pengujian dapat memberi diagnosis berguna bagi hipotesis berikutnya, tetapi tidak menjamin ide lebih baik. Setiap revisi yang memakai hasil pengujian memperpanjang riwayat seleksi.

Eksekusi adalah masukan di sini, bukan pokok bahasan

Slippage, penolakan, dan eksekusi parsial masuk ke model biaya sebagai angka yang memerlukan sumber. Sumbernya berkaitan dengan kondisi trading dan perbandingan, dibahas dalam bagian 11. Lingkungan, konfigurasi, dan persyaratan teknis program termasuk bagian 12. Kedua topik tidak dijelaskan di sini dan tidak dapat disimpulkan dari materi sebelumnya.

Ukuran posisi dan ukuran risiko portofolio berada di luar perhitungan

Hasil dalam pip tidak bergantung pada volume dalam model biaya linear yang diasumsikan. Biaya minimum dan kondisi eksekusi berbeda dapat melanggarnya. Ukuran posisi dan ukuran lintasan ekuitas termasuk bagian 9.

Perilaku setelah penghentian termasuk bagian lain

Kriteria penghentian dibahas sebagai unsur prosedur dengan sifat yang dimodelkan. Tetapkan sebelum penerapan dan catat perubahan berikutnya. Reaksi manusia terhadap hasil buruk termasuk bagian 10.

12. Latihan pemeriksaan mandiri dan langkah berikutnya

Latihan mengulang tiga perhitungan dengan masukan berbeda dan mengidentifikasi penghilangan dalam laporan pihak lain. Data dan pembahasan jawaban mengikuti.

Menerapkan prosedur selanjutnya

Dokumentasikan aturan, data, dan model lebih dahulu. Lalu periksa kesesuaian implementasi dan hitung. Tidak diasumsikan bahwa ini memerlukan satu jam atau sejumlah penghilangan tertentu muncul dalam sebagian besar laporan.

Lakukan diagnosis terhadap proporsi dan dampak kasus intrabar, area parameter sekitar, serta sensitivitas biaya. Yang pertama memerlukan peristiwa simulasi; yang kedua pengaturan parameter tambahan; tekanan biaya lengkap mungkin memerlukan simulasi ulang. Tidak semua informasi berasal dari satu pelaksanaan.

Pertanyaan terpisah di luar artikel ini sering menentukan kelayakan lebih dahulu: dapatkah metode kerja ini sesuai jam dan keadaan Anda? Otomatisasi mengubah lebih sedikit daripada dugaan, memindahkan beban dari pengamatan pasar ke pembangunan dan pengawasan, bukan menghilangkannya. Pemantauan dalam bagian 10 tetap merupakan pekerjaan rutin. Artikel 8.10, pelajaran terakhir bagian ini, mengeliminasi metode yang tidak layak dalam batasan pribadi.