Algoritmik işlem — test prosedürleri ve başkasının sonuçlarını değerlendirme

Bir program kuralı daha hızlı ve daha doğru uygulayabilir; ancak işlemleri otomatikleştirmek tek başına bir avantaj ortaya koymaz. Sinyallerdeki, gerçekleşme fiyatlarındaki ve maliyetlerdeki değişimler kontrol edilmelidir. Bu ders, yeniden üretilebilir bir test hazırlamayı, veri sınırlamalarını tanımayı ve kendi sonucunuzu ya da bir algoritma sağlayıcısının raporunu değerlendirmeyi açıklar. Parametre seçiminin ve mum içindeki olay sırasının sonucu neden belirleyebileceğini de gösterir. Her sayısal örnek temsilidir; piyasa kotasyonları üzerinde test yapılmamıştır.

1. Otomasyon gerçekleşmede neyi değiştirir, hesaplamada neyi değiştirmez?

Bir program, belirtimi emirlere ve olay kaydına dönüştürür. Aslına uygunluk doğru koda, verilere ve çalışan bir ortama bağlıdır; hatalar ve kesintiler hâlâ mümkündür.

Bu nedenle hem kural hem de uygulamasının doğru sürümü yürütüp yürütmediği denetlenmelidir. Otomasyon ancak bu koşullarda yeniden üretilebilir bir prosedür sunar.

Otomatik bir sistem, koşulu planlanan zamanlarda değerlendirebilir, belirtilen parametrelerle emir gönderebilir ve kayıt tutabilir. Her unsur, doğru uygulama ve ortamın izlenmesini gerektirir. Kayıtlar işleme dönüşmeyen sinyalleri ve atlanma nedenlerini de içermelidir. Bunlar olası uygulama yararlarıdır; kusursuz çalışma garantisi değildir.

Daha fazla sinyalin işleme dönüşmesi daha fazla kâr anlamına gelmeyebilir. Aşağıdaki çarpma, yalnızca işlem başına ortalama net sonucun değişmediği modelde işareti korur. Uygulama yöntemini değiştirmenin bütün etkilerini açıklamaz.

Manuel kayıtlar neden otomatik sistemin sonucunu öngörmez?

Atlanan 90 sinyalin rastgele örneklem olup olmadığını bilmiyoruz. Atlamalar gözlem saatlerine ve ek filtrelere bağlı olabilir; fakat sonuçlarla ilişkileri veri gerektirir. Kayıtlar işleme dönüşmeyen sinyalleri ve her birinin atlanma nedenini içermelidir.

Manuel kayıtlar kuralın uygulanan sürümünü anlatır. Her sinyali uygulayan sürümü anlatmaları gerekmez. Takdire bağlı bir filtre sonuçları iyileştirebilir veya kötüleştirebilir; atlanan durumlar olmadan fark tahmin edilemez.

Bu, atlananlar dâhil bütün sinyallerin sonuçlarını tarihsel verilerde belirlemekle çözülür; makalenin kalanı bu testi ele alır. Yukarıdaki hesaplamada olduğu gibi işleme dönüşmeyen sinyalleri de içeren ileriye dönük kayıtlar aynı amaca hizmet eder. Fark, bunların hızlandırılamayan piyasa temposuyla birikmesi, tarihsel testin ise zaten mevcut malzemeyi kullanmasıdır.

Otomasyonun katkısının sınırları

Otomasyonun yapmadıkları listesi vaatler listesinden kısadır; ancak iddiaları kontrol edilebilir.

Otomasyon bir avantaj ortaya koymaz. Gerçekleşmenin zamanlaması ve yöntemi üzerinden ortalama kazançları, kayıpları, kazanma oranını ve maliyeti değiştirebilir. Net beklenen değer, önceki manuel sürümün sonucunu ödünç almak yerine gerçek kural sürümü için kontrol edilmelidir.

Daha düşük maliyet garantilemez. Daha hızlı yanıt veya uygun çıkış zamanlaması gerçekleşmeyi değiştirebilse de spread ve komisyonlar devam eder. Sinyalden gönderime gecikme ile emirden gerçekleşmeye kayma farklı sapmalardır; ikisi de sonuçları etkileyebilir. Maliyet değişimleri karşılaştırılabilir sinyallerde ölçüm gerektirir.

Daha fazla işlem daha fazla bilgi sağlayabilir; ancak ek satır sayısıyla orantılı olmak zorunda değildir. Sonuçların pozitif bağımlılığı ortalamanın hatasını artırabilirken bazı negatif bağımlılık türleri azaltabilir. Etkin örneklem büyüklüğü gerekçeli bir modele aittir; otomatik olarak N'den küçük değildir. Makale 8.2 değerlendirmeyi geliştirir.

Kararları ortadan kaldırmaz, daha erkene taşır. Manuel işlem sırasında verilen her karar otomatik işlem için önceden, bir belirtim olarak verilmelidir. Daha fazla karar gerekir; çünkü program, insanın içgüdüsel ele aldığı sorulara da yanıt ister: pozisyon açıkken sinyale ne olur, eksik mumda ne yapılır veya iki düzeye de ulaşmayan pozisyona ne olur? Bölüm 3 bu soruları ele alır.

Otomatik sistem belirtilen prosedürü yürütür; değerlendirme mantığını, verilerini ve gerçekleşmesini kapsar. Daha iyi gerçekleşmenin ekonomik değeri olabilir. Ancak bu, tam kuralın seçimde kullanılan malzeme dışında maliyetlerden sonra kârlı kaldığına ilişkin kanıtın yerini tutmaz.

Gerçekleşme, net sonucun işaretini değiştirebilir

Aynı sinyal mantığıyla bir örnek: gerçekleşme sapmalarından önce ortalama sonuç +0,40 pip. Manuel sürümde maliyet ve gecikme 0,65 olduğunda net ortalama −0,25; otomatik sürümde bu rakam 0,25 olduğunda +0,15'tir. Bu değerler otomasyonun genellikle sonuçları iyileştirdiğini ortaya koymaz. Değişmeyen işaret iddiasının neden değişmeyen gerçekleşme varsayımı gerektirdiğini gösterir.

2. Dört otomasyon biçimi ve sağlayıcının teşvikleri

Bireysel katılımcılar, otomasyon derecesinden daha önemli bir noktada ayrılan düzenlemeler seçebilir: kuralı kimin belirlediği ve kimin doğrulayabildiği. Bu, aşağıdaki prosedürün uygulanıp uygulanamayacağını belirlediğinden «manuel» ile «otomatik» ayrımından daha önemlidir.

Sağlayıcının ücret modeli hizmet koşullarından okunmalıdır: aboneliğe, işlem hacmine veya performansa bağlı olabilir. Model tek başına ne kaliteyi ne de dürüst olmamayı ortaya koyar. Değerlendirme, kuralı, test açıklamasını ve yayımlanan sonucun neyi temsil ettiğini tanımlayan verileri gerektirir.

Mevcut teklifler, kullanımdan çekilen programları veya sonuçları artık yayımlanmayan hesapları dışarıda bırakabilir. Öyleyse sıralama hayatta kalma seçilimi içerir. Her başarısız programın ortadan kaybolduğunu varsaymak yerine tarihsel bileşimini belirleyin.

Kendi programınız ve satıcı olmadan da bulunan çatışmalar

Tablonun ilk satırı, sağlayıcı bulunmadığı için son sütundaki sorundan arınmış görünür. Ancak geriye bir çatışma kalır; bunu belirleyecek başka bir taraf olmadığı için daha zor olabilir. Kuralın yazarı ve testçisi aynı kişidir; test, önceden emek verdikleri çalışmanın kaderini belirler.

Yazar, başarısızlıklar dâhil test edilen her sürümü ve doğrulama verilerinin her kullanımını kaydetmelidir. Yazarlara atlama sıklığı veya niyet atfetmiyoruz. Başlangıçtan itibaren tutulan kayıt, deney geçmişini sonradan yeniden kurmaktan daha güvenilirdir.

Yarı otomasyon ve bıraktığı boşluk

Yarı otomasyonda program koşulu değerlendirebilirken kişi emirleri seçer. Ek filtre belirtilmiş ve yeniden üretilebilir ise bütün düzenleme test edilebilir. Takdire bağlı kalırsa sonuç program ile insan kararlarının birleşimine aittir.

Sonuç, bölüm 1'deki manuel kayıtlarla aynıdır; burada açıklanmaya değerdir, çünkü daha az görünür olabilir. Sonuç yalnızca programlanan kurala değil, o kuralın belirtilmemiş bir seçim kuralıyla birleşimine aittir. İlkini test etmek birleşim hakkında bir şey söylemez. Düzenlemeyi değerlendirmek için ikinci kural belirtilmelidir. Makale 8.1 belirtim ölçütünü verir: iki kişi onu aynı şekilde yorumlamalıdır.

Sonucun statüsü yalnızca insanın katılmasına değil, neyin belirtildiğine ve uygulandığına bağlıdır. Açık filtreli bir program yeniden üretilebilir sistem oluşturabilir; açıklanmayan filtre yeniden üretilebilirliği sınırlar.

Başka bir hesabın işlemlerini tekrarlama

Kural olmadan kopya işlem yayımlanan işlem serisini değerlendirmeye izin verir; ancak başka dönemde strateji testini yeniden üretemez. Tarihler, araçlar, maliyetler ve gerçekleşme farkları yine sorgulanabilir. Eksik kural değerlendirmeyi sınırlar; kayıttaki bütün bilgiyi yok etmez.

Gerçekleşme de farklıdır. Kopyalama başka hesaptan gelen sinyali izler; dolayısıyla emir piyasaya daha geç ulaşır ve hacim yeniden ölçeklenebilir. İki fark da asıl hesabı değil, kopyalayanı etkiler; bu nedenle yayımlanan seyir kopyalayanın elde ettiğinden farklı bir şeyi anlatır. Ayrışma kurala bağlıdır: onlarca piplik hedefte önemsiz olabilirken birkaç piplik hedefte planlanan kazancın tamamını aşabilir. Bu etkiyi makale 8.3'teki maliyet/hedef hesabı gösterir.

Hukuki konular — hizmetin statüsü, sağlayıcı yükümlülükleri ve müşteri koruması — bölüm 13'ün konusudur ve bu metnin dışındadır. Yöntem açısından kopyalama, kuralı test etme olanağını kaldırır ve geriye bölüm 9'daki soruları bırakır.

3. Önkoşul: Kural, veriler üzerinde yeniden üretilebilir mi?

Performansı sormadan önce, aynı belirtimin aynı kotasyon verileri üzerinde iki bağımsız yeniden kurulmasının aynı işlem listesini üretip üretmediğini sorun. Üretmiyorsa sonraki karşılaştırma anlamını yitirir: aynı adı taşıyan iki farklı kural karşılaştırılmış olur.

İki bağımsız uygulama, belirtimin tek anlamlılığını güçlü biçimde sınar. Tek kontrol olmaları gerekmez: üzerinde anlaşılmış referans durumları ve olay bazında karşılaştırmalar da yararlıdır. Bir fark belirtim boşluğundan veya kod hatasından kaynaklanabilir. Kuralı otomatik olarak yeniden yazmak yerine nedenini bulun.

Olay listelerini kontrol etmek, nihai toplamları eşleştirmekten daha fazla bilgi verir. İki uygulama farklı işlemlerle aynı sonuca ulaşabilir veya aynı sinyalleri üretip gerçekleşme sıraları farklı olduğu için farklı çıkışlar yapabilir. Zamanları, yönü, kotasyon tarafını, tetikleme temelini ve gerçekleşmeyi karşılaştırın.

Uyum ne bir avantajı ne de geçerli bir gerçekleşme modelini ortaya koyar. Belirli belirtim ve ayarların tutarlı biçimde yeniden üretildiğini doğrular. İki uygulama da yanlış bir varsayımı paylaşabilir. Referans durumları ve bilginin kullanılabilirliği kontrolleri, ekonomik değerlendirmede toplu sonuçları kullanmadan önce varsayımları tekil karar düzeyinde sınar.

İki yeniden kurulumun uyumunu denetleme

Prosedür basittir ve iki uygulama gerektirir: aynı kural, kotasyon dosyası ve dönem. Toplamları değil, listeleri karşılaştırın: giriş zaman damgası, yön, giriş fiyatı, çıkış zaman damgası, çıkış fiyatı ve çıkış temeli. Uyum, iki listede de görünen işlemlerin benzersiz işlemler birleşimindeki payıdır.

Farklar nereden doğar?

Aşağıdaki durumlar açık belirtim veya uygulama denetimi gerektirir. Bunlara sıklık atfedilmez. Açık belirtim bazı farkları giderir; diğerleri veri ve gerçekleşme modellerini kontrol etmeyi gerektirir.

• Pencere sınırları. Değerlendirilen mum referans düzey penceresine dâhil mi? 20 mumluk pencerede tek mumun değişmesi formüle bağlı olarak düzeyi hiç değiştirmeyebilir veya planlanan hedefin katları kadar değiştirebilir.
• Kesin veya eşitliği içeren eşitsizlik. «Fiyat düzeyin üzerinde» eşitliği de kapsar mı? Sonlu ondalık hassasiyette fiyatlar kotasyon adımına yuvarlandığı için eşitlik sezginin düşündürdüğünden daha sık görülür.
• Pozisyon açıkken sinyal. Atlanır mı, pozisyonu artırır mı, yoksa yerini mi alır? Bu üç yanıt aynı sinyal akışından üç işlem listesi üretir.
• Pozisyonun kapandığı mumda sinyal. Sinyal değerlendirilmeden önce pozisyon kapanmış mıydı? Yanıt, mumun içermediği bir olay sırasına bağlıdır.
• Eksik veriler. Pencerede bir mum eksikken koşul değerlendirilir mi? Boşluğu komşu değerle doldurmak ve değerlendirmeyi atlamak farklı listeler üretir; seçim olduğunun farkına varılmadan biri seçilebilir.
• Mumların tanımlanması ve saat değişimleri. Mumlar kaynağın yerel zaman damgalarıyla mı, evrensel zamanla mı tanımlanır? Saat değişiminden sonra tekrarlanan saatte ilk yöntem aynı etiketleri oluşturur; açık zaman farkı olmadan yerel etiketler yinelenebilir. Tanımlama kuralını denetleyin.
• Çözümlenmemiş pozisyon. Zaman çıkışı var mı ve sayacı mevcut mumları mı, geçen saatleri mi kullanır? Hafta sonu bu yanıtların farklı kapanış tarihleri üretmesine yol açar.
• Test döneminin sonu. Son mumda açık pozisyona ne olur? Son fiyatta kapatmak, işlemi bütünüyle çıkarmak ve açık bırakmak üç farklı toplam üretir.

Her farkı belirtime, koda, veriye veya gerçekleşme modellemesine atayın. Belirtim boşluğunu yazılı olarak netleştirin; uygulama hatasını programda düzeltin. Sonra referans durumları ve tam olay listesiyle karşılaştırmayı tekrarlayın.

Uygulamada sıkça birleştirilen iki konuyu ayırın. Bir kuralı nesnelleştirmek — grafik gözlemini hesaplanabilir koşula dönüştürmek — makale 5.12'de ele alınan analitik bir tekniktir. İki bağımsız programın bu belirtimi aynı biçimde yeniden üretip üretmediğini kontrol etmek ise yöntem konusudur ve buraya aittir. İlki «hesaplanabilir mi?», ikincisi «her zaman aynı şekilde mi hesaplanır?» diye sorar.

Kapanışa dayalı kural ve yanıt fiyatı

Mum kapanışını kullanan koşul ancak sonrasında kullanılabilir hâle gelir. Gerçekleşme, sinyalin kullanılabilirliğinden ve gerçekçi bir yanıttan önce olamaz. Sonraki kotasyon kapanışa eşit olabilir; fiyat eşitliği tek başına geleceği görme yanlılığını kanıtlamaz.

Hata, testin atanan karar zamanında henüz mevcut olmayan bilgiyi kullanmasıyla oluşur. Sinyal kullanılabilir olduktan sonra kapanış fiyatının kaydedilmesi kendi başına hata değildir; kullanılabilirlik, gönderim ve gerçekleşme zaman damgalarını ve simülatörün kuralını denetleyin.

Geleceği görme yanlılığı örneği: t zamanındaki çıkış düzeyi, mumun ancak t'den sonra oluşacak en yüksek veya en düşük fiyatını kullanır. Mevcut mumu kullanmak her zaman yanlış değildir; o ana kadarki verileri zaten mevcut olabilir. Denetim, yalnızca mum etiketini değil, belirli değerin ne zaman bilinir olduğunu ilgilendirir.

Her değerin kullanılabilirlik zamanını belirleyin. Mum kapanışında öğrenilen değer, ancak stratejiye kullanılabilir hâle geldikten sonra emri tetikleyebilir. Sonraki gerçekleşme kapanışa eşit olabilir; fakat yalnızca mum bunu ortaya koyamaz. Eksik zamanlama bilgisi yorumu sınırlar; açıklanmalı ve araştırılmalıdır.

4. Veriler, kotasyon tarafı ve mum içi varsayımlar

Test üç şeyin fonksiyonudur: kural, veriler ve maliyet modeli. Önceki bölüm ilkini ele aldı. Bu bölüm diğerlerini, test materyallerinde sıkça atlanan bir noktadan başlayarak işler: veriler tek bir evrensel kayıt değildir. Tek aracın tek döneminde kaynak sayısı kadar kayıt vardır ve aralarındaki farklar yuvarlamayı aşar.

Veriler hakkında bilinmesi gerekenler

Kotasyon veri kümesi, birbirinden çıkarılamayan özelliklerle tanımlanır.

Kaynak ve sürüm. Kayıt belirli bir sağlayıcıdan gelir ve sonradan revize edilebilir: boşluklar doldurulabilir, yanlış kotasyonlar düzeltilebilir. Düzeltme öncesi ve sonrası testler farklı testlerdir. Yeniden üretilebilirlik, kaynak adıyla birlikte indirme tarihini de kaydetmeyi gerektirir.

Kotasyon tarafı. Kayıt Bid, Ask, her ikisi veya orta fiyatı içerebilir. Bölüm 2 ayrımı açıklar; testteki aritmetik etkisi aşağıdadır.

OHLC mum içi sırayı içermez. Eksiksiz tick kaydı, zaman damgası çözünürlüğünde kaydedilen değişim sırasını verir; fakat ne eksiksizliği ne de gerçekleşmeleri garanti eder. Zaman çözünürlüğü, kotasyon tarafı ve boşluklar bilinmelidir; bunlar ayrı veri özellikleridir.

Eksiksizlik. Eksik zaman birimleri, yinelenen zaman damgaları ve kaynak kesintileri değerlendirme fırsatlarını değiştirir. Boşlukların nasıl işleneceği belirtilmelidir; aksi hâlde aracın varsayılan davranışı karar verir.

Araç evrenindeki değişimler. Çok araçlı testte araç kümesinin dönem boyunca sabit kalıp kalmadığını belirleyin. Kotasyonları kaldırılan araç sonucuyla birlikte kaybolur; bu, bölüm 2'deki teklifleri etkileyen mekanizmayla aynıdır.

Kotasyon tarafı: aritmetik etki

Kural bir tarafta hesaplanırken emirler diğer tarafta gerçekleşebilir. Uzun pozisyon, katılımcıya sunulan Ask'tan açılır ve Bid'den kapanır; fark, tamamlanan her açılış-kapanış döngüsünde bir kez ödenir. Simülasyon aynı taraftan girip çıkarsa farkın tamamı hesaplamadan kaybolur.

Sabit spread ve dondurulmuş işlem listesiyle atlanan bileşen işlem sayısıyla doğrusal büyür. Gerçek spread değişebilir, tetiklemeyi ve sonraki emirleri etkileyebilir. Aşağıdaki örnek sabit aritmetik düzeltmeyi yalıtır; tam Ask/Bid simülasyonu değildir.

Mum içi varsayımlar: verilerin sessiz kaldığı yer

OHLC, en yüksek mi yoksa en düşük fiyatın mı önce oluştuğunu belirtmez. Girişten sonra tek mumda iki çıkışa da erişildiğinde sonuç bilinmeyen yola bağlı olabilir. Tek düzeye ulaşılsa bile giriş zamanı, kotasyon tarafı ve gerçekleşme kullanılabilirliği soruları kalabilir.

TP'nin SL'den önce veya SL'nin TP'den önce olduğunu varsaymak model kabulüdür. Örneğin TradingView, açılış fiyatının konumuna göre seçilen O–H–L–C ve O–L–H–C yollarını açıklar.^[6] Daha ayrıntılı veriler belirsizliği azaltabilir; ancak dokunulan her düzeyde gerçekleşmenin mümkün olduğunu otomatik olarak ortaya koymaz.

Tartışmalı işlemlerin payıyla birlikte toplam ve ortalamaya etkilerini de raporlayın. Sonuçlar büyükse küçük bir pay büyük etki yaratabilir. İki yol yalnızca belirtilen düzey ve gerçekleşme modeli içinde yararlı sınırlar verir; gerçek sonuçların genel sınırları değildir.

Fiyat tarafının açıklığını ve giriş koşulundan sonraki sırayı denetleyin. Girişten önce iki düzeyi kapsayan mum, sonrasında kapsayan mumla aynı sorunu yaratmak zorunda değildir. Belirtim, bu tür her mumu otomatik olarak tartışmalı saymak yerine bu durumları ayırmalıdır.

Varsayılan düzeyler ve gerçekleşmeler için sıra duyarlılığı hesaplanabilir; ancak bilinmeyen likidite veya kısmi gerçekleşme ek sonuçlar doğurabilir. Bu nedenle «iyimser» ve «ihtiyatlı» belirli bir kabule ilişkindir. İkisini de raporlamak tek seçimi gizlemekten daha bilgilendiricidir; fakat gerçek işlemin aralarında kalacağını garantilemez.

Simülasyonda maliyet modelleme

Spread, komisyon ve kaymayı ayrı kaydedin. Tek referans fiyat kullanan model maliyeti açıkça eklemelidir. Gerçek Ask/Bid gerçekleşme farklarında fiyatlara zaten gömülü spread ve kayma kapsanmıştır; tekrar düşülmemelidir. Simüle edilen kayma ayrı ampirik örneklemden tahmin edilebilir; geçmişe dönük testin kendisi yeni gerçekleşmeleri ölçmez.

Sabit kaymalı ve dağılıma dayalı modeller farklılaşabilir. Dağılım, çıkış türüne ve piyasa koşullarına bağlı olabilir. Veri olmadan asimetriye yön veya büyüklük atamayın; açık senaryoları ve mevcut ampirik gerçekleşmeleri karşılaştırın.

Retler ve kısmi gerçekleşmeler simüle edilebilir. Atlanmaları sonucu her zaman tek yönde çarpıtmaz: reddedilen emir kazanabilir veya kaybedebilirdi. Yokluklarını sonucun her zaman abartıldığının kanıtı değil, model sınırlaması olarak belirtin.

Rolloverı aşan pozisyonlarda finansman toplamı Σ rⱼdⱼ'dir. Burada rⱼ o andaki oran, dⱼ tahakkuk ağırlığıdır. Negatif swapı atlamak sonucu fazla, pozitif swapı atlamak eksik gösterir. Makale 8.5 ve 8.6 ağırlıkları açıklar.

Bugünkü oranı gece sayısıyla çarpıp bütün geçmişe geriye dönük uygulamayın. Tahakkuk olaylarının ağırlıkları, o zamanki oranlar ve birimler gerekir. Değişken hacim ayrıca her parçanın hesaplama temelini gerektirir. Eksik oran geçmişi sınırlama olarak belirtilmeli veya açık adı verilen maliyet senaryosuyla değiştirilmelidir.

Atlanan swaplar iki ufuk karşılaştırmasını farklı yönlerde çarpıtabilir. Pozitif tahakkuk, varsayılan koşullarda bakiyeyi iyileştiren gelirdir; yeniden adlandırılmış maliyet değildir. Negatif tahakkuk düşürür. Hiçbir işaret pozisyon yönünden otomatik çıkmaz. Makale 8.5–8.6'dan temsili oranlarını değil, hesaplama yöntemini aktarın.

Kural olaylar çevresinde işlemi durduruyorsa filtreyi tarihsel takvim ve saat dilimiyle yeniden üretin. Filtresiz sonuçlar iki koşulu da içerir. Ortalama karışımı tanımlayabilir; ancak bileşimi ve ayrı maliyetleri açıklanmalıdır. Makale 8.8 yayın pencerelerini, 8.4 işlem gününün sonunu ele alır.

Yayın filtresi, hangi olayların önemli çıktığını belirleyen sonraki yorumları değil, karar öncesinde mevcut bilgiyi gerektirir. Listeyi, ilgili dilimde yayın zamanını ve takvim değişimlerinin işlenmesini belirtin. Kural filtresizse sonradan yayın çevresindeki olumsuz işlemleri çıkarıp kalana değişmemiş test demeyin.

Gün sınırını değiştirmek yöntem açısından benzerdir: sinyalleri ve verilerin atanmasını değiştirebilir. Kaynak kuralını ve saat farklarını sonuçlara uydurmak yerine koruyun. Karışık örneklemin ortalaması o karışımın geçerli tanımıdır; fakat alt dönemler ve maliyet koşulları olmadan performans yoğunlaşmasını gizleyebilir.

Demo test, sinyalleri ve gerçekleşmeyi gösterim ortamında kontrol eder. Sonuçları analiz edilebilir; ancak canlı hesapta aynı maliyet dağılımlarını ortaya koymaz. Gölge test emir göndermez ve gerçekleşme ölçmez. Bu kipleri açıkça etiketleyin.

Bir mum, iki kabul edilebilir sonuç

Temsili bir uzun pozisyon Ask 1,10000'den zaten açıktır. Stop Bid 1,09800'de, hedef Bid 1,10300'de tetiklenir. Sonraki Bid mumu: O=1,09992; H=1,10320; L=1,09780; C=1,10040. İki yol da bu OHLC'yle eşleşir: O–H–L–C önce hedefe ulaşır; O–L–H–C önce stopa ulaşır.

Düzeylerde modellenen tam gerçekleşmelerde fiyat sonuçları +30 ve −20 piptir. 0,20 komisyon sonrası +29,80 ve −20,20 olur. Spread, gerçek giriş Ask'ı ile çıkış Bid'i arasına zaten dâhildir; tekrar düşülmez. OHLC ne sırayı ne de dokunulan düzeylerde gerçekleşmeyi ortaya koyar.

Çizilen iki yol aynı O, H, L ve C'yi farklı sıralarda ziyaret eder. OHLC ile tutarlı her yolu tüketmese de belirsizliği göstermek için bu yeterlidir. Sonuçlar varsayılan giriş Ask'ından çıkış Bid'ine ölçülür. Bid mumu Ask geçmişi içermez ve spread geçmişinin tamamını tek başına yeniden kuramaz.

+29,80 ve −20,20 rakamları gözlemlenmiş gerçekleşme değil, modellenen iki tam gerçekleşmenin hesaplarıdır. Simülatör belgesi kabulü tanımlar; daha ayrıntılı veri kotasyon sırasını ortaya koyabilir. Gerçek gerçekleşmeler emir ve gerçekleşme kayıtlarını gerektirir. Yol, kabul ve gerçekleşme katmanlarını ayrı raporlayın.

5. İlerleme ölçütleriyle kuraldan kullanıma geçiş

Kural testi aşamaları sıkça görev listesi olarak sunulur. Liste tek başına hiçbir şeye karar vermez, çünkü ilerleme koşulu vermez. Aşağıda her aşamada sonrakini anlamlı kılan olumlu yanıt gerektiren soru ve olumsuz yanıtın eylemi vardır. Sıra keyfî değildir: her aşama öncekini tamamlanmış varsayar.

Olumsuz yanıttan sonra ne olur?

Uyuşmayan listeler, neden belirlenene kadar sonuç yorumunu durdurur. Veri, kod veya belirtim düzeltildikten sonra iki çalıştırmayı tekrarlayın. Sonucu daha iyi diye bir listeyi seçmeyin.

İkinci aşama. Beş veri özelliğinden herhangi birinin eksikliği testi durdurur; çünkü her biri sonuçları etkiler. Bunları sağlamak içerik araştırması değil, düzenleme işidir ve genellikle gerekli olup olmadığını tartışmaktan daha az zaman alır.

Seçim verilerindeki sonuçlar uyarlanmış sürümü anlatır; bağımsız doğrulama sağlamaz. Sorunları tanılayabilir ve önceden belirtilen ölçütlerle fikri reddedebilir. Negatif sonuç her projeyi bitirmek zorunda değildir; fakat revize sürüm bağımsız değerlendirme gerektiren yeni karardır. Ortalama pozitif olsa bile çözümlenemeyen mum içi durumların payını ve etkisini raporlayın.

Walk-forward daha önceki pencerede parametre seçip sonraki pencerede değerlendirir. Pardo'nun mevcut bölüm alıntısı bu yapıyı açıklar.^[1] Sonuçlar her yerel seçim penceresinin dışındadır; ancak bütün sonuçlar görüldükten sonra pencere uzunluklarını ve tüm prosedürü seçmek değerlendirmeye yine uyum sağlayabilir. Karar geçmişini kaydedin ve bu tür revizyonlardan sonra yeni, dokunulmamış nihai test kullanın.

Gelen verilerde test gölge, demo veya canlı olabilir. Gölge test veri kullanılabilirliğini ve sinyalleri karşılaştırır; demo, gösterim gerçekleşmelerini de içerir. Gerçek kayma, retler ve kısmi gerçekleşmeler canlı emir kayıtlarını gerektirir. Ayrıca her kip, yalnızca gerçekleşmeye değil, kural davranışına ilişkin ileriye dönük bilgi sunar.

Altıncı aşama. Kullanıma geçildikten sonra yazılan durdurma ölçütü, ölçüt değil sonuç yorumudur. Bölüm 10 yapısını ve istatistiksel özelliklerini açıklar. Burada biçimsel gereklilik yeterlidir: ilk emirden önce var olmalıdır.

İzleme, aynı ölçüyü aynı birimlerle, örneklem büyüklüğü ve dönemi dikkate alarak karşılaştırır. Hesap para birimindeki sonuçla pip cinsinden sonuç doğrudan karşılaştırılamaz. Raporlar incelenmeden bu hatanın yaygınlığı veya önceliği hakkında iddia ileri sürülmez.

Durdurma ölçütü prosedürün parçasıdır. Her sonlu dönemde etkinleşmesi kesin değildir. Sonuçlar incelendikten sonra revize edilmesi yeni sürümü kaydetmeyi ve ayrıca denetlemeyi gerektirir.

Her aşama ne kadar geçmiş kullanır?

Görev dizisinin ardında sonlu bir kaynağın tüketilmesi vardır: mevcut kotasyon geçmişi. Paylaşımı sayısal görmek yararlıdır; çünkü prosedürün planlanan biçimde yürütülememesinin tek nedeni bu olabilir.

Daha uzun eğitim penceresi daha fazla veri sağlar, ancak daha uzak piyasa koşullarını da içerebilir; daha iyi seçimi garantilemez. Sonuçlar belirsizliğe, etki büyüklüğüne ve zamansal değişime bağlıdır. Tek başına birkaç düzine işlem, testin hiç bilgi taşımadığını ortaya koymaz.

Veri statüsü ve gerçekleşme kipi

In-sample, kurulumda veya seçimde kullanılan malzemeyi ifade eder. OOS, o kararda kullanılmamış malzemedir; walk-forward, ardışık yerel OOS değerlendirmelerinin belirli prosedürüdür. Forward, sürüm sabitlendikten sonra gelen veriler demektir; gölge, demo veya canlı uygulama içerebilir. Canlı sonuç, hesapta fiilen oluşur. Etiketler ayrı eksenleri anlatır ve birleşebilir; forward otomatik olarak canlı gerçekleşme demek değildir.

Statü her zaman belirli karara ilişkindir. Bir dönem önceki sürüm için OOS, ilk sonucu revizyonu tetiklerse sonraki için seçim malzemesi olabilir. Forward kronolojik sırayı anlatır; dolayısıyla ileriye dönük gözlemler de sonraki sürümü seçebilir.

Gerçekleşme kipi ayrı bir soruya yanıt verir. Gölge, emir vermeden veri ve sinyalleri izler; demo gösterim gerçekleşmeleri, canlı hesap gerçek gerçekleşmeler sunar. Bunlar tek sınıflandırmanın düzeyleri değildir. Bu nedenle rapor ileriye dönük dönemi, sürüme göre rolünü ve gerçekleşme kipini aynı anda tanımlayabilir. Her biri farklı yorum belirsizliğini çözer.

Veri rolünü ve gerçekleşme kipini ayrı raporlayın. Bunlar olmadan sayının anlamı sınırlıdır: sürüm seçimini, bağımsız değerlendirmeyi, gelecekteki sinyalleri veya fiilen oluşmuş sonucu anlatabilir. Bunlar birbirini dışlayan dört kategori değildir.

İleriye dönük test: Gerçekte hangi olayları gözlemliyorsunuz?

Her rapor tarihleri, dondurulmuş kural sürümünü ve dönem içindeki değişimleri tanımlar. Forward kronolojik testi, «canlı» gerçekleşmeyi anlatır. Birbirinin yerine kullanılacak etiketler değildir.

6. Test tuzakları kataloğu

Tuzaklar test güvenilirliğini farklı biçimlerde sınırlar. Bilinen uygulamadaki geleceği görme yanlılığı gibi bazı somut hatalar giderilebilir ve yeniden çalıştırılarak doğrulanabilir. Gelecek için garanti bulunmaması, saptanan her hatanın ancak kısmen hafifletilebileceği anlamına gelmez.

Çok sayıda sürümü incelemek rastlantısal olarak olumlu bir sonucu seçme olasılığını artırır. Tek başına maksimum yapay sonucu kanıtlamaz; test edilen kural ailesini ve seçim prosedürünü dikkate alın. White, veri taramasını kontrol ederken en iyi performansı referansla karşılaştıran bir testi açıklar.^[2]

Harvey, Liu ve Zhu beklenen getirilerin yatay kesitine ilişkin araştırmalarda test edilen çok sayıdaki ilişkiyi analiz eder.^[4] Anlamlılık eşikleri bireysel FX testine aktarılmaz. Bu kaynak çoklu testlere ilişkin ayrı literatüre işaret eder.

Tekrarlanan kullanım doğrulama penceresini neden tüketir?

Sonucu kuralı veya prosedürü revize etmekte kullanıldıysa OOS yeni kararlar için bağımsız doğrulama olmaktan çıkar. Yeniden okumak tek başına veriyi değiştirmez; ancak okumaya göre hareket etmek rolünü değiştirir.

Revizyonlarda OOS sonuçları kullanılınca o dönem yeni sürümün seçiminin parçası olur. Bailey ve ortak yazarları belirli seçim prosedüründe aşırı uyum olasılığını açıklar.^[3] Bu, her seçimin geleceğe ilişkin bütün bilgiyi geçersiz kıldığını ortaya koymaz.

Kullanılmış pencere yeniden görülmemiş hâle gelemez. Ancak bütün prosedür dondurulup yeni, dokunulmamış verilerde veya ayrı dış ayrımla değerlendirilebilir. Kullanım kayıtları, sonucun hangi sürüm için hâlâ OOS olduğunu belirler.

Tablonun kapsamı

Satırlar yalnızca abartmayı değil, çeşitli test sınırlamalarını anlatır. Bazı atlamalar iki yönde de etkileyebilir. Sözleşme şartları ayrıca denetlenmelidir: kural bu kısıtlarla uygulanamıyorsa olumlu test sorunu çözmez. Bölüm 11 bu koşulları geliştirir.

Park ve Irwin'in derlemesi teknik analizin kârlılığına ilişkin çalışmaları inceler.^[5] Burada yanlış sonuçlara pay atamak veya kuralların çoğunun başarısız olduğunu ileri sürmek için kullanılmaz. Dersin sınırlamalarını literatüre ilişkin doğrulanmamış genellemeler değil, açık model hesapları ortaya koyar.

OOS verileriyle kural değiştirildikten sonra yeni test

v 1 sürümü B dönemi olmadan seçilmiş, böylece B o karar için OOS olmuştur. B'nin okunması parametre değişimine ve v 2'ye yol açmıştır. B artık v 2 seçiminde kullanılır: bir hatayı hâlâ belgeleyebilir, ancak v 2'yi artık bağımsız olarak doğrulamaz. Dondurulmuş v 2, parametrelerde, pencere uzunluklarında veya maliyetlerde kullanılmamış C dönemini gerektirir. Rapor v 1'i, v 2'yi, karar tarihlerini ve her dönemin rolünü saklar.

7. Duyarlılık testi: maliyet, parametre ve dönem

Avantaj iddiası, performansın makul varsayım değişikliklerine dayanıp dayanmadığının kontrolünü gerektirir. Her test üç varsayım türü içerdiği için üç eksen temeldir: maliyet, ana parametrenin değeri ve seçilen dönem. Üçü karşılaştırılabilsin diye aşağıda tek sayısal kümede incelenir.

Kuralın bir serbest parametresi vardır: referans düzeyi hesaplamak için kullanılan pencere uzunluğu. Test edilen değerler 10, 15, 20, 25, 30 ve 40 mumdur. Ölçü, 0,60 pip maliyetten sonra kapalı işlem başına pip cinsinden ortalama sonuçtur. A ve B sürümleri giriş koşulunun yapısında ayrılır. Bu bölümdeki her rakam temsilidir, gerçek bir testten gelmez ve yalnızca böyle bir kümenin nasıl yorumlanacağını gösterir.

Tablolar kotasyonları işlemeden varsayılan ortalamaları ve sayıları kullanır. Dolayısıyla ampirik tartışmalı mum payı, gerçekleşme kaydı veya IS/OOS statüsü yoktur. Bu alanlar %0 değil, uygulanamaz — test yapılmadı olarak belirtilir. Gerçek rapor bunları veriler ve modellerle birlikte sunmalıdır.

Test yapılmaması sıfır hata demek değildir. Tartışmalı mumlar, retler ve geleceği görme durumları bilinmez; çünkü böyle bir olay listesi yoktur. Sıfır, eksiksiz örneklemde belirtilmiş kontrolün sonucu olurdu. Gerekçesiyle «uygulanamaz» ifadesi örneğin yapısını doğru anlatır.

Gerçek karşılaştırma kotasyon kaynağı ve sürümünü, sinyal tanımını, maliyetleri, dönem rollerini ve ortalamaları yeniden üreten olay listesini gerektirir. Test raporuna benzemek bu statüyü sağlamaz. Bu değerler duyarlılık hesaplarının girdileridir; doğrulama A veya B'nin ampirik kalitesini değil, aritmetiği denetler.

Parametre ekseni

İki sürüm de 20 mumda tepe yapar. Yalnızca büyük sayıyı seçmek A'yı öne çıkarırdı. Komşuluk ve alt dönem denetimleri bu kümede A'nın daha duyarlı olduğunu gösterir; ancak B için avantaj ortaya koymaz.

Tam ağırlıklı ortalamalardan oranlar A için 1,733333/0,400028=4,3330, B için 0,509750/0,463442=1,0999'dur. Tablolar yuvarlanmış değerleri gösterir. Komşuluk ortalaması yuvarlanmış satırları değil, iki tam ortalamayı kullanır.

A'nın yalıtılmış tepesi, B'nin benzer sonuçlardan oluşan daha geniş alanı vardır. Bu duyarlılığı tanılar; A'nın yapay sonuç veya B'nin istikrarlı strateji olduğunu kanıtlamaz. Komşu ortalamalar da aynı örneklemden gelir ve sıkça işlemleri paylaşır; yeni OOS verilerinin yerini tutmaz.

Grafik sayısal parametre eksenini korur: 30'dan 40'a aralık önceki komşu aralıklardan geniştir. Bu nedenle çizilen alanın genişliği keyfî sütun sayısına değil, pencere uzunluklarına karşılık gelir. Nokta yükseklikleri kopyalanmış yuvarlak satırlar yerine tam ağırlıklı ortalamaları kullanır.

Daha geniş pozitif alan bu örneklemin duyarlılığını yararlı biçimde anlatır. Komşu kurallar aynı işlemleri kullanabileceğinden çok sayıda bağımsız doğrulama sağlamaz. Alanın kendisi de sonuçlar görüldükten sonra seçilmiş olabilir; seçim geçmişi o zaman tek tepeyle aynı titizliği gerektirir. Grafik geometrisi veri ayrımları ve belirsizlik değerlendirmesinin yerini tutamaz.

Pencere uzunluğuyla işlem sayısı azalır; ancak belirsizlik dağılıma ve bağımlılığa da bağlıdır. Daha küçük N'li satır yine yararlı bilgi sağlayabilir. Dağılımlar olmadan burada güven aralığı veya seçimin kesinliği atanmaz.

Maliyet ekseni

Sabit bir işlem listesinde ve her işlem için aynı ek maliyet ΔC ile ortalama tam ΔC kadar düşer. Maliyet filtresi olmayan kural değişmeyen listeyi garantilemez: değişken spread tetiklemeyi değiştirebilir; gerçekleşmeler veya retler pozisyonları ve sonraki sinyalleri değiştirebilir. Tam test bu olayları yeniden simüle etmelidir.

Her ortalamayı kaydırmak yalnızca dondurulmuş liste ve sonuç başına eşit ek maliyetle yararlıdır. Marjı hızla ortaya çıkarır, ancak değişen strateji davranışını yeniden kurmaz. Ek maliyet günün saatine, çıkış türüne veya tutma süresine bağlıysa uygun olaylar için hesaplayın.

Spread değişimleri sabit liste varsayımını da ihlal edebilir. Kısa pozisyonda Ask stopu daha erken tetikleyebilir; bu kapanış tek pozisyon kuralının izin verdiği sonraki sinyalleri değiştirir. Maliyet o zaman nihai toplamdan düşülen tutar değil, karar sırasının parçası olur. Tam gerçekleşme stresi açık bir yeniden çalıştırma gerektirir.

Ek 0,60 pip, simülasyonla işlem arasındaki ölçülmüş tipik fark değil, temsili strestir. Dondurulmuş listede iki komşuluk ortalamasını da negatife çevirir. Gerçek raporda inandırıcı stres aralığı veri veya gerekçeli gerçekleşme koşulları gerektirir.

B bu kümede komşu parametrelere az, maliyete daha çok duyarlıdır. Gerekçeli ek maliyetlerden sonra pozitif tepe tek başına avantaj ortaya koymaya yetmez. Tam değerlendirme belirsizliği ve seçim dışı veriyi de gerektirir.

Dönem ekseni

Üçüncü eksen, parametre incelemesinin tamamını iki ayrık alt dönemde ayrı ayrı tekrarlar.

En iyi parametrenin değişmesi dönem bağımlılığını gösterir. Gürültüyü, değişen koşulları veya gerekçeli uyarlamayı yansıtabilir. Maksimumun hareketi tek başına bunları ayıramaz.

Ortalamaları işlem sayısıyla ağırlıklandırın. 20'de A:(110×3,20+100×0,12)/210=1,733333. B:(105×0,60+95×0,41)/200=0,509750; yuvarlanınca 0,51 olur. Altı ayarın tamamının kesin ortalamaları komşuluk ve maliyet stresi hesaplarına temel olur.

A'nın maksimumu ilk alt dönemde 20 mumdan ikincide 40'a geçer. 20 ayarında ilki 110×3,20=352 pip, ikincisi 100×0,12=12 üretir; ilk dönem toplam 364'ün %96,7'sini sağlar. B'nin maksimumu 20'den 25'e geçer ve her ortalama pozitif kalır. İki ayar arasındaki 0,01 farkı oluşturulmuş sayıların özelliğidir; önemi sonuç dağılımı olmadan belirlenemez.

Bu kümede A parametreye ve döneme duyarlıdır; B benzer komşu sonuçlar verir. İkisi de yüksek maliyetle zayıflar. Ampirik örneklem, sonuç varyansı veya seçim testi yoktur; bu nedenle hiçbirine kalıcı avantaj atfedilmez.

Duyarlılık testi sonuçlarını kullanma

Parametre ekseni komşuluğu, maliyet belirli ek ücrete karşı marjı, dönem tarihsel performans yoğunlaşmasını anlatır. Hiçbiri ek denetim olmadan geleceğe taşınabilecek rakam belirlemez.

Üç değerlendirme de aynı yöne işaret ettiğinde sonuç açıktır. Ayrıldıklarında karar veren bir kural yoktur; varmış gibi davranmak yararsızdır. Yine de bir ifade açıktır: tek varsayımda küçük ve gerçekçi değişiklik sonrası işaret değiştiren sonuç, başlangıç yüksekliği ne olursa olsun istikrarsızdır.

Düz bir komşuluk da aynı örneklemi paylaşabilir

15, 20 ve 25 mumluk sürümler birçok işlemi paylaşabilir. Benzer ortalamalar o zaman üç bağımsız doğrulama sağlamaz. Dayanıklılık sonucuna varmadan ortak olayları, alt dönem sonuçlarını ve tüm alanın seçim geçmişini denetleyin. Komşuluk ortalaması bu örneklemi anlatır; yeni OOS kanıtı değildir.

8. Yeniden üretilebilirlik kaydı

Yalnızca açıklamasına sahip biri aynı sonucu elde edebiliyorsa test yeniden üretilebilirdir. Ölçüt kesindir, ara dereceleri yoktur: açıklama ya yeterlidir ya değildir. Aşağıdaki kayıt, yokluğu yeniden üretimi kesintiye uğratan öğeleri listeler ve o zaman neyin bilinmez kaldığını gösterir.

Kayıt verileri, kuralı ve uygulama yöntemini belgeler. Araştırma olmadan tamamlanma süresi veya diğer raporlardaki eksikliklerin yaygınlığı atanmaz. Araç sürümleri, dosya sağlama toplamları ve karar listeleri aynı deneyin karşılaştırılıp karşılaştırılmadığını ortaya koyar.

Özsermaye eğrisi, eksenleri ve temeli belirtilmişse sonuç yolunu ve yoğunlaşmasını gösterebilir. Kuralın, verilerin, maliyetlerin veya seçim geçmişinin yerini tutmaz. Grafik tek başına testi yeniden üretemez veya her sınırlamayı değerlendiremez; ancak bilgiden yoksun da değildir.

Bir sonucu yeniden üretmek için neler dondurulmalı?

Kayıtla birlikte veri ve kodun SHA-256 özetlerini, araç sürümlerini, parametreleri, saat dilimini ve UTC farklarını, geçerliyse rastgelelik tohumunu ve olay listesini saklayın. Kaynak doğrulama tarihleri hangi model belgesinin kontrol edildiğini gösterir. Veri veya araç değişiminden sonra yalnızca nihai toplamı değil, işlem listesini önceki manifestoyla karşılaştırın.

Sağlama toplamı dosya baytlarındaki değişimi saptar; veri kalitesini veya kod doğruluğunu değerlendirmez. Aynı dosyalar aynı hatayı paylaşabilir. Manifesto kullanılanları tanımlar; böylece bağımsız biri inceleyip düzeltilmiş çalıştırmayı adlandırılmış sürümde tekrarlayabilir.

Rastgele bileşen ayrıca üretecin parametrelerini, örnekleme yöntemini ve kullanım sırasını gerektirir. Kütüphane veya model değişiminden sonra tek başına tohum yetmeyebilir. Araç sürümleri ve olay kayıtları değişen rastgele akışı değişen kuraldan ayırır. Bu, ortam yapılandırma eğitimi değil, sonuç yorumlama bilgisidir.

9. Başkasının sonuçlarını sorularla değerlendirme

Başkasının sonucu kendi sonucunuz gibi değerlendirilir; bir farkla: eksik bilgi bağımsız olarak sağlanamaz. Bu nedenle yanıtsız soru, değerlendirme içindeki bir aşamaya dönüşmek yerine onu sonlandırır.

İlk sorudan önce iki listeyi ayırın; aksi hâlde karşılaştırma bitirilemeyecek kadar uzar. Sonucun kendisine ilişkin sekiz soru — işlem sayısı, dönem ve araçlar, maliyetler, veri ayrımları, test edilen sürüm sayısı, azami düşüş, en büyük işlemlerde yoğunlaşma ve riski kimin taşıdığı — makale 8.2, bölüm 13'ün konusudur. Algoritmik sonuçlara değişmeden uygulanır ve burada tekrarlanmaz. Aşağıdaki liste yalnızca rakam gerçekleşmiş işlemler yerine tarihsel kotasyon testinden geldiğinde eklenenleri kapsar. Her satır aynı sırayı izler: soru, gerekli yanıt ve yokluğunun anlamı.

Son soru nezaketsiz görülebilir ve test prosedürünün kendisiyle ilgili olmayan tek sorudur. Diğer on sorunun kendi bulgularının sonuçlarına katlanmış birine mi, yalnızca başkalarının bulgularından etkilenen birine mi yöneltildiğini netleştirir. Hiçbir tarafı suçlamaz; doğrulama yükünün nerede olduğunu belirler.

İki liste birlikte nasıl işler?

Uygulama sıraları önemlidir. Önce makale 8.2'deki sekiz soruyla başlayın; daha kısadırlar ve meseleyi daha sık çözerler. İşlem sayısı, tarih veya veri ayrımı yoksa kayıt çözünürlüğü ilgisiz kalır; neyi anlatacağı bilinmez. O listeyi geçen sonuç yukarıdaki on bir soruyu gerektirir; bunlar rakamın kuralı mı, onu test eden prosedürü mü anlattığını belirler.

Canlı emir raporları gerçek gerçekleşmeler içerir; fakat yine algoritma sürümü, sinyal kaynağı ve kural değişimlerini gerektirir. Mum içi sorular simülasyonu ilgilendirir; veri kalitesi ve sinyal kullanılabilirliği canlı uygulamada da önemlidir. Tarihsel maliyet modelleri ayrı gerçekleşme örnekleminden tahmin edilebilir.

Gerçekleşme o gerçekleşmenin fiyatı hakkındaki belirsizliği giderir, programın neden emir gönderdiğini değil. O anda mevcut veriler, kural sürümü ve sinyal kayıtları gerekliliğini korur. Kaynak kesintileri veya yanlış mum sınırları, gerçekleşme doğru kaydedilse bile canlı işlemlerde oluşabilir.

Simülasyon önceki canlı gerçekleşmelerden tahmin edilen kaymayı kullanabilir. O örneklemin kendi tarihleri, araçları ve sınırlamaları vardır. Ne yeni geçmişe dönük test gerçekleşmelerini ölçer ne de dağılımın sonraki döneme taşınmasını garantiler. Bütün testi her gerçek veri biçimine karşıt saymak yerine her bileşenin kökenini koruyun.

Yanıtlar yerine neler sunulabilir?

Başka malzemeler yanıtların yerini alabilir; ancak hiçbiri eşdeğer değildir. İlk olarak özsermaye eğrisi kural, maliyet modeli veya örneklem ayrımı içermez. İkinci olarak işlem sayısız dönem uzunluğu: iki yıl 20 veya 2000 işlem demek olabilir; aynı zaman aralığı karşılaştırılabilir gözlem sayısı sağlamayabilir. İki büyüklük de makale 8.2 listesindedir, ancak biri diğerinin yerine sunulabilir. Üçüncü olarak örneklem, dönem, maliyet veya veri ayrımı olmadan tek toplu kalite rakamı, yalnızca kuralın değil o eksik büyüklüklerin fonksiyonudur.

Doğru performans kaydının geleceği değerlendirmede değeri sınırlı olabilir. Verinin doğruluğunu test bağımsızlığından, maliyet kapsamından ve seçim geçmişinden ayırın. Yalnızca performansa göre seçim yapay sonucu kanıtlamaz, fakat seçimi dikkate alan doğrulama gerektirir.

Aynı soruları kendi sonucunuzu değerlendirmede kullanma

Raporunuz kural değişimi olmayan okumalar dâhil karar tarihlerini saklamalıdır. Geriye dönük yeniden kurma, o anda tutulan kayıttan daha az güvenilirdir; ancak bellek hatasına önceden yön atanmamalıdır.

Testten önce kaydedilen ayrım planlanan veri kullanımını ortaya koyar. Yeniden kurulum gerçekten kullanılan ayrımı anlatabilir; ancak sonuçlar görüldükten sonra değişmediğini kanıtlamaz. Sürüm ve karar geçmişleri gerekir.

10. İzleme ve önceden belirlenmiş durdurma ölçütü

Kullanıma geçildikten sonra kural davranışının test edilen sürümün kapsamıyla eşleşip eşleşmediğini izleyin. Farklar rastgele dağılımı, değişen koşulları veya veri/gerçekleşme hatalarını yansıtabilir. Performans ölçütü nedeni kusursuz tanımlayamaz; fakat alarm sıklığı ve gecikmesi açık modellerde değerlendirilebilir.

Testin en kötü gözleminin aşılmasına dayalı ölçüt

Bir yapı, tek sonucun test minimumundan daha kötü olmasıyla alarm üretir. Özellikleri belirli model için aşağıda hesaplanır; bu yapının yaygın olduğu iddia edilmez.

Hesabın tasarım sonuçları vardır. Böyle bir ölçüt yalnızca eşiğiyle değil, dönem uzunluğuyla ilişkilendirilmelidir: «testin en kötüsünden daha kötü» 100 ve 1000 işlem sonrasında farklıdır. İkinci sonuç prosedür kapsamındaki dördüncü aşamayla ilgilidir: daha uzun test yanlış alarm duyarlılığını azaltır; o aşamayı kısaltmamak için başka neden.

İşlem olmamasına dayalı ölçüt

İkinci yapı ters durumu ele alır: kural üretmesi gerektiği hâlde hiç sinyal üretmez. Bu uyarı performanstan çok kuralın tasarlandığı koşullarla karşılaşıp karşılaşmadığıyla ilgilidir.

Yazılı durdurma ölçütü neleri içermeli?

Performans ölçütü ölçüyü, birimi, eşiği, gözlem uzunluğunu, gereken örneklemi ve alarm sonrası eylemi belirtmelidir. Yinelenen emirler veya gerekli verinin eksikliği gibi ayrı bütünlük sorunları, asgari işlem sayısını beklemeden hemen askıya alma gerektirebilir.

Gözlem dönemi olmayan eşik eksiktir: tek sonuç, son pencere ortalaması ve tarihsel minimum farklı büyüklüklerdir. Pencere uzunluğu ve gerekli N hangi olayların alarm tetikleyeceğini belirler. Çoklu kontroller sıklığı ve bağımlılığı dikkate almayı gerektirir; tek kontrolün yüzdesi bütün izlemeyi otomatik olarak anlatmaz.

Alarm sonrası eylem de belirtilmelidir. Askıya alma, tanılama ve yeniden başlatma, nedeni ve izlenen sürümü gerektirir. Alarm dönemini kullanan revizyon eski bağımsız test statüsünü koruyamaz. Bütünlük sorunları ayrı kalır: bunların saptanması ortalamanın istatistiksel değerlendirmesini beklemek zorunda değildir.

Yeniden başlatma koşulları yeniden üretilebilir olmalıdır: alarmın nedenini belirleyin, giderin ve yeni sürümü kullanılmamış verilerde ve belirtilmiş forward kipinde değerlendirin. Revizyonu tetikleyen dönem yeni bağımsız OOS doğrulaması değil, tanılama için kullanılır.

Bu ölçütler neden iki yönde de yanılabilir?

İlk hesabın gösterdiği gibi duyarlı ölçüt işleyen kuralı durdurur. Duyarsız ölçüt, koşullar değiştikten sonra karar verecek örneklem birikene kadar kuralı çalışır bırakır. Bu ödünleşimin iki tarafı da tek sonuç serisinin birçok dağılımla bağdaşmasından ve ayrım için birikmesi zaman alan gözlemlere ihtiyaç duyulmasından doğar. Makale 8.2 belirtilen farkı saptamak için gereken örneklemi ele alır.

Performans ölçütü sık alarm ile gecikmiş tepki arasında denge seçer. Özellikleri açık modellerde ve ileriye dönük değerlendirilebilir. Sonuçlar rejimi kesin olarak tanımlayamaz; ancak yararlı tanılama yine mümkündür.

Daha fazla kontrol, alarm olasılığını artırır

Homojen Poisson modelinde, önceden seçilen tek 60 seanslık boşluğun sinyalsizlik olasılığı q=exp(−60/21)=%5,74'tür. Bu modelde bağımsız olan 12 ayrık pencerede en az bir boş pencere olasılığı 1−(1−q)¹²=%50,82. Bu, hareketli ve örtüşen pencereleri modellemez. Yeniden hesaplama olmadan tek kontrolün eşiğine yıllık yanlış alarm oranı denemez.

12 ayrık pencere belirli kontrol kümesini tanımlar. İçlerindeki Poisson sayıları bağımsızdır; bu da boş pencere bulunmama olasılıklarının çarpılıp 1'den çıkarılmasına izin verir. Varsayım her gözlenen stratejiye değil, formüle aittir.

Hareketli kontroller birçok seansı paylaşır. Sonuçları bağımlıdır ve uzun boşluğu tekrar tekrar işaretleyebilir. Sıklıkları başka bir hesap veya bütün prosedürün açık simülasyonunu gerektirir. Yoğunluğu kısa örneklemden tahmin etmek de belirsizlik ekler. Örnek 21 seansta bir işlemi ölçülmüş avantaj değil, verilmiş parametre kabul eder.

11. Bu makalenin ortaya koymadıkları

Prosedürün tanımlı kapsamını belirtmek değerlidir; çünkü aşağıdaki her sınırlama desteklediği sonuçları değiştirir.

Prosedürü tamamlamak bir avantaj ortaya koymaz

Prosedür, belirtilen veri ve maliyetlerle test edilen sürüm hakkında kanıt sağlar. Kalıcı avantaj garantilemez. Belirsizlik değerlendirmesiyle iyi OOS performansı avantajı destekleyebilir; seçim ve test başarıyı da yapay sonucu da önceden ortaya koymaz.

Ayrım felsefi değil, pratiktir. «Kural prosedürü tamamladı» kontrol edilip ifade edilebilir. «Kuralın avantajı var» ayrıca kural kurulumunun dışındaki verilerde tam maliyetli beklenen değer ve belirsizlik tahminleri gerektirir. Bu, makale 8.2'nin konusudur; bu metnin değil.

Buradaki her sayısal değer varsayılmıştır

Test yapılmamıştır. 240 sinyal, 400 işlem, 46 tartışmalı durum, iki sürümdeki altı parametre değeri ve sinyaller arasındaki 21 seans yalnızca hesapları ve ölçeği gösterir. Kendi girdileriniz her sonucu, bazen işaretini değiştirirdi. Bu rakamlardan herhangi birine tahmin muamelesi yapmak belirtilen statüsüyle çelişir.

Test edilmeye değer kural bulma

Fikirler ve sinyal kurma bölüm 5 ile makale 8.7'ye aittir. Test sonraki hipoteze yararlı tanılama sunabilir; ancak daha iyi fikir garantilemez. Test sonuçlarını kullanan her revizyon seçim geçmişini genişletir.

Gerçekleşme burada konu değil, girdidir

Kayma, retler ve kısmi gerçekleşmeler, kaynak gerektiren sayılar olarak maliyet modeline girer. Kaynakları işlem koşulları ve karşılaştırmaları ilgilendirir; bölüm 11 bunları ele alır. Programın ortamı, yapılandırması ve teknik gereksinimleri bölüm 12'nin konusudur. İki konu da burada açıklanmaz veya önceki malzemeden çıkarılamaz.

Pozisyon büyüklüğü ve portföy risk ölçüleri hesabın dışındadır

Pip sonuçları varsayılan doğrusal maliyet modelinde hacimden bağımsızdır. Asgari ücretler ve farklı gerçekleşme koşulları bunu bozabilir. Pozisyon büyüklüğü ve özsermaye yolu ölçüleri bölüm 9'a aittir.

Durdurma sonrası davranış başka bölümün konusudur

Durdurma ölçütleri, modellenen özellikleriyle prosedür unsurları olarak ele alınmıştır. Kullanıma geçmeden tanımlayın ve sonraki değişimleri kaydedin. Olumsuz sonuçlara insan tepkileri bölüm 10'a aittir.

12. Öz denetim alıştırması ve sonraki adım

Alıştırma üç hesabı farklı girdilerle tekrarlar ve başkasının raporundaki eksikleri belirler. Veri kümesi ve ayrıntılı çözüm aşağıdadır.

Prosedürü sonraki adımda uygulama

Önce kuralı, verileri ve modeli belgeleyin. Sonra uygulamaların uyumunu kontrol edip hesaplayın. Bunun bir saat süreceği veya çoğu raporda belirli sayıda eksik bulunduğu varsayılmaz.

Mum içi durumların payını ve etkisini, parametre komşuluğunu ve maliyet duyarlılığını tanılayın. İlki simülasyon olaylarını, ikincisi ek parametre ayarlarını gerektirir; tam maliyet stresi yeniden simülasyon gerektirebilir. Bütün bilgi tek çalıştırmadan gelmez.

Bu makale dışındaki ayrı soru uygulanabilirliğe çoğu zaman önce karar verir: Bu çalışma yöntemi mevcut saatlerinize ve koşullarınıza sığar mı? Otomasyon sanıldığından az değiştirir; yükü ortadan kaldırmak yerine piyasa gözleminden kurulum ve denetime taşır. Bölüm 10'daki izleme düzenli iş olmaya devam eder. Makale 8.10, bölümün son dersi olarak kişisel kısıtlarla uygulanamayan yöntemleri eler.