アルゴリズム取引 — 検証手順と他者の成績の評価

プログラムはルールをより速く正確に実行できますが、売買の自動化だけで優位性が成立するわけではありません。シグナル、約定価格、コストの変化を確認する必要があります。このレッスンでは、再現可能な検証の準備、データの制約の見極め、自分の結果やアルゴリズム提供者の報告の評価を説明します。パラメータの選択や、ローソク足内で起こった事象の順序が結果を左右する理由も扱います。数値例はすべて説明用であり、市場の価格データによる検証は行っていません。

1. 自動化が執行で変えることと、計算で変えないこと

プログラムは仕様を注文とイベント記録へ変換します。仕様への忠実さは、正しいコード、データ、正常に動く環境に依存します。誤りや中断の可能性は残ります。

したがって、ルール自体と、実装が正しい版を実行しているかの両方を確認する必要があります。その条件を満たして初めて、自動化は再現可能な手順になります。

自動システムは、所定の時刻に条件を評価し、指定したパラメータで注文し、記録を残せます。各要素に正しい実装と環境の監視が必要です。記録には未実行のシグナルと見送った理由も含めます。これらは執行上の利点となり得ますが、無故障の動作を保証するものではありません。

実行するシグナルが増えても、利益が増えるとは限りません。以下の乗算で符号が保たれるのは、1取引当たりの平均純損益が変わらないモデルだけです。執行方法を変えるあらゆる効果を表すわけではありません。

手動の記録だけでは自動システムの結果を予測できない理由

見送った90シグナルが無作為標本かは分かりません。見送りは監視時間や追加フィルターに依存し得ますが、結果との関係にはデータが必要です。未実行シグナルと、その都度の見送り理由を記録します。

手動記録が表すのは実行された版のルールです。すべてのシグナルを実行する版を表すとは限りません。裁量フィルターは結果を改善することも悪化させることもあり、除外した事例なしには差を推定できません。

解決には、見送ったものを含む全シグナルの結果を履歴データ上で求めます。この記事の残りで扱う検証です。上の計算のように未実行シグナルも含む前向きの記録も同じ役割を果たします。ただし、前者は既にある履歴資料を使えるのに対し、前向き記録は加速できない市場の進行速度で蓄積されます。

自動化がもたらすものの限界

自動化がしないことの一覧は宣伝される約束より短いものの、その内容は検証できます。

自動化だけでは優位性は成立しません。 執行の時点と方法を通じて、平均利益、平均損失、勝率、コストが変わる場合があります。以前の手動版の結果を借用せず、実際の版のルールについて純期待値を確認します。

コストの低下を保証しません。 スプレッドと手数料は残りますが、応答の迅速化や適切な決済時刻が執行を変える場合はあります。シグナルから注文送信までの遅延と、注文から約定までのスリッページは異なる偏差であり、どちらも結果に影響し得ます。コストの変化には比較可能なシグナルによる測定が必要です。

取引数の増加は情報を増やし得ますが、追加した行数に比例するとは限りません。損益の正の依存は平均の誤差を増やし、一部の負の依存は減らし得ます。有効標本サイズは根拠のあるモデルに属する量であり、自動的にNより小さくなるわけではありません。記事8.2で評価を詳しく扱います。

判断をなくすのではなく、前に移します。 手動取引でその場で行う判断は、自動取引ではすべて事前に仕様として定めます。人が直感的に処理することにもプログラムには答えが必要なので、判断項目は増えます。保有中のシグナル、欠けた足、どちらの水準にも届かないポジションをどう扱うかなどです。 第3節 でこれらを扱います。

自動システムは所定の手順を実行し、評価はロジック、データ、執行を対象にします。執行の改善に経済的価値がある場合はあります。しかし、選択に使った資料の外でも完全なルールがコスト控除後に利益を保つという証拠の代わりにはなりません。

執行は純損益の符号を変え得る

同じシグナルロジックを使う例です。執行上の偏差前の平均は+0.40 pips。手動版のコストと遅延が0.65なら純平均は−0.25、自動版で0.25なら+0.15です。自動化が通常結果を改善することを示す値ではありません。符号が変わらないとの主張には、執行が変わらないという仮定が必要だと示しています。

2. 自動化の4形態と提供者の収益動機

個人参加者が選べる形態の違いで、自動化の程度より重要なのは、誰がルールを定め、誰が検証できるかです。「手動か自動か」より重要なのは、以下の手順をそもそも適用できるかを決めるためです。

提供者の報酬モデルはサービス条件から確認します。購読料、売買高、運用成績に依存する場合があります。モデルだけでは品質も不正直さも判断できません。評価にはルール、検証の説明、公表結果が何を表すかを特定するデータが必要です。

提供中の一覧には、撤回されたプログラムや成績が公表されなくなった口座が含まれない場合があります。その場合、順位表には生存者の選択が入ります。失敗したプログラムが必ず消えると決めつけず、過去の構成を確認します。

自作プログラムと売り手のいない利益相反

表の最初の行には提供者がいないので、最後の列の問題もないように見えます。しかし、指摘する相手がいないために難しくなり得る相反は残ります。ルールの作者と検証者が同じ人であり、検証は既に費やした作業の行く末を決めます。

作者は失敗を含め、検証したすべての版と検証用データのすべての利用を記録します。記録漏れの頻度や作者の動機を決めつけるものではありません。最初からの記録が、後で実験履歴を再構成するより確かだということです。

半自動化に残る空白

半自動化では、プログラムが条件を評価し、人が注文を選ぶ場合があります。追加フィルターが明示され再現可能なら、仕組み全体を検証できます。裁量のままなら、結果はプログラムと人の判断の組み合わせに属します。

これは 第1節の手動記録と同じ帰結です。ただし、気づきにくい場合があるため、ここで明確にします。結果はプログラム化したルールだけでなく、未規定の選択ルールとの組み合わせに属します。前者の検証から組み合わせについては何も分かりません。仕組みを評価するには、後者のルールも定める必要があります。 記事8.1 が仕様の基準を示しています。2人が同じように解釈できることです。

結果の位置づけを決めるのは、人の関与の有無だけでなく、何を仕様にし実行したかです。明示したフィルターを持つプログラムは再現可能なシステムになり得ます。非開示のフィルターは再現性を制限します。

別口座の取引の再現

ルールがなければ、コピートレードで公表取引系列の評価はできても、別期間の戦略検証は再現できません。日時、銘柄、コスト、執行差については質問できます。ルールの欠如は評価を制限しますが、記録のすべての情報がなくなるわけではありません。

執行にも差があります。コピー注文は別口座のシグナルの後なので市場到達が遅れ、数量が換算される場合もあります。両方とも元口座ではなくコピー口座に作用するため、公表された経路はコピー側が得るものと異なります。差はルールに依存し、数十pipsの目標では小さくても、数pipsなら計画利益全体を超える場合があります。以下の 記事8.3 のコスト対目標の計算が示しています。

サービスの位置づけ、提供者の義務、顧客保護などの法的問題は 第13章 で扱い、この記事の範囲外です。方法論上は、コピーではルールを検証できず、以下の 第9節の質問が残ります.

3. 前提条件：データ上でルールを再現できるか

成績を問う前に、同じ仕様と同じ価格データから独立して2回再構成したとき、取引一覧が同じになるかを確認します。違うなら後の比較は意味を失います。同名の異なる2つのルールを比較することになるからです。

独立した2つの実装は、曖昧さがないかを強く検証できます。ただし、確認方法はそれだけではありません。合意した基準事例や、事象ごとの照合も役立ちます。差は仕様の不足やコードの誤りから生じる場合があります。自動的にルールを書き換えず、原因を特定します。

最終合計の一致より、イベント一覧の照合のほうが多くの情報を得られます。異なる取引で同じ成績になったり、同じシグナルでも執行順序の違いで決済が変わったりします。時刻、方向、気配値の側、発動の基準、約定を比較します。

一致だけでは優位性も執行モデルの妥当性も成立しません。確認できるのは、特定の仕様と設定を一貫して再現したことです。両実装が同じ誤った仮定を共有している場合もあります。集計結果を経済的な評価に使う前に、基準事例と情報の利用可能時点の確認で、各判断の仮定を検証します。

2つの再構成の一致を確認する

手順は明快で、同じルール、価格ファイル、期間による2回の実行が必要です。集計値ではなく、エントリー時刻、方向、価格、決済時刻、価格、根拠の一覧を比較します。一致率は、重複を除いた取引の和集合のうち、両一覧にある取引の割合です。

差が生じる箇所

以下の事例には、明示的な仕様や実装の確認が必要です。発生頻度を割り当てるものではありません。明確な仕様で解消する差もあれば、データや執行モデルの確認が必要な差もあります。

• 参照窓の境界。 評価対象の足は、参照水準の計算窓に含まれますか。20本の窓で1本を入れ替える影響は計算式次第で、変化なしから計画目標の何倍にもなり得ます。
• 厳密不等号か、等号を含む不等号か。 「価格が水準を上回る」は等しい場合も含みますか。小数精度が有限で価格が気配値の刻みに丸められるため、等しい値は直感より多く発生します。
• 保有中に出たシグナル。 見送るのか、ポジションを増やすのか、入れ替えるのか。同じシグナル列でも、この3つの答えから3つの取引一覧が生じます。
• 決済した足に出たシグナル。 シグナルを評価する前にポジションは閉じていましたか。答えは足に記録されていない順序に依存します。
• データの欠損。 計算窓の足が欠けても条件を評価しますか。隣の値で埋める場合と評価を飛ばす場合では一覧が変わります。選択だと認識しないまま、どちらかを採用している場合もあります。
• 足の識別と時計の切り替え。 足の識別には配信元の現地時刻を使いますか、世界時を使いますか。時計を戻して同じ時間帯が繰り返されると、前者では表示名が重複します。明示したUTCオフセットがなければ、現地時刻のラベルは繰り返され得ます。識別ルールを確認します。
• 未決済のポジション。 時間決済はありますか。そのカウンターは存在する足を数えますか、時計の経過時間を数えますか。週末があると決済日は変わります。
• 検証期間の終端。 最後の足で保有中のポジションをどう扱いますか。最後の価格で決済する、取引全体を除外する、保有したままにする、の3つで合計は異なります。

各相違を仕様、コード、データ、執行モデルに分類します。仕様の不足は文書で明確にし、実装の誤りはプログラムで修正します。その後、基準事例と完全なイベント一覧で比較を繰り返します。

実務で一緒に扱われがちな2つの問題を分けます。チャート上の観察を計算可能な条件に変えてルールを客観化するのは、次の 記事5.12で扱う分析手法です。独立した2つのプログラムが仕様を同じように再現するかの確認は、ここで扱う方法論です。前者は「計算できるか」、後者は「常に同じように計算されるか」を問います。

終値で評価するルールと応答価格

足の終値を使う条件が分かるのは確定後です。約定が、シグナルの利用可能時点と現実的な応答より前になることはありません。次の気配値が終値と同じ場合はあるので、価格の一致だけで先読みとは証明できません。

割り当てた判断時刻に使えなかった情報を検証で使うと、誤りになります。シグナルが利用可能になってから終値を記録すること自体は誤りではありません。情報、送信、執行の各時刻とシミュレーターのルールを確認します。

先読みの例は、時刻tの決済水準に、tより後に生じる足の高値や安値を使うことです。現在の足の使用が常に誤りとは限りません。その時点までのデータは既に使える場合があります。足のラベルだけでなく、特定の値がいつ分かったかを確認します。

各値の利用可能時刻を特定します。足の確定で分かった値が注文を生むのは、戦略がその値を利用できるようになってからです。その後の約定が終値と同じ場合はありますが、足だけでは確認できません。時刻情報の不足は解釈を制限するため、開示して調べます。

4. データ、気配値の側、足内の処理上の取り決め

検証はルール、データ、コストモデルという3要素の関数です。前節は最初を扱い、この節は残りを扱います。検証資料で見落とされがちな出発点は、データが唯一の共通記録ではないことです。同じ銘柄と期間でも配信元の数だけ記録があり、差は丸め誤差を超えます。

データについて知るべきこと

価格データの各特性は、他の特性から推定できません。

配信元と版。 特定の提供者の記録は、欠損補完や誤った価格の修正によって後から改訂される場合があります。修正前後は異なる検証です。再現性のため、配信元名に加えて取得日も記録します。

気配値の側。 記録はBid、Ask、両方、またはその中値の場合があります。 第2章 で違いを説明し、検証への計算上の影響は以下で扱います。

OHLCは足内の順序を含みません。完全なティック記録は、その時刻精度の範囲で記録された変化の順序を示しますが、完全性も約定も保証しません。時刻精度、気配値の側、欠損を確認します。これらは別々のデータ特性です。

完全性。 時間単位の欠損、時刻の重複、配信停止は評価機会を変えます。欠損処理を定めなければ、ツールの初期動作が代わりに決めます。

銘柄集合の変化。 複数銘柄の検証では、対象集合が期間全体で一定だったかを確認します。配信が取り下げられた銘柄は損益と一緒に消えます。提供中の一覧に関する 第2節と同じ仕組みです.

気配値の側：計算上の影響

ルールを一方の側で計算し、反対側で約定する場合があります。買いポジションは参加者に提示されたAskで開き、Bidで閉じます。その差は1往復に1回負担します。同じ側で入口と出口を処理するシミュレーションでは、この差全体が計算から消えます。

スプレッドが一定で取引一覧を固定すれば、欠落した成分は取引数に比例して増えます。実際のスプレッドは変動し、注文の発動や後続注文にも影響し得ます。以下の例は固定した計算上の調整だけを取り出し、完全なAsk/Bidシミュレーションではありません。

足内の取り決め：データが示さない部分

OHLCでは、高値と安値のどちらが先か分かりません。エントリー後、同じ足内で両方の決済水準に達すると、未知の経路によって結果が変わり得ます。片方だけに達した場合でも、入った時刻、気配値の側、約定可能性が不明なことはあります。

TPがSLより先か、その逆かを仮定するのはモデル上の取り決めです。例えばTradingViewは、始値の位置に応じてO–H–L–CかO–L–H–Cの経路を選ぶ方法を説明しています。^[6] 細かいデータは曖昧さを減らせますが、接触したすべての水準で執行可能だったことを自動的に証明するものではありません。

相違取引の割合と併せて、合計と平均への影響も報告します。損益が大きければ、小さな割合でも大きな影響があります。2つの経路が有用な範囲を示すのは、指定した水準と約定モデルの内側だけです。実際の損益の一般的な上下限ではありません。

気配値の側と、エントリー条件の成立後の順序を明確にします。入る前に両水準を含む足と、入った後に含む足では、同じ問題になるとは限りません。そのような足をすべて自動的に相違扱いせず、仕様で区別します。

仮定した水準と約定に対する順序感応度は計算できますが、未知の流動性や部分約定から別の損益も生じ得ます。「楽観的」「保守的」は特定の取り決めに関する呼び方です。両方の報告は片方を隠すより情報が多いものの、実際の取引が両者の間に入る保証はありません。

シミュレーションのコストモデル

スプレッド、手数料、スリッページを分けて記録します。1つの参照価格を使うモデルはコストを明示的に加えます。実際のAsk/Bid約定差には、その価格に織り込まれたスプレッドとスリッページが既に含まれるので、再控除しません。シミュレーションのスリッページを別の実測標本から推定することはできますが、バックテスト自体が新しい約定を測定するわけではありません。

固定スリッページモデルと分布を使うモデルは異なり得ます。分布は決済種別や市場環境に依存する場合があります。データなしに非対称性の方向や大きさを割り当てず、明示的なシナリオと利用できる実測約定を比較します。

拒否や部分約定もシミュレーションできます。除外の偏りの方向は一定ではありません。拒否された注文は利益にも損失にもなり得ます。除外はモデルの制約と記し、成績が常に過大だという証明にしません。

ロールオーバーをまたぐポジションの資金調達額はΣ rⱼdⱼです。rⱼは当時のレート、dⱼは計上の重みです。負のスワップを除くと結果を過大に、正のスワップを除くと過小にします。記事8.5と8.6が重みを説明します。

今日のレートに夜数を掛けて履歴全体へ遡及適用しないでください。各計上事象の重み、その時点のレート、単位が必要です。数量が変わる場合は各区間の計算基礎も必要です。レート履歴がなければ制約として明記するか、明示したコストシナリオで置き換えます。

スワップの除外は、2つの保有期間の比較を異なる方向に偏らせ得ます。正の計上は、コストの言い換えではなく、仮定した条件で収支を改善する収入です。負の計上は収支を下げます。符号はポジションの方向だけで自動的には決まりません。記事8.5–8.6から使うのは計算方法であり、説明用レートではありません。

経済指標などの前後で売買を止めるルールなら、過去のカレンダーとタイムゾーンでそのフィルターを再現します。なければ両条件の混合結果です。平均は混合全体を表せますが、構成と各コストを開示します。記事8.8は発表の時間帯、8.4は取引日の終端を扱います。

発表フィルターは、後で重要と分かった事象についての解説ではなく、判断前に利用できた情報を必要とします。対象一覧、該当タイムゾーンでの発表時刻、予定の改訂の扱いを指定します。フィルターのないルールから、発表前後の不利な取引を後で取り除き、変更のない検証と呼んではいけません。

日の境界の変更も方法論上は似ています。シグナルとデータの割り当てを変え得ます。成績に合わせず、配信元の取り決めと時差を保存します。混合標本の平均はその混合の記述として有効ですが、小期間やコスト条件を示さなければ成績の偏在を隠す場合があります。

デモ検証が確認するのはデモ環境のシグナルと執行です。結果は分析できますが、本番口座のコスト分布が同じとは証明できません。シャドー検証は注文を送らず、約定を測定しません。方式を明示して区別します。

1本の足から認められる2つの結果

説明用の買いポジションは、既にAsk 1.10000で開かれています。ストップはBid 1.09800、目標はBid 1.10300で発動します。次のBid足はO=1.09992、H=1.10320、L=1.09780、C=1.10040です。両経路はこのOHLCと整合します。 O–H–L–C は先に目標へ達し、 O–L–H–C は先にストップへ達します。

水準での全量約定をモデル化すると、価格損益は+30と−20 pips、手数料0.20の控除後は+29.80と−20.20です。実際の入口Askと出口Bidの間にはスプレッドが既に含まれるため、再控除しません。OHLCは順序も、触れた水準での執行も証明しません。

描いた両経路は同じO、H、L、Cを異なる順に通ります。曖昧さを示すには十分ですが、OHLCに整合する全経路を網羅するわけではありません。損益は仮定した入口Askから出口Bidまでで測ります。Bid足にはAskの履歴がなく、それだけでスプレッド履歴全体は再構成できません。

+29.80と−20.20は、観測した執行ではなく2つの全量約定モデルの計算です。シミュレーターの文書は取り決めを定義し、細かいデータは気配値の順序を確認し得ます。実際の約定には注文と執行記録が必要です。経路、取り決め、執行の3層を別々に報告します。

5. ルールから実運用まで：移行基準

ルールの検証段階は作業一覧で示されがちです。しかし一覧だけでは、移行条件がないので何も決まりません。以下では各段階に、次へ進むため肯定の答えが必要な質問と、否定の場合の対応を置きます。順序は任意ではなく、各段階が前段階の完了を前提とします。

否定の答えが出た後の対応

一覧が一致しなければ、原因を特定するまで成績の解釈を止めます。データ、コード、仕様を修正した後、両方を再実行します。成績がよいというだけで片方の一覧を採用しません。

第2段階。 データの5特性のいずれかが欠ければ、どれも結果に影響するので検証を止めます。それらを揃えるのは運営上の作業で、本質的な調査研究ではありません。通常、その必要性を議論するより短時間で済みます。

選択用データの成績は適合させた版を表し、独立した確認にはなりません。問題の診断や、事前の基準に基づく案の棄却には使えます。負の結果がすべての計画の終了を意味するわけではありませんが、修正版は独立した評価を要する新たな判断です。平均が正でも、足内の未解決事例の割合と影響を報告します。

ウォークフォワードは、前の窓でパラメータを選び、次の窓で評価します。利用できるPardoの章の抜粋がこの構成を説明しています。^[1] 成績は各局所的な選択窓の外で得られます。しかし、全結果を見てから窓の長さや手順全体を選べば、評価にも適合させ得ます。判断履歴を記録し、そのような変更後は未使用の新しい最終検証を使います。

新たに入るデータの検証にはシャドー、デモ、実口座があります。シャドーはデータの利用可能性とシグナルを照合し、デモはデモ約定も含みます。実際のスリッページ、拒否、部分約定には実口座の注文記録が必要です。どの方式も執行だけでなく、ルールの挙動について前向きの情報を提供します。

第6段階。 運用開始後に書いた停止条件は、基準ではなく結果についての解説です。 第10節 で構成方法と統計的性質を説明します。ここでは、最初の注文前に存在するという形式要件で十分です。

監視では、標本サイズと期間を考慮し、同じ尺度を同じ単位で比較します。口座通貨の損益とpipsの損益は直接比較できません。報告を調査せず、この誤りの頻度や重要度の順位を主張するものではありません。

停止条件は手順の一部です。どの有限期間内でも必ず発動するわけではありません。成績を見て変更したら、新しい版として記録し、別に確認します。

各段階が使う履歴の量

この作業の順序の背後には、有限の資源である利用可能な価格履歴の消費があります。配分を数値で見るのは、予定した手順を実行できない唯一の理由になり得るからです。

学習窓を延ばすとデータは増えますが、遠い過去の市場環境も含み得るため、選択の改善は保証されません。結論は不確実性、効果の大きさ、時間変化に依存します。数十取引しかないことだけで、検証に情報がないとは言えません。

データの位置づけと執行方式

インサンプルは構築や選択に使った資料です。OOSはその判断に使わなかった資料であり、ウォークフォワードは局所的なOOS評価を順に行う特定の手順です。フォワードは版の固定後に入るデータで、シャドー、デモ、実口座の方式があります。実口座の結果は口座で実際に生じた損益です。これらの名称は別の軸を表し、組み合わせられます。フォワードが自動的に実約定を意味するわけではありません。

位置づけは常に特定の判断に対するものです。ある期間が旧版のOOSでも、その結果を見て変更した次の版では選択資料になり得ます。フォワードは時間順序を表すので、前向き観測も後の版の選択に使われ得ます。

執行方式は別の問いに答えます。シャドーは注文せずデータとシグナルを観察し、デモはデモ約定、実口座は実約定を供給します。1つの分類の段階ではありません。したがって、前向き期間、その版に対する役割、執行方式を同時に記せます。それぞれ異なる解釈上の不確実性を解消します。

データの役割と執行方式を分けて報告します。なければ、その数値が版の選択、独立評価、将来のシグナル、実際に生じた損益のどれを表すか限定できません。これら4つは互いに排他的な分類ではありません。

フォワード検証：実際に観測する事象は何か

どの報告にも日付、固定したルールの版、期間中の変更を記します。フォワードは時間順の検証、実口座は執行を表します。互換の名称ではありません。

6. 検証の落とし穴

落とし穴は異なる形で検証の信頼性を制限します。既知の実装での先読みなど、特定の誤りは除去し、再実行で修正を確認できます。将来の保証がないことは、検出したすべての誤りを部分的にしか軽減できないという意味ではありません。

多くの版を調べると、偶然有利な結果を選ぶ確率が上がります。最大値だけで見かけの結果だとは証明できません。検証したルール群と選択手順を考慮します。Whiteはデータスヌーピングを制御しつつ、最良成績と基準を比較する検定を説明しています。^[2]

Harvey、Liu、Zhuは、期待リターンのクロスセクション研究で検証された多数の関係を分析しています。^[4] そこでの有意性の閾値を個人向けFX検証へ移すものではありません。この資料は、多重検定に関する別の文献群を示しています。

反復利用が検証窓を消費する理由

OOSの成績をルールや手順の変更に使えば、その期間は新しい判断に対する独立検証ではなくなります。読み直すだけではデータ自体は変わりませんが、読んだ結果に基づく行動によって役割が変わります。

OOSの結果で修正すると、その期間は新版の選択の一部になります。Baileyらは、特定の選択手順における過剰適合の確率を説明しています。^[3] これは、どのような選択も将来についての全情報を無効にする、という意味ではありません。

使った窓を未見には戻せません。ただし、手順全体を固定し、新しい未使用データや別の外側の分割で評価することはできます。利用履歴から、その結果がまだOOSだった版を特定します。

表の範囲

各行は過大評価だけでなく、検証のさまざまな制約を示します。欠落の影響が両方向に働く場合もあります。契約上の仕様は別に確認します。その制約下でルールを実行できなければ、好成績でも問題は解決しません。第11章が条件を詳しく扱います。

ParkとIrwinのレビューは、テクニカル分析の収益性に関する研究を概観しています。^[5] ここでは、誤った結果の割合の算出や、大半のルールが失敗するとの主張に使いません。このレッスンの制約を示す根拠は明示的なモデル計算であり、未確認の文献一般論ではありません。

OOSデータを使ってルールを変えた後の新しい検証

版v 1は期間Bを使わず選択したので、その判断に対するBはOOSでした。Bを見てパラメータを変え、v 2になりました。Bは今度はv 2の選択に使われています。誤りの記録には引き続き使えますが、v 2の独立確認にはなりません。固定したv 2には、パラメータ、窓長、コストの選択に使っていない期間Cが必要です。v 1、v 2、判断日、各期間の役割を報告に残します。

7. 感応度の検証：コスト、パラメータ、期間

優位性の主張には、合理的な仮定の変更後も成績が残るかの確認が必要です。どの検証にもコスト、主要パラメータの値、選択した期間の3種の仮定があるため、3つの軸が欠かせません。以下では比較できるよう、同じ数値集合で3軸を調べます。

ルールの自由パラメータは、参照水準の計算窓の長さ1つです。10、15、20、25、30、40本を調べます。尺度はコスト0.60 pips控除後の、決済1取引当たりの平均pips損益です。AとBはエントリー条件の構成が異なります。この節の数値はすべて 説明用で、実際の検証から得たものではなく、集合の解釈方法を示すためだけに使います。

表は価格データを処理せず、平均と件数を仮定しています。したがって、実測の相違足の割合、約定記録、IS/OOSの位置づけはありません。これらの欄は 該当なし — 検証未実施であり、0%ではありません。実際の報告ではデータやモデルと併せて提示します。

検証未実施は誤りゼロを意味しません。相違足、拒否、先読み事例は、該当するイベント一覧がないので不明です。ゼロは完全な標本を所定の方法で確認した結果として初めて言えます。理由を添えた「該当なし」が、この説明例の作り方を正確に表します。

実際の比較には、価格の配信元と版、シグナルの定義、コスト、各期間の役割、平均を再現するイベント一覧が必要です。検証報告に似ているだけでは、そうした位置づけにはなりません。これらの値は感応度計算の入力であり、確認対象は計算であって、AやBの実測的な品質ではありません。

パラメータの軸

両方とも20本で最大です。大きい数値だけを選べばAになります。この集合の近傍と小期間の確認ではAの感応度が高いと分かりますが、Bの優位性が成立するわけではありません。

丸め前の加重平均を使う比率は、Aが1.733333/0.400028=4.3330、Bが0.509750/0.463442=1.0999です。表は丸め値を示します。近傍平均の計算には丸めた行ではなく、丸め前の両平均を使います。

Aのピークは孤立し、Bには近い結果の領域が広がります。これは感応度の診断であり、Aが見かけの結果、Bが安定した戦略だとの証明ではありません。隣接平均も同じ標本から得ており、取引を共有することが多いので、新たなOOSの代わりにはなりません。

図は数値のパラメータ軸を保ち、30から40の幅はそれ以前の隣接間隔より広くなっています。したがって領域の幅は、任意の列数でなく窓長を表します。点の高さも、丸めた行の転記でなく丸め前の加重平均を使います。

正の領域の広さは、この標本の感応度を記述するのに役立ちます。しかし、隣接ルールが同じ取引を使い得るので、多数の独立した確認ではありません。領域自体も結果を見て選べるため、その選択履歴には単独のピークと同じ精査が必要です。図の形状は、データ分割と不確実性評価の代わりにはなりません。

窓を長くすると取引数は減りますが、不確実性は分散と依存にも左右されます。Nの小さい行にも有用な情報があり得ます。分布がないので、ここでは信頼区間や選択の確実性を割り当てません。

コストの軸

以下の 固定した取引一覧 に一律の追加コストΔCを課せば、平均はちょうどΔC下がります。コストフィルターのないルールでも、一覧不変の保証はありません。変動スプレッドは発動を変え、約定や拒否はポジションと後続シグナルを変え得ます。完全な検証には、それらの再シミュレーションが必要です。

全平均の平行移動が有効なのは、一覧を固定し、各損益へ同じ追加コストを課す場合だけです。余裕は速く分かりますが、戦略の挙動変化は再構成しません。追加コストが時間帯、決済種別、保有期間に依存するなら、該当事象ごとに計算します。

スプレッドの変化も一覧固定の仮定を破り得ます。売りポジションではAskが先にストップを発動し、その決済によって1ポジション制限ルールの後続シグナルが変わる場合があります。その場合コストは最終合計の控除ではなく、判断順序の一部です。執行全体のストレス検証には、明示的な再実行が必要です。

追加0.60 pipsは説明用のストレスであり、シミュレーションと取引の典型的な差の測定値ではありません。一覧を固定すると両近傍平均が負になります。実際の報告で信頼できるストレス幅を置くには、データや根拠のある執行条件が必要です。

この集合のBは隣接パラメータへの感応度が低くても、コスト感応度は大きいと分かります。根拠のある追加コスト後もピークが正であるだけでは、優位性は成立しません。不確実性と選択外データも含む評価が必要です。

期間の軸

第3の軸では、重複しない2つの小期間でパラメータ全体の確認を別々に繰り返します。

最良パラメータの変化は期間依存を示します。ノイズ、環境変化、根拠のある適応のどれでもあり得ます。最大点の移動だけでは区別できません。

平均は取引数で加重します。20本のAは(110×3.20+100×0.12)/210=1.733333。Bは(105×0.60+95×0.41)/200=0.509750で、丸めると0.51です。6設定すべての正確な平均を、近傍とコストストレスの計算に使います。

Aの最大は第1小期間の20本から第2の40本へ移ります。20本では、第1が110×3.20=352 pips、第2が100×0.12=12で、合計364の96.7%が第1です。Bの最大は20から25へ移り、すべての平均が正を保ちます。2設定の差0.01は作成した数値の特徴であり、損益の分散がなければ意味の大きさは判断できません。

この集合のAはパラメータと期間への感応度が高く、Bの隣接結果は近くなっています。コスト上昇で両方とも悪化します。実測標本、損益分散、選択の検定がないので、どちらにも持続的な優位性を認定しません。

感応度検証の結果の使い方

パラメータ軸は近傍、コスト軸は特定の上乗せに対する余裕、期間軸は過去の成績の集中を表します。どれも追加確認なしに将来へ移せる数値を特定しません。

3評価が同じ方向なら結論は明快です。異なるなら決着をつけるルールはなく、あるように装っても役立ちません。ただし、小さく現実的な1仮定の変更で符号が逆転する結果は、当初の高さにかかわらず不安定だとは言えます。

平坦な近傍でも同じ標本を共有している場合がある

15本、20本、25本の版は多くの取引を共有し得ます。その場合、平均の類似は3つの独立確認になりません。頑健性を結論する前に、共通事象、小期間の結果、領域全体の選択履歴を確認します。近傍平均はこの標本の記述であり、新しいOOSの証拠ではありません。

8. 再現性の記録

説明だけを渡された人が同じ結果を得られるとき、検証は再現可能です。基準は厳密で中間段階はなく、説明で足りるか足りないかです。以下は、欠けると再現が止まる項目と、その場合に不明になる点です。

記録はデータ、ルール、執行方法を文書化します。他の報告での作成時間や欠落頻度を、調査なしに割り当てません。ツールの版、ファイルのチェックサム、判断一覧で、同じ実験を比較しているかを確認します。

損益曲線は軸と基準が明示されていれば、結果の経路や集中を示せます。ルール、データ、コスト、選択履歴の代わりにはなりません。図だけで検証を再現したり全制約を評価したりはできませんが、情報がないわけでもありません。

結果の再現のために固定するもの

記録と併せて、データとコードのSHA-256、ツールの版、パラメータ、タイムゾーンとUTCオフセット、該当するなら乱数シード、イベント一覧を保存します。出典確認日は、どのモデル文書を確認したかを示します。データやツールの変更後は、最終合計だけでなく、以前のマニフェストと取引一覧を照合します。

チェックサムはファイルのバイト変更を検出しますが、データ品質やコードの正しさは評価しません。同一ファイルでも誤りを共有し得ます。マニフェストは使用物を特定し、独立した人が調べ、名前の付いた版で修正後の実行を繰り返せるようにします。

乱数成分には、生成器のパラメータ、抽出方法、使用順序も必要です。ライブラリやモデルの変更後はシードだけでは足りない場合があります。ツールの版とイベント記録で、乱数列の変化とルールの変化を区別します。これは結果解釈のための情報で、環境設定の操作解説ではありません。

9. 質問を通じて他者の結果を評価する

他者の成績も自分と同じように評価しますが、欠けた情報を自分で補えない点が異なります。答えのない質問は評価の途中段階でなく、その評価の終点になります。

最初の質問前に2つの一覧を分けます。そうしなければ比較が長すぎて終わりません。結果自体に関する8質問、すなわち取引数、期間と銘柄、コスト、データ分割、検証版数、最大ドローダウン、最大取引への集中、リスクの負担者は 記事8.2の第13節で扱います。アルゴリズムの成績にもそのまま当てはまり、 ここでは繰り返しません。以下で扱うのは、実際の取引でなく過去の価格検証から数値を得たときに 追加される事項 だけです。各行は質問、必要な回答、回答がない意味、の順です。

最後の質問は失礼に感じられるかもしれず、検証手順自体を問わない唯一の質問です。他の10問が、自分の調査の帰結を負った人へのものか、他者の調査結果だけで影響を受ける人へのものかを明確にします。どちらも非難せず、確認の負担がどこにあるかを特定します。

2つの一覧の組み合わせ方

実務上の順序が大切です。まず次の 記事8.2の8問から始めます。短く、より多くの場合に判断がつくためです。件数、日付、分割がなければ、何を表すかが不明なので記録解像度の質問は役立ちません。この一覧を通る結果には上の11問が必要です。数値がルールを表すか、それを検証した手順を表すかを見極めます。

実注文の報告には実約定がありますが、アルゴリズムの版、シグナル源、ルール変更も必要です。足内の質問はシミュレーションに関するものですが、データ品質とシグナルの利用可能性は実執行でも重要です。履歴コストモデルを別の執行標本から推定することもできます。

執行はその約定価格の不確実性を解消しますが、なぜプログラムが注文したかは解消しません。当時利用できたデータ、ルールの版、シグナル記録が引き続き必要です。約定が正しく記録されても、実取引で配信停止や誤った足の境界は起こり得ます。

シミュレーションは過去の実約定から推定したスリッページを使う場合があります。その標本には固有の日付、銘柄、制約があります。新たなバックテスト約定を測るわけでも、分布が次期へ移る保証でもありません。検証全体をあらゆる実データの対立物とせず、各成分の由来を保存します。

回答の代わりに示され得るもの

別の資料が回答に代わる場合がありますが、同等ではありません。第一に損益曲線にはルール、コストモデル、分割がありません。第二に件数のない期間の長さです。2年が20取引にも2000取引にもなるため、同期間でも比較可能な観測数とは限りません。両方とも 記事8.2の一覧にありますが、一方を他方の代わりにされる場合があります。第三に、標本、期間、コスト、分割のない単独の総合指標です。それはルールだけでなく、欠けた量の関数でもあります。

正確な成績記録でも、将来判断への価値は限られ得ます。データの真実性と、検証の独立性、コスト範囲、選択履歴を区別します。成績による選択だけで見かけの結果とは証明できませんが、選択を考慮した検証が必要です。

自分の結果にも同じ質問をする

報告には、ルールを変えず結果を見ただけの時点も含め、判断日を残します。事後の再構成は同時点の記録より確かさが低いものの、記憶誤差の方向をあらかじめ決めつけません。

検証前に記録した分割は予定したデータ利用を示します。再構成は実際の分割を説明し得ますが、成績を見てから不変だったことは証明しません。版と判断の履歴が必要です。

10. 監視と事前に定めた停止基準

運用開始後は、ルールの挙動が検証版の範囲と一致するか観察します。差は無作為なばらつき、環境変化、データ・執行障害から生じ得ます。成績基準だけで原因を完全に特定できませんが、明示的なモデルで発報頻度と遅れを評価できます。

検証中の最悪観測の超過に基づく基準

一つの構成は、個別損益が検証の最小値より悪いときに警報を出します。以下で特定モデルの性質を計算しますが、この構成が一般的だと主張するものではありません。

この計算には設計上の意味があります。閾値だけでなく期間長との関係で定める必要があります。「検証の最悪より悪い」は100取引後と1000取引後で違います。第二の意味は次の 手順の第4段階に関係します。検証を長くすると誤報への感応度が下がり、その段階を短縮しない別の理由になります。

取引がないことに基づく基準

第二の構成は、本来生じるはずのシグナルが出ない、逆の状況を扱います。これは成績ではなく、設計した条件にルールが遭遇しているかに関する警告です。

文書化する停止基準に必要な内容

成績基準には尺度、単位、閾値、観測長、必要標本、警報後の対応を定めます。注文重複や必須データ欠損など、別の完全性障害には、最小取引数を待たず即時停止が必要な場合があります。

観測期間のない閾値は不完全です。1損益、直近窓の平均、過去最小値は異なる量です。窓長と必要Nで、どの事象が警報を生むかが決まります。複数確認には頻度と依存の考慮が必要で、単独の確認の割合が監視全体を自動的に表すわけではありません。

警報後の対応も指定します。停止、診断、再開には原因と監視した版が必要です。警報期間を使って修正した版は、以前の独立検証の位置づけを保てません。完全性障害は別であり、その検出に平均の統計評価を待つ必要はありません。

再開条件も再現可能にします。警報の原因を特定して修正し、新版を未使用データと指定したフォワード方式で評価します。修正を促した期間は診断用であり、新たな独立OOS検証ではありません。

基準が両方向に誤り得る理由

最初の計算のように、敏感な基準は機能しているルールを停止させます。鈍い基準は、判断に足る標本を集める間、環境が変わっても稼働を続けさせます。1つの損益系列に多くの分布が整合し、その区別には時間をかけて集める観測が必要なので、この両面のトレードオフが生じます。 記事8.2 は、指定した差を検出するための標本を扱います。

成績基準は頻繁な発報と反応の遅れのバランスを選びます。性質は明示的なモデルや前向き観測で評価できます。結果から局面を確実に特定することはできませんが、有用な診断は可能です。

確認を増やすと警報の確率も上がる

一様ポアソンモデルで、事前に選んだ1つの60セッション窓の無信号確率はq=exp(−60/21)=5.74%です。 重複しない12個の 窓がこのモデルで独立なら、少なくとも1つが空になる確率は1−(1−q)¹²=50.82%です。重複する移動窓のモデルではありません。再計算せず、1回の確認の閾値を年間誤報率とは呼べません。

重複しない12窓が特定の確認集合を定義します。ポアソン件数が独立なので、空窓がない確率を掛け合わせて1から引けます。この仮定は式に属し、観測するすべての戦略に当てはまるわけではありません。

移動窓の確認は多くのセッションを共有します。結果は依存し、長い空白を反復して警告する場合があります。頻度には別の計算か手順全体の明示的シミュレーションが必要です。短い標本からの強度推定も不確実性を加えます。例では21セッションに1取引を所与のパラメータとし、測定した優位性とは扱いません。

11. この記事では確認できないこと

手順の範囲を明確にします。以下の各制約は、導ける結論を変えるためです。

手順を終えても優位性は成立しない

手順は指定したデータとコストの下で、検証版に関する証拠を提供します。持続する優位性を保証しません。不確実性を評価した良好なOOS成績が優位性を支える場合はありますが、選択も検証も、事前に成功や見かけの結果を確定しません。

これは哲学的でなく実務的な区別です。「手順を完了した」は確認し記せます。「優位性がある」にはさらに、構築外データでの全コスト控除後の期待値と不確実性推定が必要です。これは 記事8.2の範囲であり、この記事では扱いません。

ここでの数値はすべて仮定

検証は行っていません。240シグナル、400取引、46相違事例、2版の6パラメータ値、シグナル間の21セッションは、計算と規模を示すだけです。自分の入力値なら全結果が変わり、符号が変わる場合もあります。どれかを推定値と扱えば、明記した位置づけに反します。

検証する価値のあるルールを探す

案とシグナルの構成は第5章と記事8.7で扱います。検証の診断は次の仮説に役立ち得ますが、よりよい案を保証しません。検証結果を使う修正はすべて選択履歴を延ばします。

執行はここでは入力であり、主題ではない

スリッページ、拒否、部分約定は、出典を必要とする数値としてコストモデルに入ります。その出典に関する取引条件や比較は 第11章、プログラムの環境、設定、技術要件は 第12章の範囲です。どちらもここでは説明せず、上の内容から推定することもできません。

ポジションサイズとポートフォリオのリスク尺度は計算の範囲外

仮定した線形コストモデルではpips損益は数量と独立です。最低手数料や異なる約定条件では成り立たない場合があります。サイズと資産経路の尺度は第9章で扱います。

停止後の行動は別の章で扱う

停止基準は、モデル化した性質を持つ手順要素として扱いました。運用前に定義し、後の変更を記録します。不利な結果への人の反応は第10章の範囲です。

12. 理解度確認の演習と次のステップ

入力を変えて3つの計算を繰り返し、他者の報告の欠落を特定します。データと解答例を以下に示します。

次に手順を適用する

まずルール、データ、モデルを文書化し、その後実装の一致を確認して計算します。1時間で終わる、大半の報告に特定数の欠落がある、といった仮定は置きません。

足内事例の割合と影響、パラメータの近傍、コスト感応度を診断します。最初にはシミュレーションの事象、次には追加設定が必要で、完全なコストストレスには再シミュレーションが必要な場合があります。1実行から全情報を得られるわけではありません。

この記事の範囲外ですが、実行可能性を先に決めがちな別の問いがあります。この作業方法が、使える時間や生活条件に収まるかです。自動化は負担をなくすのでなく、市場観察から構築と監督へ移すため、見た目ほど多くを変えません。 第10節の 監視は継続的な仕事として残ります。 記事8.10はこの章の最後のレッスンで、個人の制約では実行できない方法を除外します。