79yuuki/dotfiles/strategy-validation-gate

Strategy Validation Gate

単一のバックテストで勝った戦略は本番投入しない。bot は検証ゲートを通過した小さな仮説だけを段階的に昇格させる。

使うタイミング

• 戦略を paper/live に進める前
• バックテスト結果のレビュー時
• 既存botの検証不足を埋める時
• 本番投入済み戦略の回帰検証を追加する時

この skill は合否判定を目的にする。研究そのものが未整理なら先に quant-research-workflow を使う。

ゲート

1. 仕様ゲート

• エントリー、エグジット、注文種別、手数料、スリッページ、タイムアウトを明文化する
• 期待する市場状態と、負ける市場状態を書く
• 利益目標より先に停止条件を書く

1. データゲート

• データソース、タイムゾーン、欠損、重複、銘柄入れ替え、上場廃止を確認する
• OHLCV だけで足りない戦略は、板、約定、funding、OI、イベントデータを分けて扱う
• 未来データ、確定後ファンダメンタル、確定後ランキングを禁止する

1. バックテストゲート

• 手数料、スプレッド、滑り、約定失敗を入れる
• リターン、最大DD、Sharpe/Sortino、勝率、平均利益/損失、テール損失を見る
• 銘柄別、時間帯別、レジーム別、月別に分解する

1. ウォークフォワードゲート

• 学習/検証期間を複数に分け、未知期間で再現するか確認する
• パラメータが一箇所だけで効いていないか、近傍でも崩れないかを見る
• 合格基準は事前に決め、後から都合よく変えない

1. リプレイ/ドライランゲート

• 実注文は出さず、本番と同じデータ経路、同じスケジューラ、同じログで動かす
• 注文予定、約定想定、残高、PnL、エラー復帰を記録する
• 取引所メンテ、API制限、部分約定、拒否、再接続を疑似的に入れる

1. Go Live ゲート

• 最小ロット、最大損失、日次停止、異常時停止、手動停止手順を設定する
• 初期投入は実験であり、勝てたら増額ではなく「想定通り負けられたか」を確認する
• 本番後の差分分析で、バックテストとの差を毎日確認する

必須ブロッカー

以下が一つでもあれば Go Live は fail にする。

• 未来データ/リークの疑いを排除できていない
• 手数料、スプレッド、スリッページが入っていない
• 最大損失、停止条件、手動停止手順がない
• 約定失敗、部分約定、API障害時の挙動が未定義
• 検証期間が一つだけで、未知期間の再現性がない
• 本番と違うデータ経路/注文経路だけで検証している

レポート形式

最後に必ず次のいずれかを明記する。

• APPROVED_FOR_NEXT_GATE
• APPROVED_WITH_LIMITS
• BLOCKED

合格の考え方

• きれいな損益曲線より、壊れ方が理解できていることを重視する
• 本番投入される戦略は候補全体の一部でよい
• 検証を通らない戦略を改善するより、捨てる判断も含めて探索速度を上げる
• APPROVED_WITH_LIMITS の場合は、投入サイズ、期間、停止条件を必ず書く

Factor and regime validation add-ons

• Momentum / factor 系は、公開ファクター名を見つけただけでは pass にしない。tradable universe、リバランス頻度、売買コスト、欠損/上場廃止、構成銘柄入替、税/借株制約まで確認する。
• 検証は「全期間で勝つか」だけでなく、レジーム別・ボラティリティ分位別・流動性分位別・イベント期別に分解する。
• 高ボラ局面を採用する戦略は、平均利益だけでなく平均損失、スプレッド、スリッページ、約定失敗率が同時に悪化しないかを gate に入れる。
• AI生成の投資仮説は strategy hypothesis として扱い、コード・データ・ログで再現できるまでは Go Live 判定に使わない。