Table of Contents
Train・Validation・Liveの性能を整理する
現在のモデルでは、1トレードあたりの理論上限は 11 pips/trade となる。
- TP（Take Profit）：平均 11 pips
- SL（Stop Loss）：平均 6 pips
なお、本記事で掲載している損益（pips）は、すべてリアルのAsk/Bid価格で計算しているため、スプレッドを含んだ数値である。
Train
学習データでは、
- Avg 10 pips/trade
まで到達している。
これは理論最大11pipsに対して約91%であり、学習データに対しては十分に学習しきった状態と考えている。
Validation/Forward
未知データで評価すると結果は次のようになる。
- 単体モデル：2〜3 pips/trade
- 20モデルアンサンブル：約4 pips/trade
単体ではTrainの20〜30%程度、アンサンブルでも約40%程度で頭打ちとなる。
モデル数をさらに増やしたり、学習Epochを増やしても改善は非常に小さく、Forward性能は4pips/trade付近で飽和している。
Live運用
直近ライブ運用の8週の集計では、
- Avg 2.89 pips/trade
となっている。
Validationからは少し劣化するものの、実運用としては十分なプラスの結果となっている。
- Expectancy = 0.47R/trade
ExpectancyをR単位で評価すると、0.3～0.5R/tradeは実運用システムとして高い水準と考えられ、0.47R/tradeは十分に競争力のある結果と言える。
これは、1回のトレードごとに平均して初期リスク（1R）の約47%を利益として回収していることを意味する。
全体の性能比率
現在の結果を整理すると、次のようになる。
| データ | Avg pips/trade | 理論最大比 | Train比 | Validation比 |
|---|---|---|---|---|
| 理論最大 | 11.00 | - | - | - |
| Train | 10.00 | 90.9% | - | - |
| Validation | 4.00 | 36.4% | 40.0% | - |
| Live | 2.89 | 26.3% | 28.9% | 72.3% |
つまり、
- Trainは理論最大の約91%
- Validationは理論最大の約36%
- Liveは理論最大の約26%
となる。
一方で、
- LiveはValidationの約72%を維持
しており、未知データで確認できたエッジの大部分は実運用でも再現できている。
なぜForwardでは約40%で飽和するのか
Trainでは理論値近くまで学習できても、未知データでは同じ性能にはならない。
これはモデル性能というより、市場そのものが持つ不確実性によるものだと考えている。
代表的な要因として、
- 観測できない情報
- ニュース
- 注文フロー
- 大口参加者の売買
- レジーム変化
- 市場構造が時間とともに変化する
- ラベル自体の確率性
- 同じチャート形状でも結果が異なる
- 有限サンプルによる偶然性
- 学習期間にしか存在しなかったパターン
などがある。
これらは学習データの範囲だけでは完全に観測できないため、どれだけモデルを複雑にしても完全には取り除くことができない。
この比率が現在のベースライン
私は現在の
- Train：約91%
- Validation：約36%
- Live：約26%
という比率そのものが、このシステムのベースラインだと考えている。
今後、改良を加えたとしても、それは数%から十数%程度の積み重ねになる可能性が高い。
Validationが4pips/tradeから、6~8pips/tradeへ大きく飛躍するようなことは、現実的ではないだろう。
もちろん、この性能が将来も維持される保証はない。市場環境の変化によって、時間とともに徐々に劣化していく可能性もある。
それでも十分戦える
金融市場では、未知データに対して安定したプラスの期待値を維持し続けること自体が非常に難しい。
特に短期FXでは、スプレッドやスリッページなどの取引コストを差し引いた後でも利益を残さなければならず、期待値を維持するハードルはさらに高くなる。
現在のシステムでは、
- Validation：4.0 pips/trade
- Live：2.89 pips/trade
という結果を継続しており、未知データによる検証と実運用の両方で、プラスの期待値を維持できている。
このあたりが現実的な性能の上限だったとしても、不思議ではないだろう。
しかしながら、この性能であれば十分に市場で勝負できると考えている。