予測と正解の残差を分析してみた

現在運用中のドル円短期トレードの期待値スコア予測モデルについて、予測値（Pred）と実績値（True）の差を確認するため、残差分析を行いました。

残差とは

残差（Residual）は、予測値と実績値の差です。

Residual = Pred - True

Predは、モデルが出力した期待値スコアです。

Trueは、実績側の平均獲得pips（avg pips / trade相当）の値になります。

残差を見ることで、モデルがどのような条件で外れやすいか、また誤差に偏りがないかを確認できます。

残差の分布

ある１つのモデルで、全体の残差統計を確認しました。

Residual Mean : -0.010
Residual Std  :  0.073
Residual MAE  :  0.055

残差平均はややマイナスですが、大きな偏りはありません。

次に、期待値スコア（Pred）をビン分割し、それぞれの残差を確認しました。

StdResは各Pred帯における残差の標準偏差です。

結果を見ると、

StdRes ≒ 0.06〜0.07

の範囲に収まっており、低い期待値スコアから高い期待値スコアまで、残差のばらつきはほぼ一定でした。

特定のスコア帯だけ誤差が大きくなる、または高スコア領域だけ不安定になるような傾向はありません。

これは、モデルが予測レンジ全体で安定した誤差特性を持っていることを示しています。

期待値スコアによる順位付け確認

次に、PredとTrueの関係を確認しました。

期待値スコアが高くなるにつれて、実績値（True）も高くなる傾向が確認できました。

つまり、

Predが高い
↓
実績期待値も高い

という順位付け能力が維持されています。

トレードモデルでは、予測値そのものの誤差を小さくすることだけが目的ではありません。 Predが一定の閾値以上となる局面では、過去データ上で平均獲得pips（期待値）が高くなっていること が重要です。

まとめ

1. 残差のばらつきは全体で安定している

Predの低い領域から高い領域まで、残差の標準偏差はほぼ一定でした。

特定のスコア帯だけ予測誤差が増えるような問題は見られず、モデルは安定した誤差特性を持っています。

2. 期待値スコアは順位付け指標として機能している

Predが高い領域ほどTrueも高くなる傾向が確認できました。

Weighted Lossによって予測スコアの順位付けを重視した学習を行っていますが、その目的に沿った結果になっています。

今後の残差分析

残差分析は、他の条件で分割することで、モデルの弱点をさらに調べることができます。

例えば、

• 時間帯別

  • 東京時間、ロンドン時間、ニューヨーク時間などで誤差の偏りがないか

• トレンド別

  • 上昇相場、下降相場、レンジ相場で予測精度に差がないか

• 特徴量別

  • 特定の価格変化やボラティリティ条件で残差が大きくならないか

などを確認することで、モデルが苦手とするエリアを発見できます。

今回の結果では、少なくともPredスコア順において大きな偏りは確認されませんでした。