Table of Contents
ドル円短期期待値予測モデルに、Deep Reinforcement Learning（深層強化学習）を適用できないか検討してみた。
結論から言うと、
深層強化学習が教師あり学習を大きく上回る可能性は低く、かなり薄いエッジをさらに掘り起こすことも容易ではない。
現在のモデル
現在のモデルは、
- ドル円 秒足
- 特徴量73個
- ニューラルネットワーク（MLP）
- 出力は期待利益（Expected Pips）
という回帰モデルである。
State（73特徴量） ↓Neural Network ↓Expected Pips予測値が閾値を超えたときのみエントリーし、
- TP
- SL
- 日次Close
のいずれかで決済する。
DQN（Deep Q-Network）では何を学習するのか
DQN（Deep Q-Network）は、ニューラルネットワークを用いて各行動の価値（Q値）を学習する代表的な深層強化学習アルゴリズムである。
学習の流れは次のようになる。
現在のState ↓Neural Network ↓Q(Stay) Q(Entry) Q(BE) Q(Exit) ↓価値が最も高い行動を選択 ↓報酬（Reward） ↓次のState ↓Q値を更新ここで学習するQ値とは、
その状態である行動を選択したときに、将来得られる累積利益の期待値
である。
例えば、
Q(Stay)=5.5Q(Entry)=4.0Q(BE)=3.2Q(Exit)=1.8であれば、
「今エントリーするよりも、今回は見送り（Stay）を選択した方が将来的な利益が大きい」
と判断する。
逆に、
Q(Stay)=2.0Q(Entry)=5.8であれば、
「今エントリーした方が期待利益は大きい」
という判断になる。
このようにDQNは、トレードを繰り返しながらQ値を更新し、将来的な利益が最大となる行動を学習していく。
教師あり学習のように正解ラベルを直接学習するのではなく、
試行錯誤を繰り返しながら、将来利益が最大となる意思決定を学習するアルゴリズムである。
この問題でRLが難しい理由
① Stayが大半でEntryが極端に少ない
この戦略では、エントリーすべき場面はごく一部しか存在しない。
Stay : ほとんどEntry : ごく一部そのため、学習データの大半はStayとなり、Entryから得られる報酬が極めて少ない。
つまり、
学習したい行動そのものが希少である。
② Entryを増やすと期待値が悪化する
RLの学習効率を上げるにはEntry回数を増やしたくなる。
しかし閾値を下げると、
- スプレッド
- スリッページ
- 手数料
などの取引コストの影響が大きくなり、収益性は悪化しやすい。
つまり、
RLのためにEntryを増やすこと自体が、実運用では望ましくない。
③ 現在のStateだけでは未来構造は分からない
RLでは、
「待てばもっと良いエントリーが来るか」
を判断する必要がある。
しかし利用できる情報は現在の73特徴量だけであり、
将来Expected Pipsがどのように変化するかまでは観測できない。
そのため、
Q(Stay)を高精度に学習することが難しい。
④ 市場は行動で変化しない
ゲームでは
Action ↓世界が変わる ↓次のStateですが、
FXでは
Action ↓市場は変わらない ↓次のStateです。
つまり、RLが本来活用する「自分の行動が未来の状態を変える」という構造がほぼありません。
ゲームやロボット制御では、行動によって環境が変化する。
一方FXでは、
自分がBuyしても市場価格は変わらない。
つまり、RLが得意とする
- 状態遷移の制御
- 長期戦略の最適化
という構造がほとんど存在しない。
⑤ 学習データが不足しやすい
深層強化学習では、一般的に大量の試行錯誤が必要になる。何十万から何百万のオーダーだ。
しかしFXでは、数年分のデータを用いても、利益につながるEntryシグナル数は限られている。
そのため、
強化学習が十分に学習できるほどの有効な報酬サンプルを集めることは容易ではない。
教師あり学習との違い
教師あり学習では、
特徴量 ↓Expected Pipsを直接学習する。
一方RLでは、
特徴量 ↓Q値 ↓将来価値 ↓Expected Pips相当という段階を経て学習する。
つまり、
同じ薄いエッジを見つけるにも、RLの方がより複雑で難しい問題を解くことになる。
RLが向いているケースは？
これはRLそのものが使えないという意味ではない。
例えば、
- ポジションサイズを動的に変更する
- 利確・損切りを状況に応じて変更する
- 複数ポジションを管理する
といった逐次的な意思決定では、RLが有効になる可能性がある。
しかし実際には、Hold・BE・Exitのサンプル数も限られるため、十分な学習信号を得ることは容易ではない。
結論
今回のドル円Buyシグナル推論では、
- Stayが圧倒的に多くEntryが希少
- Entryを増やすと取引コストで期待値が悪化する
- 現在のStateだけでは未来構造を観測できない
- 市場は自分の行動で変化しない
- 強化学習に十分な報酬サンプルを得にくい
という特徴がある。
つまりRLは、新しい情報を利用できるわけではなく、現在のStateだけから、より難しい「将来の累積価値」を推定する問題になる。
一方、現在の戦略で必要なのは、
State ↓Expected Pipsという期待利益の予測である。
この問題設定では、教師あり学習でExpected Pipsを直接回帰する方が、目的に対して最もシンプルで合理的なアプローチだと考えている。