Table of Contents
Denseな予測モデルという考え方
機械学習のモデル設計には、大きく分けて Sparse（少数精鋭） と Dense（弱いシグナルの積み上げ） の考え方がある。
Sparseは少数の特徴量だけを利用する考え方であり、Denseは多数の特徴量を活用する考え方である。
Sparseなアプローチ
Sparseなモデルでは、
- 重要な特徴量は少数である
- 不要な特徴量は削除した方がよい
- モデルはシンプルであるべき
という前提を置く。
代表例はLasso（L1正則化）である。
Lassoは重要でない特徴量の係数をゼロにし、少数の特徴量だけを残そうとする。
つまり、
少ない特徴量で一般化を目指す
アプローチである。
金融市場では強い特徴量が見つかりにくい
短期の金融予測では、単独で高い予測力を持つ特徴量はほとんど存在しない。
例えば、
- RSI
- モメンタム
- ボラティリティ
- 高値・安値との距離
- ローリング統計量
などは、それぞれわずかな情報しか持たない。
説明力は小さく、ノイズも多い。
しかし完全なノイズではなく、微弱な予測情報を含んでいる場合がある。
弱いシグナルを集める
金融市場では、
少数の強いシグナル
よりも、
多数の弱いシグナル
が存在していると考える方が自然かもしれない。
個々の特徴量は予測力が小さくても、複数を組み合わせることで予測力が生まれる。
重要なのは一つ一つの特徴量ではなく、全体として現れるわずかな偏りである。
Denseなアプローチ
Denseなモデルでは、
- 特徴量を積極的に削らない
- 弱いシグナルも保持する
- 集合的な予測力を利用する
ことを重視する。
個々の特徴量の寄与は小さくても、全体では意味のあるシグナルになる可能性がある。
つまり、
多数の特徴量を利用して一般化を目指す
アプローチである。
金融市場のような低S/N比の問題とは相性が良い。
Ridgeとニューラルネット
Denseなモデリングでは、L1正則化よりもL2正則化が使われることが多い。
Ridge回帰は係数をゼロにせず、全体を縮小することで多数の特徴量を活用する。
ニューラルネットでも同様に、L2正則化（Weight Decay）がよく利用される。
L2正則化は弱いシグナルを保持したまま、過学習を抑える働きを持つ。
考え方を単純化すると、
- L1：不要な特徴量を消す
- L2：すべて残したまま弱める
という違いになる。
まとめ
金融市場では、強力な予測変数を少数見つけるよりも、
多数の弱いシグナルを統合する
方が現実に近い場合がある。
Denseなモデルは、個々の特徴量の強さではなく、集合として現れるわずかな優位性を利用するアプローチである。
市場が無数の小さな要因によって動いていると考えるなら、Denseな発想は自然な選択肢の一つと言える。