教師なしクラスタリングで特徴量を検証した

これまで、Feature ImportanceやSHAPを用いて、どの特徴量がドル円のExpected Pipsの予測に寄与しているかを分析してきました。

今回は、ラベルを一切使用しない教師なし学習で、73個の特徴量そのものの妥当性を検証しました。

まず、学習・推論で使用している73個の特徴量をUMAPで10次元へ圧縮します。UMAPは、高次元データの近い関係を保ったまま低次元へ変換する次元圧縮手法です。

続いて、圧縮後の特徴量をHDBSCANでクラスタリングします。HDBSCANは、データの密度に基づいて似たサンプルを自動的にグループ化する教師なし学習アルゴリズムです。

73特徴量（ドル円のある時点の状態）
    ↓
UMAP（10次元へ圧縮）
    ↓
HDBSCAN（クラスタリング）
    ↓
61個のクラスタ

生成された61個のクラスタごとにExpected Pipsを集計すると、上位3クラスタはいずれも平均3pips以上の期待値を示しました。一方、それ以外のクラスタは3pips以下から-4.5pips付近に分布し、明確なエッジは見られませんでした。

重要なのは、このクラスタリングにはExpected Pipsを一切使用していないことです。つまり、73個の特徴量だけから、高期待値となる相場状態が自然にまとまっていたことになります。

高期待値クラスタでは、SecsSinceHigh、SecsSinceLow、RangePosition、HigherLowStreakなどの特徴量に明確な偏りが見られました。

また、以前のSHAP分析とは重要な特徴量が一部異なりました。これは、SHAPが「予測に寄与した特徴量」を示すのに対し、今回の分析は「相場状態を特徴づける特徴量」を捉えているためと考えられます。

もし特徴量がランダムで意味を持たないのであれば、高期待値のクラスタは形成されず、クラスタごとの特徴量にも偏りは現れないはずです。

今回の結果から、現行の73個の特徴量は相場状態を自然に分類でき、その中に高期待値となる相場状態が含まれていることが確認できました。つまり、これらの特徴量が相場の構造を適切に表現できていることを示す結果となりました。