いろんな本の主成分分析を読んでいた - Unstructured False Memory Syndrome

はじめに

主成分分析についてちゃんとやらんとなと思い立ったので、手元にある本の主成分分析に関わる記述について読んでいた。

文意を正確に解釈できる頭はないので、変換がかかっているとは思うがせっかくなのでメモする

なるほど感。相関（線形の関係性）が強いものだけをまとめているという表現が分かりやすい

滋賀大学のDS学部のやつ

主成分分析については本当に概念だけで、似ているものをまとめる軸を作成する　という感じの表現

これは普通に教科書なので導出（スカラーで展開できるものはしてあってウっとならない）もあってよい

流れ的には * 主成分は各特長量に重みづけして足したものです * 主成分分析とは、主成分に畳み込む前の元の観測変数をデータのばらつく方向に軸を回転させること * 分散が大きい = 情報を損なわない

というスタートから、

主成分の分散はこう書ける
主成分分析の前処理として観測変数が標準化してあるなら、分散はこう書ける
- この標準化の前提でだいぶ楽になる
- 実際の解析でもStandardScalerなりで標準化することが多いと思うので良い実態にも合う
主成分の重みづけにおいて大切なのは大きさではなく比率、なので制約条件を付けます
制約条件下の最大化ならラグランジュの未定乗数法
そのまま解いてもいいが、固有値問題として解いた方が拡張できてよい
固有値と分散の関係、制約条件を考えると分散＝固有値となる
固有値問題を解く、固有値計算→固有ベクトル計算
固有値の大きいものから第一主成分、その時の固有ベクトルの各成分が観測変数に対する重みになる

数学クソ雑魚なので成分表記助かるな...。最後まで意味を追いながら読めたので良かった。

こちらはカバー範囲が広いのでPCAについての説明はちょろっとという感じ。今回気になっていたことを調べるには用途が違う

これもPCAそのものの情報は触れる程度、ただし、独立成分分析やその他の手法が紹介されていたのでその点は良かった

これも教科書なので詳しく書いてある。こちらは3変数での導出なので入門統計学を読んでから読むとよさそう

流れは基本的に変わらないが、例題があるのが良い。また第二主成分については第一主成分との相関が0であることより導出してあり、気になるところをやっている感じがする。

ただし、3変数なので導出がちょっと大変

表記が難しい...ほかの教科書を読んでいれば変数の対応はわかるけど、いきなりこれ読むと結構厳しい感じがする。

結構古めの文献で、印刷が明らかに古いのもありビビってたけどわかりやすかった。

もちろんそれまで読んだ本のおかげで理解できた点もあるが、ベクトルを使いつつ、簡単な例から始まったので良かった。

なんとなくわかった