本記事は以下の書籍を参考にしています↓
本記事の概要
1, 主成分分析とは
主成分分析（しゅせいぶんぶんせき、PCA）は、多変量データセットの次元を減らし、データの重要なパターンや構造を明らかにするための手法です。基本的には、元の変数を新しい「主成分」と呼ばれる変数に変換します。
PCAは、機械学習、統計分析、データマイニングなどの分野で広く利用され、データの理解と解析をより効率的に行うための強力な手法です。
主成分分析の目的は？
主成分分析（PCA）の目的はいくつかあります。主な目的を以下に示します。
次元削減: 高次元データをより少ない次元に変換し、計算負荷を軽減しながらデータの可視化や分析をしやすくします。
データの可視化: 高次元データを2次元または3次元に変換し、パターンやクラスタを視覚的に識別しやすくします。
ノイズ削減: データセット内のノイズを減らし、信号を強調してデータの品質を向上させます。
特徴抽出: 重要な変数やパターンを特定し、機械学習モデルの性能を向上させます。
データ構造の理解: データの構造や関係性を明らかにし、洞察を得るために使用されます。
2, 主成分分析の手順とは
PCAの主なステップは以下の通りです。
- データの標準化: 各変数が同じ尺度で測定されるように標準化します。
- 共分散行列の計算: データの分散と変数間の共分散を含む行列を作成します。
- 固有ベクトルと固有値の計算: 共分散行列の固有ベクトルと固有値を計算し、データの方向性と重要度を評価します。
- 主成分の選択: 最大の固有値に対応する固有ベクトルを選び、新しい座標系を形成します。
- データの変換: 元のデータを新しい主成分軸に投影して、新しいデータセットを作成します。
これにより、元のデータセットの次元を減らし、重要な情報を保持したままデータをより簡潔に表現できます。PCAは、データの可視化、ノイズの低減、および機械学習モデルの前処理など、さまざまな分野で役立ちます。
３，主成分分析と固有値・固有ベクトルの関係
主成分分析において、固有値と固有ベクトルは重要な役割を果たします。具体的には以下のようになります。
固有値
固有値は、データの変動の大きさを示します。各主成分に関連する固有値が大きいほど、その主成分はデータの変動をより多く説明します。
役割としては、PCAでは、最初のいくつかの固有値が最も大きい主成分を選び出すことで、次元削減を行います。固有値が小さい主成分は無視されることが多いです。
固有ベクトル
固有ベクトルは、主成分の方向を示します。各固有ベクトルは新しい次元軸を形成し、データをこの新しい座標系に変換します。
役割としては、データをこれらの固有ベクトルに投影することで、元のデータを新しい主成分に沿った形で再構成します。このプロセスにより、データの次元が削減され、重要な構造やパターンが強調されます。
４，主成分分析の解釈のポイントは？
主成分分析（PCA）の解釈は、得られた主成分とその固有値、固有ベクトルを通じてデータの構造やパターンを理解することを目指します。以下はPCA結果の解釈のポイントです。
固有値
各主成分に対応する固有値は、その主成分がデータの総変動のどれだけの割合を説明しているかを示します。例えば、最初の主成分が大きな固有値を持つ場合、それはデータの大部分の変動を説明します。
寄与率
寄与率は、各主成分の固有値を全固有値の合計で割った値です。各主成分がデータの総分散（変動）に対してどれだけ寄与しているかを示します。どの主成分がデータのパターンを強く反映しているかを評価するために使用されます。
累積固有値
固有値の累積割合を計算し、少数の主成分がどれだけのデータの総変動を説明できるかを評価します。累積割合が80%や90%以上であれば、元の高次元データのほとんどを少数の主成分で表現できることを意味します。
累積寄与率
最初の数個の主成分がデータの総分散に対してどれだけ寄与しているかを累積的に示します。最初の主成分から順に寄与率を足し合わせたものです。次元削減の際に、どれだけの情報を保持できるかを評価します。一般に、累積寄与率が80%や90%以上であれば、次元削減後のデータが元データのほとんどの情報を保持していると考えられます。
因子負荷量（主成分負荷量）
各元の変数が主成分にどれだけ強く関連しているかを示す値です。各変数の主成分上の係数（固有ベクトルの要素）です。主成分がどの変数に強く影響されているかを理解し、それによってデータのパターンを解釈するために使用されます。
5, 主成分分析とクラスター分析を組み合わせて分析する
主成分分析とクラスタ分析を組み合わせることは非常に一般的で、データの次元を減らした後にクラスタリングを行うことで、データのパターンをより明確に理解できます。
主成分分析を使ってデータの次元を減らし、クラスタリングを行うことで、データのパターンをより明確に視覚化することができます。
6, 因子分析と主成分分析
因子分析（FA）と主成分分析はどちらも多変量データを扱うための統計手法ですが、目的や方法にいくつかの違いがあります。
主成分分析（PCA）は、データの次元を減らし、データセット内の主要なパターンや構造を抽出することを目的としています。PCAは、データの分散を最大化する方向に新しい変数（主成分）を生成します。
因子分析（FA）は観測データの背後にある潜在変数（因子）を特定し、これらが観測データにどのように影響を与えているかを理解することを目的としています。FAはデータ内の共分散構造に焦点を当て、潜在因子と観測変数との関係をモデル化します。
方法
主成分分析（PCA）はデータの分散を最大限に説明する方向（主成分）を見つけるために、共分散行列の固有ベクトルと固有値を使用します。
主成分は、元のデータの線形結合として表現され、次元削減やデータの可視化に使用されます。
因子分析（FA）は観測データを説明するために潜在因子と誤差項を仮定し、これらの因子がデータにどのように寄与するかをモデル化します。
因子負荷量行列を推定し、各変数がどの因子に強く影響されているかを明らかにします。共分散行列や相関行列を基にして、潜在因子を特定します。
結果の解釈
PCA: 主成分（PC）の寄与率や累積寄与率を用いて、データの総分散をどれだけ説明しているかを評価します。主成分はデータの再構成に使用されます。
FA: 因子負荷量を用いて、各因子が観測変数にどれだけ影響しているかを評価します。因子はデータの背後にある潜在構造を理解するために使用されます。
例
例えば、アンケートデータに対してPCAを適用すると、回答のバリエーションを説明する主要なパターンを抽出できます。一方、FAを適用すると、回答に影響を与えている潜在的な心理的要因を特定することができます。
主成分分析と特異値分解
主成分分析と特異値分解（SVD）は、多変量データの解析においてよく使用される数学的手法ですが、それぞれ異なる目的と特徴を持っています。
PCAは、多次元データの次元を減らして重要なパターンを見つけるための手法です。データの分散を最大化する方向（主成分）を見つけるために、共分散行列の固有ベクトルと固有値を使用します。PCAの主な目的は、データの次元を削減し、重要な情報を保持しながらデータを簡略化することです。
特異値分解は、任意の行列を3つの行列の積に分解する手法です。具体的には、行列 A を以下のように分解します。
A=UΣVTA = U Σ V^T
ここで、
- U は左特異ベクトルを含む行列
- Σは特異値（対角行列）
- V は右特異ベクトルを含む行列
SVDは、線形代数において非常に強力なツールであり、行列のランク、画像圧縮、ノイズ除去などに使用されます。SVDはデータの次元削減にも使用されますが、PCAとは異なり、データの分散に基づいて主成分を選ぶのではなく、特異値に基づいてデータを分解します。
PCAとSVDの関係
実際、PCAとSVDは密接に関連しています。具体的には、PCAを実行するためには、データ行列の共分散行列を計算し、その後SVDを適用することが多いです。PCAで得られる主成分は、SVDの右特異ベクトル（V）に対応しています。
８，主成分分析やり方
１，主成分分析をエクセルでやってみる
２，主成分分析をPythonでやってみる
3，主成分分析をRでやってみる
4，主成分分析をmatlabでやってみる
５，主成分分析とクラスタリング
6, 主成分分析と特異値分解
この先は会員限定になります。
会員の方はログインをお願いいたします。
登録がまだの方は、会員登録をお願いします。
>>> 会員登録はこちら
こちら無料で読めます↓
『「主成分分析」を学びたいあなたにチェックしてほしい良書、１２冊はこちらです』
