主成分个数的选取原则

Question

如题所述

Answer 1

主成分个数的选取原则首先需要计算各主成分的方差，再求出各自对应的方差贡献率（即对应主成分方差除以总方差）， 根据累积贡献率的大小取前面m 个(m<p)主成分，p代表所有的主成分。

主成分分析是最常用的线性降维方法，通过某种线性投影，将高维的数据映射到低维的空间，并期望在所投影的维度上数据的信息量最大（方差最大），以较少的数据维度去反映原数据的特性。

在机器学习的实际问题中，一般都会有几十个指标，高维数据离散度较大，不利于训练出较好的参数，而低维数据则可以更好的训练参数，因此可以通过降维的形式，计算出k列映射数据替代原数据。

主要步骤

1. 求样本均值

2.求样本协方差矩阵S

3.计算协方差矩阵的特征值和特征向量

4.将特征值排序

5.保留前N个最大的特征值对应的特征向量

6.将原始特征转换到上面得到的N个特征向量构建的新空间中

7.写出主成分的表达式

注：第五步和第六步，实现了特征压缩。 

主成分分析是将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法。主成分个数提取原则为主成分对应的特征值大于1的前m个主成分。特征值在某种程度上可以被看成是表示主成分影响力度大小的指标，如果特征值小于1，说明该成分的解释力度还不如直接引入一个原变量的平均解释力度大，因此一般可以用特征值大于1组委纳入标准。