Python实现主成分分析(PCA)降维:原理及实例分析

机器学习︱R+python 专栏收录该内容
75 篇文章 6 订阅

转载文章:Python实现主成分分析(PCA)降维:原理及实例分析


简介

降维是由一些问题带来的:

  • 可以缓解由维度诅咒(高维)带来的问题;
  • 可以用来压缩数据,将损失数据最小化;
  • 可以将高维数据降到低维进行可视化。
  • 主成分分析(Principal components analysis,简称PCA)是最重要的降维方法之一。一般我们提到降- 维最容易想到的算法就是PCA,下面我们就对PCA的原理做一个总结。

PCA的scikit-learn实现

scikit-learn集成了PCA方法,调用起来也更加方便。需要注意的是,在scikit-learn中使用了奇异值分解来计算特征向量和特征值。PCA的调用方法非常简单,这里列出全部代码。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets.samples_generator import make_blobs

X, y = make_blobs(n_samples=10000, n_features=3, centers=[[3, 3, 3], [0, 0, 0], [1, 1, 1], [2, 2, 2]],
                  cluster_std=[0.2, 0.1, 0.2, 0.2], random_state=9)

# 降维到二维
pca = PCA(n_components=2)
pca.fit(X)
# 输出特征值
print(pca.explained_variance_)
输出特征向量
print(pca.components_)
# 降维后的数据
X_new = pca.transform(X)
print(X_new)
fig = plt.figure()
plt.scatter(X_new[:, 0], X_new[:, 1], marker='o')
plt.show()

pca.transform(X)为降维之后的数据,从100003 -> 100002

结果如下:

# 特征值
[3.78521638 0.03272613]
# 特征向量
[[ 0.57601622  0.57846191  0.57757002]
 [-0.32920617 -0.48256882  0.81163454]]
# 降维后的结果
[[ 1.29049617  0.01162118]
 [-2.5902227  -0.04141849]
 [ 2.81225258 -0.05286925]
 ...
 [ 2.52492314 -0.0935418 ]
 [ 2.98206456  0.03861322]
 [ 2.28089246 -0.13618233]]

需要注意的是PCA()方法中的参数设置:

pca = PCA(n_components=0.95)

当n_components=0.95表示指定了主成分累加起来至少占95%的那些成分。

pca = PCA(n_components='mle')

n_components='mle'表示让MLE算法自己选择降维维度的效果。

  • 0
    点赞
  • 0
    评论
  • 4
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 游动-白 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值