迁西县住房和城乡规划建设局网站,网站建设好后给领导作介绍,wordpress 1.5.2,设计服务网站几个问题： pca可以用相关系数矩阵做吗？效果比协方差矩阵比怎么样？pca做完后变量和样本的新坐标怎么旋转获得？pca做不做scale和center对结果有影响吗？pca用因子分解和奇异值分解有啥区别？后者怎么获得变量和样本的新坐标？1. 用R全手工实现 PCA(对比 prcomp() )
不借助包…几个问题：
pca可以用相关系数矩阵做吗？效果比协方差矩阵比怎么样？pca做完后变量和样本的新坐标怎么旋转获得？pca做不做scale和center对结果有影响吗？pca用因子分解和奇异值分解有啥区别？后者怎么获得变量和样本的新坐标？1. 用R全手工实现 PCA(对比 prcomp() )
不借助包，按照 《机器学习实战》P246的伪代码进行操作.
1减去列平均数 2计算协方差矩阵 3计算协方差矩阵的特征值和特征向量 4将特征值从大到小排列 5保留最上面的N个特征值 6将数据转换到上述N个特征向量构建的新空间中。
例1: 针对iris数据集
head(iris)
df1=iris[,1:4]
#1) 减去平均值
df1=sweep(x=df1, MARGIN=2, STATS=apply(df1, 2, mean),FUN="-")
head(df1)
#2) 计算协方差矩阵
cor.df1=cov(df1)
#3) 计算协方差矩阵的特征值和特征向量
eigen.df1=eigen(cor.df1)
#4) 特征值默认降序
eigen.df1
#5) 保留最前面的几个特征值
#6) 原center后的坐标 * 旋转矩阵
coord.df1=as.matrix(df1) %*% eigen.df1$vectors
dim(coord.df1)
head(coord.df1)
# plot
coord.df1_=as.data.frame(coord.df1)
colnames(coord.df1_)=paste0("PC_", 1:4)
coord.df1_$type=iris$Species
library(ggplot2)
ggplot(coord.df1_, aes(PC_1, PC_2, color=type))+geom_point()# prcomp() 做PCA
pca.iris=prcomp(iris[,1:4])
pca.iris# 对比旋转矩阵pca.iris$rotation #prcomp()的计算结果PC1 PC2 PC3 PC4
Sepal.Length 0.36138659 -0.65658877 0.58202985 0.3154872
Sepal.Width -0.08452251 -0.73016143 -0.59791083 -0.3197231
Petal.Length 0.85667061 0.17337266 -0.07623608 -0.4798390
Petal.Width 0.35828920 0.07548102 -0.54583143 0.7536574 eigen.df1$vectors #协方差矩阵的特征向量构成的矩阵[,1] [,2] [,3] [,4]
[1,] 0.36138659 -0.65658877 -0.58202985 0.3154872
[2,] -0.08452251 -0.73016143 0.59791083 -0.3197231
[3,] 0.85667061 0.17337266 0.07623608 -0.4798390
[4,] 0.35828920 0.07548102 0.54583143 0.7536574# 对比方差
# 主成分的标准差，文档说是 协方差矩阵的特征值的平方根，虽然是通过SVD分解实现的
# square roots of the eigenvalues of the covariance/correlation matrix
# though the calculation is actually done with the singular values of the data matrixpca.iris$sdev
[1] 2.0562689 0.4926162 0.2796596 0.1543862 eigen.df1$values #特征根
[1] 4.22824171 0.24267075 0.07820950 0.02383509#开方后确实等于 pca.iris$sdevsqrt(eigen.df1$values)
[1] 2.0562689 0.4926162 0.2796596 0.1543862
