主成分分析:几十个指标怎样压成几个综合指标
几十个互相牵连的城市指标或问卷题目,怎样压成少数几个综合指标又不丢太多信息?这篇讲主成分的想法和载荷的读法,留几个成分怎么定,KMO 和 Bartlett 检验做什么,它从哪来,谁在用,该读哪几篇。
做城市比较的人常碰到这样一张表。30 个城市,每个城市 12 项指标,从人均 GDP 到每千人医生数,再到人均公园绿地和公交站点覆盖率。这些指标彼此牵连,经济好的城市医生往往也多,房价往往也高。想给城市排个名,把 12 项直接相加,重复的那部分信息就被算了好几遍。问卷也有同样的事,20 道题里可能有五六道问的是同一种感受。
主成分分析(principal component analysis,PCA)把这些互相牵连的指标重新组合成几个综合指标。每个综合指标是原指标的加权和,权重由数据算出,不由研究者事先指定。第一个要尽可能把城市之间的差别拉开,也就是方差最大;第二个和第一个不相关,在这个前提下把剩下的差别拉到最开,依次类推。这些综合指标就是主成分。指标之间牵连得越紧,差别越集中在前几个主成分上,留下前几个,就能用少数几个数代替原来的一长串。
举个例子,数字是假设的。12 项指标单位各不相同,先各自标准化,每项的方差都变成 1,加起来是 12。第一个主成分的方差算出来是 6,这个数叫特征值,占总数的一半;第二个是 2.4,占 20%;第三个是 1.2,占 10%;从第四个起都小于 1。前三个合起来解释了 80% 的差别。
每个主成分说的是什么,要看载荷。载荷是原指标和主成分之间的相关系数,绝对值越接近 1,这个指标和这个主成分绑得越紧。还是假设,第一个主成分上人均 GDP、医生数和房价的载荷都在 0.8 以上,可以叫它【发展水平】;第二个主成分上绿地和空气质量的载荷高,可以叫它【环境】。名字是研究者起的,数据给的只有载荷。一个主成分的正负号可以整个翻过来,换一个软件可能就是反的,要看的是哪些指标同号,哪些反号。
名字、检验和留几个的规则是怎么来的
Hotelling 1933 年在《教育心理学杂志》上发表论文,题目就是把一组统计变量分解为主成分(Hotelling,1933)。Abdi 和 Williams 的综述说,主成分这个名字是 Hotelling 起的,主成分分析今天的形式也由这篇论文定下(Abdi 与 Williams,2010)。更早还有 Pearson 从几何上找过离一群点最近的直线和平面。Jolliffe 和 Cadima 指出,又过了几十年,电子计算机普及以后,这个办法才用得到不算太小的数据上(Jolliffe 与 Cadima,2016)。
因子分析是另一种把许多变量归到少数几个因素上的方法,Jolliffe 和 Cadima 提醒,它有时会和主成分分析混为一谈。判断一组指标适不适合压缩的两项检验,都出自因子分析的文献。一项是 Bartlett 球形检验,问的是这些指标在总体里会不会两两都不相关,真是那样,就没有什么可压缩的。Knapp 和 Swoyer 1967 年写道,这项检验出自 Bartlett 1950 年讨论因子分析显著性检验的论文(Bartlett,1950);结果不显著就不该做因子分析,因为找出的结构大半甚至全部会是抽样误差(Knapp 与 Swoyer,1967)。
留下的几个成分还可以一起转一个角度,总共解释的方差不变,载荷在成分之间重新分配,这叫旋转,这个想法也借自因子分析。Kaiser 1958 年提出 varimax(方差最大)旋转准则,用一个算得出来的标准,代替靠作图、凭主观判断的旋转(Kaiser,1958)。按 Abdi 和 Williams 2010 年的说法,varimax 是最常用的旋转办法,转过以后,每个成分只在少数几个指标上载荷大,其余为 0 或很小,读起来省事。Jolliffe 和 Cadima 也指出了代价,多留一个成分,旋转后的结果可能大不一样。
Kaiser 1960 年的论文谈电子计算机在因子分析中的应用(Kaiser,1960)。留几个成分,Abdi 和 Williams 的综述说到 2010 年还没有定论。一条通行的规则是留下特征值大于 1 的成分。指标标准化以后,特征值大于 1 就是装下的差别比一个原指标多。综述把它称为对相关矩阵做主成分分析时的标准建议,也提醒它可能让人漏掉重要的信息。另一种办法按累计比例定,Jolliffe 和 Cadima 说 70% 是常见的分界,也承认这条线是主观的。
Horn 1965 年从特征值 1 这条界线出发,认为样本算出的特征值里有一部分来自抽样误差,应该先估出来减掉。估的办法是生成随机变量,看纯随机的数据能算出多大的特征值(Horn,1965)。第二年,Cattell 发表论文,专讲用 scree test(碎石检验,scree 指山脚下的碎石坡)定因子个数(Cattell,1966)。按 Abdi 和 Williams 的介绍,做法是把特征值从大到小连成折线,找坡度由陡转平的拐点,只留拐点之前的成分,他们觉得这个办法多少有些主观。
另一项检验是 Kaiser 提出的取样适切性量数(measure of sampling adequacy),今天常写作 KMO。它拿两种相关来比,一种是两个指标之间直接算出的相关,一种是排除其他指标以后剩下的偏相关。偏相关普遍比相关小得多,说明指标之间的关系多半来自大家共有的部分,KMO 就接近 1,适合压缩。Cerny 和 Kaiser 1977 年让指标个数、因子个数和相关的平均强弱各取几档来考察这个量数,影响它最大的是指标个数(Cerny 与 Kaiser,1977)。
到 Glorfeld 1995 年写论文时,Horn 的办法已经叫平行分析(parallel analysis)。论文说多项研究一再表明,它是决定保留几个因子最接近准确的办法,只是往往会多留一两个。Horn 原来拿随机数据特征值的平均数作比较,Glorfeld 改用这些特征值分布的上端百分位数,比如第 95 百分位数,多留的毛病就轻了(Glorfeld,1995)。
Zou、Hastie 和 Tibshirani 2006 年回到载荷难读的问题。他们指出,每个主成分都由全部原指标组合而成,结果常常难以解释,于是提出稀疏主成分分析,借用回归里的 lasso(一种会把部分系数压成 0 的约束),让许多载荷直接成为 0(Zou 等,2006)。Jolliffe 和 Cadima 提到,这样简化过的成分解释的方差会少一些。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 1933 | Hotelling | 起名主成分,定下今天的形式 |
| 1950 | Bartlett | 球形检验,看指标是否两两不相关 |
| 1958 | Kaiser | varimax 旋转,让载荷好读 |
| 1960 | Kaiser | 用电子计算机做因子分析 |
| 1965 | Horn | 用随机数据扣掉抽样误差 |
| 1966 | Cattell | 碎石检验,找特征值的拐点 |
| 1977 | Cerny 与 Kaiser | 考察 KMO 受什么影响 |
| 1995 | Glorfeld | 平行分析改用上端百分位数 |
| 2006 | Zou 等 | 稀疏主成分,许多载荷为 0 |
现在谁在用,拿它做什么
灾害研究用它编社会脆弱性指数。Cutter、Boruff 和 Shirley 2003 年用美国各县 1990 年的社会经济和人口数据,以因子分析的办法把 42 个变量压成 11 个相互独立的因子,解释了约 76% 的方差,再把因子相加得到每个县的得分。最脆弱的县集中在东部的大都市县、得克萨斯南部和密西西比三角洲(Cutter 等,2003)。Chen 等人 2013 年把这套指数搬到长江三角洲,看它在中国能不能用。他们为 134 个分析单元收集了 29 个变量,用主成分分析得到六个因子,包括就业与贫困、教育和住房质量差等,和在美国找到的相似。脆弱性最高的地方集中在研究区南部,如景宁和遂昌,最低的在上海的西南、西面和西北(Chen 等,2013)。
比较旅游目的地也用得上。Porto 等人 2019 年为大洋洲的澳大利亚和新西兰、南美的阿根廷和巴西编了一个旅游无障碍指数,数据跨 1990 到 2015 年,用的是因子分析和主成分分析。指数由三块组成,社会人口数据,法律框架和政策行动,景点的无障碍条件(Porto 等,2019)。
文本研究里,主成分分析是文体测量的常用办法。Rizvi 2021 年撰文质疑,认为只看前两个主成分不可靠。Craig 用置换检验回应,在莎士比亚时代的剧本样本上,排在前面的几个主成分显著而且稳健,第一和第二主成分合起来区分作者是有效的(Craig,2024)。
想深入可以读这几篇
- Abdi 与 Williams(2010)Principal component analysis,拿一组单词的长度和词典释义的行数当例子,从特征分解讲到留几个成分、载荷和旋转。
- Jolliffe 与 Cadima(2016)Principal component analysis: a review and recent developments,讲相关矩阵和协方差矩阵怎么选,也介绍旋转、稀疏主成分这些变体。
- Vyas 与 Kumaranayake(2006)Constructing socio-economic status indices: how to use principal components analysis,用资产数据编社会经济地位指数时,变量怎么选,数据怎么准备,结果怎么解释。
- Hayton、Allen 与 Scarpello(2004)Factor Retention Decisions in Exploratory Factor Analysis: a Tutorial on Parallel Analysis,一步步讲平行分析怎么做,附一份问卷数据的例子。
TATOOLS 里的两个主成分分析工具
TATOOLS 的【PCA 主成分降维】处理城市、企业这类样本的数值指标表。报告先给 KMO 和 Bartlett 球形检验,再给碎石图与总方差解释,然后是成分矩阵(主成分载荷)和载荷热力图,最后按特征值加权和只看第一主成分两种口径各排一份综合名次,并画出样本在第一、第二主成分上的位置。
【PCA 主成分分析】处理访谈稿、游客评论这类文字。报告有碎石图、词语的载荷图和各片段的得分散点图,还给每个主成分拟一个名称,并能把高贡献的词放回原文,看它主要出现在哪些片段里。