leafiy教程

K-Means 聚类:按指标远近把样本分成 K 类

几十个县、几百份游客问卷,怎样按各项指标的相近程度分成几类?这篇讲 K-Means 怎样一步步挪中心,为什么要先标准化,K 取几怎么判断,分出的类怎样画像,以及它的来历、用处和值得读的论文。

作者 Leafiy · 更新于 · 3906 字 · 约 14 分钟

K-Means 聚类:按指标远近把样本分成 K 类(封面插图)

假设你在给一个省的几十个县做旅游发展分类。每个县有几项指标,一年接待多少游客,游客人均花多少钱,有几处 A 级景区,离省会开车要多久。你想把这些县分成几类,每类定一种发展思路,可手上没有现成的分类标准,也不想凭印象先划好框框。

K-Means(K 均值聚类)让数据自己来分。你先定分几类,这个数就是 K。程序放下 K 个中心,每个县归到离它最近的中心,再把每个中心挪到归它的那些县的平均位置。中心一挪,有的县离另一个中心更近了,就换过去。这样反复,直到没有县再换组。最后每个中心都是本组的平均值,名字里的【均值】说的就是它。

只看一项指标走一遍,数字是假设的。六个县一年分别接待游客 10、12、15、80、85、90 万人次,K 取 2,先随手把两个中心放在 10 和 15。第一轮,10 和 12 离第一个中心近,其余四个县归第二个中心,两个中心挪到各组的平均,变成 11 和 67.5。第二轮,15 离 11 只差 4,离 67.5 差 52.5,于是换到第一组,中心再挪,变成约 12.3 和 85。第三轮没有县换组,分完了。

指标的单位不同,要先标准化。给这六个县再加一项人均花费,从 300 元到 2000 元不等,也是假设的。两个县游客差 50 万人次,人均花费差 200 元,算距离时 200 比 50 大得多,分组几乎全由花费决定;把花费的单位换成千元,差距只剩 0.2,又轮到游客人次说了算。标准化把每项指标减去它的平均值,再除以标准差,各项都换算成离平均有几个标准差,单位怎么定就不再左右结果。要分的若是一批文字,得先把文字变成数,文本聚类一篇讲这一步。

挪中心和定 K 的办法是怎么来的

MacQueen 1967 年的论文发表在第五届伯克利数理统计与概率研讨会文集里,描述了一种根据样本把总体分成 k 组的过程,把它叫作 k-means,说它分出的组,组内方差往往较低(MacQueen,1967)。MacQueen 的做法是来一个点算一次,先让 k 个随机的点各成一组,之后每来一个新点,就放进均值离它最近的那组,并马上重算这组的均值。文章说这个过程容易编程,计算也省,用数字计算机能处理很大的样本,也说明它一般收敛不到最优的分法。

Lloyd 1982 年发表的论文讲脉冲编码调制,求的是最优量化方案必须满足的条件,标准是平均量化噪声功率最小(Lloyd,1982)。Arthur 和 Vassilvitskii 2007 年提到这篇论文时说,Lloyd 提出的局部搜索解法至今用得很广,通常就叫 K-Means。它一般先从数据点里随机取 k 个当中心,每个点归到最近的中心,每个中心再重算为归它的那些点的重心,两步反复做,直到稳定下来(Arthur 与 Vassilvitskii,2007)。开头的例子走的就是这两步。

算法本身不管 K 取几。Caliński 和 Harabasz 1974 年的论文介绍一种聚类方法,也提出了判断【最佳类数】的一个非正式指标,叫 variance ratio criterion(方差比准则)(Caliński 与 Harabasz,1974)。Milligan 和 Cooper 1985 年用人造数据和四种层次聚类方法,检验了 30 种确定类数的办法,数据里事先放好 2 到 5 个互不重叠的类。各办法认出正确类数的能力相差很大,有几种表现不错,另一些相当差。他们劝研究者从较好的几种里选一种或几种来用,也提醒有些指标的表现可能因数据而异(Milligan 与 Cooper,1985)。

Rousseeuw 1987 年提出 silhouette(轮廓)。每一类画成一个轮廓,依据是这一类有多紧凑、和别的类分得多开,图上看得出哪些对象稳稳待在本类,哪些只是夹在两类之间。所有对象的平均轮廓宽度可以用来评价这次分类,或许还能用来挑一个合适的类数(Rousseeuw,1987)。Tibshirani、Walther 和 Hastie 2001 年提出 gap statistic(间隔统计量),看类内离散程度的变化,再和一个合适的零假设参照分布下应有的变化相比。它可以接在 K-Means 或层次聚类的结果后面用,模拟研究里通常胜过文献中已有的办法(Tibshirani 等,2001)。

起点也要紧。Arthur 和 Vassilvitskii 指出,K-Means 的快和简单是拿准确换来的,有不少例子里,即使按通常的随机办法放起点,也很可能分得极差。他们改了挑起点的办法,一个点离最近的已选中心越远,被选作下一个中心的机会越大,这就是 k-means++。初步实验里,它让 K-Means 既快了也准了,常常改进很大。Jain 2010 年回顾聚类研究时说,K-Means 提出已有五十多年,其间发表的聚类算法数以千计,它仍被广泛使用(Jain,2010)。

Dolnicar 2002 年回顾旅游研究里数据驱动的市场细分,说用聚类从问卷数据里找细分市场已经非常流行,可细看这些研究,一些很根本的缺陷反复出现,让报告的结果大可怀疑(Dolnicar,2002)。Dolnicar 等人 2014 年用结构已知的人造数据做模拟,在模拟的各种情形下,样本量达到细分所用变量数的 70 倍都够用(Dolnicar 等,2014)。

年份谁留下了什么
1967MacQueen叫它 k-means,逐点更新各组均值
1974Caliński 与 Harabasz判断最佳类数的方差比准则
1982Lloyd后来通称 K-Means 的两步交替算法
1985Milligan 与 Cooper比较 30 种确定类数的办法
1987Rousseeuw轮廓,看每个对象分得稳不稳
2001Tibshirani 等间隔统计量
2007Arthur 与 Vassilvitskiik-means++,起点挑得更开
2014Dolnicar 等样本量取变量数的 70 倍够用

分完以后要给每一类画像。画像的依据是各类的中心,也就是这一类在每项指标上的平均值。拿它和全体的平均对照,看这一类哪几项偏高、哪几项偏低,再按这些特点起名。画像用原始单位的平均值读着直观,标准化只用在算距离那一步。

规划和旅游研究拿它分过什么

城市规划里,Grodach 和 Guerra-Tão 2024 年用 K-Means 给墨尔本的工业区分类型。分出的几类,产业构成和专业化程度不同,空间格局也不一样,有的是传统工业区,有的企业和就业构成很杂,既有服务业,也有专门化的制造业。他们据此认为,以用途分隔为主的传统区划框架有局限,用地政策要更贴合各处实际(Grodach 与 Guerra-Tão,2024)。

Guo、Tang 和 Guo 2025 年把它用在乡村遗产保护上。他们研究川南五个地区列入国家名录的 71 个传统村落,用 K-Means 等办法分出三类,都和历史上的移民有关。主要住着四川本地居民的有 14 个;湖广移民入川时形成的有 30 个,靠近河道和交通线;川北、川东逃避战乱的人定居下来的有 27 个,常在安全的高处。保护策略按类分开定,第三类要在保护空间格局的同时改善山路交通(Guo 等,2025)。

Kruger、Saayman 和 Saayman 2010 年研究 Tsitsikamma 国家公园的游客,用 2001 到 2008 年的 593 份问卷做 K-Means 聚类,按花费分出高花费和低花费两个市场。两群差别最显著的是客源省份和同行人数,还有住几晚、偏好哪种住宿(Kruger 等,2010)。

旅游研究里还常见先做因子分析、再聚类的做法。Li、Xu 和 Weaver 2009 年给赴美的中国游客按出游动机分群,先用因子分析归纳出六个动机因子,再按这六个因子分出三群,分别叫 High Brow Traveler(高雅型)、Enthusiastic Traveler(热情型)和 Reluctant Traveler(勉强型)(Li 等,2009)。Dolnicar 和 Grün 2008 年专门质疑旅游研究里被广泛采用的这种 factor–cluster segmentation(因子聚类细分),认为它一般说来并非找出同质人群的最好办法(Dolnicar 与 Grün,2008)。

想深入可以读这几篇

在 TATOOLS 里给样本分群

TATOOLS 的【样本聚类】用的就是 K-Means。交给它一张指标表,比如各县的旅游统计,或者游客问卷里的花费和评分。类数可以自己定,也可以让工具按轮廓系数在一个范围里挑,指标单位不同时可以先标准化。报告给出每个样本归入哪一类,各类的样本量、占比和每项指标的平均值,配一张画像雷达图和一张二维投影图,还按 F 值列出最能把各类拉开的指标。

相关工具

相关教程

← 全部教程