leafiy教程

BERTopic:按意思把一批短文字聚成主题

几万条游客短评,每条一两句话,用词各不相同,怎样看出大家在谈哪几件事?这篇讲 BERTopic 怎样先按意思分组、再找代表词,它和 LDA 有什么不同,从哪来,研究里怎么用,该读哪几篇论文。

作者 Leafiy · 更新于 · 3981 字 · 约 14 分钟

BERTopic:按意思把一批短文字聚成主题(封面插图)

假设你在研究一座江南古镇,从点评网站上收了两万条游客短评,多数只有一两句话。有一条写【排了一个多小时才坐上船】,另一条写【摇橹船要等好久】,还有一条写【人太多,挤得走不动】。三条说的都是排队和拥挤,用词却几乎不重合。LDA(潜在狄利克雷分配主题模型)那一篇讲过,把 LDA 直接用在短文本上可能效果不好,因为短文本里词的共现太稀疏。

BERTopic(一种按意思聚出主题的方法)换了个顺序。它先用一个预训练好的语言模型把每条评论变成一串数,叫语义向量。意思相近的两句话,哪怕用词不同,向量也可以挨得很近。接着把挨得近的评论聚成一堆,一堆算一个主题,离哪一堆都远的评论单独放着,算作离群。最后回到每一堆的原文里数词,找出这一堆常说、别的堆少说的词,当作主题的代表词。这一步的道理和 TF-IDF(词频乘逆文档频率)相同,只是把一整堆评论拼成一篇文档来算。

它和 LDA 的分别也在这里。LDA 认为每篇文档由几个主题按比例混合而成,BERTopic 让每条文字只归进一个主题,或者哪个都不归。向量只管把话分组,代表词仍然是数出来的。

三样零件怎样拼成了 BERTopic

BERTopic 用来聚类的 HDBSCAN(层次密度聚类)出自 Campello、Moulavi 和 Sander 2013 年的论文(Campello 等,2013)。BERTopic 的论文介绍说,它把 DBSCAN(按点的疏密来分组的聚类算法)改成层次聚类,疏密不同的类都能找出来,还把噪声当作离群点,免得不相干的文档被硬塞进某一类。

聚类之前要先降维。BERTopic 的论文解释,维数一高,离一个点最近的点和最远的点距离相差无几,远近就分不清了。McInnes、Healy 和 Melville 2018 年提出 UMAP(均匀流形近似与投影,把高维数据压到少数几维的办法)。论文说它画出的图和 t-SNE(另一种常用来画图的降维办法)不相上下,跑得更快,压到几维也没有限制(McInnes 等,2018)。

降维之前,还要先把一句话变成向量。2019 年,Devlin 等人发表 BERT(先在大量文字上预训练、再拿去做各种任务的语言模型),在十一项自然语言处理任务上刷新了最好成绩(Devlin 等,2019)。Reimers 和 Gurevych 同年指出,用 BERT 在 1 万个句子里找出最相似的一对,约要 65 小时,它的结构也不适合聚类。他们改出 Sentence-BERT(句子 BERT),每个句子得到一个能直接用余弦相似度比较的向量,同一件事只要 5 秒左右,准确度保持在 BERT 的水平(Reimers 与 Gurevych,2019)。

2020 年有两篇论文拿聚类找主题。Sia、Dalmia 和 Mielke 不用 LDA 那类讲文档如何生成的概率模型,直接把预训练好的词向量聚类,再用文档信息给词加权、给代表词重新排序。最好的组合和经典主题模型一样好,运行时间和计算量更少(Sia 等,2020)。同年 Angelov 发表 Top2Vec(主题向量)。论文说 LDA 这类方法往往要事先知道主题数,要停用词表,还要做词形还原,又只数词,不管词序和词义。Top2Vec 把文档和词放进同一个语义空间,从中找出主题向量,不用停用词表,主题数也由它自己定(Angelov,2020)。

另一条路是把向量接进原有的主题模型。Bianchi、Terragni 和 Hovy 2021 年的 CTM(上下文主题模型)把上下文相关的表示接进神经主题模型,得到的主题比传统的词袋模型和新近的神经模型更连贯,也更有意义(Bianchi 等,2021)。

2022 年,Grootendorst 发表了 BERTopic 的论文。论文指出,前面这两种做法从聚类中心附近找词来代表一类,可是一类文档不一定围着中心分布,这样找出的词可能误导人。BERTopic 分三步:用 Sentence-BERT 把文档变成向量,用 UMAP 降维后交给 HDBSCAN 聚类,再用 c-TF-IDF(按类计算的 TF-IDF)给每一类找代表词。在三个数据集上,它的主题一致性普遍较高,在只稍作预处理的特朗普推文上是几种模型里最高的,主题多样性(各主题代表词不重样的比例)则一直不如 CTM(Grootendorst,2022)。主题一致性怎样算,见主题模型评估一篇。

看主题随时间怎样变,这篇论文的办法是先不管时间,用全部文档建好一套主题,再把每个时间段里属于某个主题的文档拿出来,按同一套权重重算代表词。论文举汽车为例,1990 年和 2020 年的文档都归在汽车主题下,2020 年的代表词却可能换成【特斯拉】【自动驾驶】。这样做不用重新聚类,算得快。和 LDA 一篇提到的动态主题模型比,它在特朗普推文上各项都更好,在联合国大会一般性辩论的记录上只有一致性更好。论文也写了两处短处。它假定一篇文档只有一个主题,可以把文档切成句子或段落,但论文说这也不是理想的办法。代表词从词袋里算出,彼此可能意思相近,读来重复。

到 2024 年,Pham 等人的 TopicGPT(靠提示词做主题建模的框架)已经让大语言模型直接归纳一批文本的主题,每个主题配上自然语言写的名称和描述。在有人工标注的维基百科主题上,它和人工分类的吻合程度(调和平均纯度)是 0.74,最强的对照方法是 0.64(Pham 等,2024)。

年份谁留下了什么
2013Campello、Moulavi 与 Sander能留出离群点的层次密度聚类
2018McInnes、Healy 与 Melville把高维向量压到少数几维的 UMAP
2019Devlin 等预训练语言模型 BERT
2019Reimers 与 Gurevych能直接比远近的句向量 Sentence-BERT
2020Sia、Dalmia 与 Mielke聚类词向量也能得到好主题
2020Angelov文档和词同在一个空间的 Top2Vec
2021Bianchi、Terragni 与 Hovy把上下文表示接进神经主题模型
2022Grootendorst向量、聚类、c-TF-IDF 三步的 BERTopic
2024Pham 等让大语言模型归纳并命名主题

旅游帖子、议会记录和市民来信

Egger 和 Yu 2022 年为社会科学研究者比较了四种主题模型。材料是 31800 条和旅行、新冠疫情有关的英文推文。交给 BERTopic 和 Top2Vec 的是原句,交给 LDA 和 NMF(非负矩阵分解)的去掉了停用词,做了词形还原。按人的解读来评,BERTopic 和 NMF 最好,Top2Vec 和 LDA 次之,BERTopic 除了意料中的主题,还给出了一些新的发现。用向量的两种方法也有共同的毛病,离群的文档可能比预想的多,每条只归一个主题,能算出的概率也不等于真正的主题分布(Egger 与 Yu,2022)。

旅游研究里,Tao 等人 2026 年用 BERTopic 分析和南浔古镇有关的大量社交媒体内容,并用一个微调过的模型判断情感。找出的主题既有历史文化和传统景观,也有商业体验,还有交通与地方发展、日常生活与社区往来。按时间和季节去看,主题和情绪都在变(Tao 等,2026)。

城市规划方面,Jung 2026 年用 BERTopic 读釜山市议会的会议记录,取的是 2021 到 2025 年间和 15 分钟城市有关的部分。对照釜山版 15 分钟城市标举的可达、团结和生态三种价值,步行环境和生活设施这类关于可达的议题占比最高,后两种谈得较少。按出现次数,【预算与项目管理】主题遥遥领先;放进网络分析,中介中心性(在主题之间起桥梁作用的程度)高的却是【市民参与治理】和【生活圈规划与政策制定】(Jung,2026)。

公共管理方面,Tang、Pan 和 Gu 2024 年分析了浙江一个网上问政平台上的杭州来信,从 2022 年 6 月到 2023 年 5 月共 17593 封。不预设主题数,模型自动分出 104 个主题。他们看过主题分布,反复调整参数,定下 27 个二级主题,再参照主题层级图、主题相似度矩阵和团队的意见手动合并,得到 10 个一级主题。最多的是交通,4485 封,占 25.49%。用 BERTopic 的动态主题方法看,防疫主题在 2022 年底防疫政策调整后渐渐淡出;谈疫情的来信从 2022 年 12 月的 307 封降到 2023 年 1 月的 51 封(Tang 等,2024)。

想深入可以读这几篇

TATOOLS 里的 BERTopic 主题聚类

TATOOLS 的【BERTopic 主题聚类】可以分析游客评论和访谈稿,也可以分析政策文件或市民留言。报告给每个主题列出关键词、概括出的主题名和代表性原文片段,画出主题分布散点图和主题层级关系图,把意思相近的主题归成几组,标出可以考虑合并的主题;原文里认得出时间的,还会画出各主题随时间的消长。主题还可以在报告页合并、拆分或移出,生成新的一版。

相关工具

相关教程

← 全部教程