主题模型评估:主题数定几个才合适
跑主题模型之前要先填一个主题数。这篇讲困惑度和主题一致性各在量什么,为什么困惑度低的模型主题未必好懂,这些指标从哪来,规划、旅游和政策研究怎样定这个数,以及该读哪几篇论文。
假设你收集了一座古城三年里的两万条游客评论,想用 LDA(潜在狄利克雷分配)主题模型看游客都在谈什么。程序开跑之前,先要你填一个数,分几个主题。填 5,讲住宿的词和讲交通的词挤进同一个主题,说不清它在讲哪件事;填 40,好几个主题排在前面的词差不多,另有几个主题的词凑在一起,怎么读也读不出意思。这里的数字和情形都是假设的。
主题数没有现成的答案,能做的是多试几个数,拿尺子量一量再挑。常用的尺子有两把。一把量模型猜得准不准,先拿走一部分评论不给模型看,模型建好以后,让它估计这些评论里每个词出现的可能性,估得越高,说明猜得越准,这把尺子叫困惑度(perplexity)。另一把量主题好不好懂,叫主题一致性(topic coherence)。一个主题排在最前面的几个词,如果在评论里也常常一起出现,这个主题多半讲的是一件事。
困惑度 = exp(-留出文档的对数概率之和 ÷ 留出文档的总词数)
留出文档是先拿走、不参加训练的那部分。模型给每篇留出文档算一个概率,取对数后加起来,除以这些文档的总词数,再加负号,用 exp(取对数的反运算)还原。绕这一圈,结果等于模型给每个词的概率取几何平均以后的倒数。假设模型平均给每个词 1/200 的概率(这个数是编的),困惑度就是 200,好比每读一个词都要在 200 个同样可能的词里猜。困惑度越低越好。
从困惑度到主题一致性
困惑度是语言模型里惯用的指标。Blei、Ng 和 Jordan 2003 年提出 LDA 的论文就拿它来比较模型,把语料留出一成做测试,用其余九成训练,再算测试集的困惑度。论文说困惑度越低,模型对没见过的文档预测得越好,又在脚注里说明,这里只把困惑度当作比较模型的一个指标(Blei 等,2003)。
第二年,Griffiths 和 Steyvers 把挑主题数当作统计上的模型选择来做。材料取自《美国国家科学院院刊》(PNAS),是 1991 到 2001 年的 28154 篇摘要。他们在几个主题数上分别估算这批文字在模型下的似然,也就是模型写出这批文字的可能性。似然随主题数先升后降,在 300 个主题时最高。文章同时说明,这个数取决于模型的两个先验参数,也受停用词表这类处理的影响。同一批文档本来就能在不同的粗细上分出主题,粗的大约到学科一级,细的落到具体的研究方向(Griffiths 与 Steyvers,2004)。
困惑度低,主题就好懂吗?Chang 等人 2009 年请人来检验。他们设计了 word intrusion(词语入侵)任务,从一个主题里取概率最高的五个词,掺进一个在这个主题里少见、在别的主题里常见的词,六个词打乱顺序给人看,请人挑出混进来的那个。【狗】【猫】【马】【苹果】【猪】【牛】,多数人一眼就挑出【苹果】;要是一组词本来就凑不到一起,人往往只能乱猜。实验材料是《纽约时报》和维基百科的文章。结果出乎他们意料,预测困惑度更好的模型,主题往往更难懂,传统指标和他们的新指标甚至负相关。论文据此推测,主题数越多、分得越细,主题对人越没用(Chang 等,2009)。
Newman 等人 2010 年提出主题一致性评价这项任务,想让机器来打分。他们先请人给新闻和图书上训练出的主题打分,看一组词是否围绕同一个意思,再试各种算法去预测人的打分。其中一个简单办法是看主题里的词两两在维基百科里一起出现的情况,用 PMI(点互信息,两个词实际一起出现的机会是各自独立时的几倍,再取对数)来量,它和人打分的相关程度,达到或接近几位打分人彼此之间的水平(Newman 等,2010)。
Mimno 等人 2011 年提出的一致性不用人工标注,也不要外部的参照文本,只看训练用的这批文档里,主题前几个词两两有多少篇文档同时用到。材料是美国国立卫生研究院(NIH)的 30 万篇基金申请和相关期刊论文的摘要。论文提到,用户偏爱主题多的模型,因为分得更细;可是主题数一多,分到词最少的那些主题在领域专家看来几乎都是差的,可能多达一成的主题差到一拿出来就会让用户对模型少几分信任(Mimno 等,2011)。
Greene、O'Callaghan 和 Cunningham 2014 年从稳定性入手。主题选少了,结果过于宽泛;选多了,语料会被切成许多又小又相像的主题。他们认为主题数合适的模型,在数据稍有变动时应当更稳,在几批语料上的检验说明这个办法能帮着挑模型。他们用的是基于矩阵分解的主题模型(Greene 等,2014)。
Röder、Both 和 Hinneburg 2015 年把已有的各种基于词的一致性拆成几个基本部件,再搭出新的组合,用当时所有公开的人工评分数据去检验,一些新组合比已有指标更贴近人的评分(Röder 等,2015)。CV 一致性就出自这篇论文。
此后,靠参照语料里的词共现自动算一致性,成了通行的做法。Hoyle 等人 2021 年统计了 40 篇神经网络主题模型的论文,近年的这类论文没有一篇请人评过主题的一致性。他们把自动一致性和两种人工评价(给主题打分、找混进来的词)放在一起比,自动指标判出了赢家的地方,人工评价并没有判出赢家,于是质疑离开人的判断、完全自动的评价是否站得住(Hoyle 等,2021)。
大语言模型出来以后,Stammbach 等人 2023 年试着请它来评。它给主题的打分比已有的自动指标更贴近人的判断,不过任务怎么设计很要紧,给一组词的连贯程度打分,它做得比找混进来的词好。它也能帮着找一个合理的主题数,提示里写上研究问题,对估这个数有帮助(Stammbach 等,2023)。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 2003 | Blei、Ng 与 Jordan | 用留出文档的困惑度比较模型 |
| 2004 | Griffiths 与 Steyvers | 按似然挑主题数,PNAS 摘要挑出 300 个 |
| 2009 | Chang 等 | 请人找混进来的词,困惑度更好的模型主题往往更难懂 |
| 2010 | Newman 等 | 用维基百科里的词共现自动评一致性 |
| 2011 | Mimno 等 | 只用训练文档本身算一致性 |
| 2014 | Greene 等 | 看模型在数据变动时稳不稳 |
| 2015 | Röder 等 | 把一致性拆成部件再组合 |
| 2021 | Hoyle 等 | 自动一致性和人的判断对不上 |
| 2023 | Stammbach 等 | 请大语言模型评主题、估主题数 |
困惑度、一致性和稳定性量的是不同的事,同一批文档又本来可以分得粗些或细些,主题数没有唯一正确的答案。Weston 等人 2023 年的一篇教程讲怎样定主题数和给主题起名,先用几项拟合指标把一大串候选模型缩到少数几个,再按研究目的在这几个里比较,最后起名(Weston 等,2023)。
规划、旅游和政策研究怎样定这个数
Brinkley 和 Stahmer 2021 年用主题模型读加州 461 个城市的总体规划。文章说,主题数常由研究者反复试出来,先估一个数,看过结果再调,这样几乎必然过拟合,得出的模型只会告诉研究者早已知道、本来就想找到的东西。他们改用三种计算整个语料词层复杂度的办法,看它们在哪个数上会合。其中一种出自 Cao 等人 2009 年的论文,按主题之间的距离挑模型(Cao 等,2009);另一种出自 Arun 等人 2010 年的论文,题目是《用 LDA 寻找自然的主题数:几点观察》(Arun 等,2010)。最后定在 60 个主题,远多于州里规定每份规划必须有的 8 个篇章(Brinkley 与 Stahmer,2021)。
旅游研究里,Taecharungroj 和 Mathayomchan 2019 年分析了 TripAdvisor(猫途鹰)上的 65079 条评论,评的是泰国普吉岛的各类景点。LDA 分几个维度(也就是几个主题)用肘部法来定,用 K 均值聚类把类数从 1 试到 10,每一档算一次误差平方和,看误差平方和的曲线在哪一档弯出像手肘的角。海滩和海岛定了 4 个维度,步行街和寺庙 3 个,市场 2 个(Taecharungroj 与 Mathayomchan,2019)。
Gan 和 Qi 2021 年拿中国的专利政策做例子,把困惑度和另外三项指标合成一个综合指标来定主题数,文章说这样选出的主题数预测能力好,主题之间隔得开,没有重复的主题,结果也能重复得出。他们先在三个通用数据集上和已有办法比,选得更好,再用它给各省市的专利政策分类(Gan 与 Qi,2021)。
想深入可以读这几篇
- Chang 等(2009)Reading Tea Leaves: How Humans Interpret Topic Models,词语入侵实验的出处,用实验说明困惑度和人的判断可以对不上。
- Newman、Lau、Grieser 与 Baldwin(2010)Automatic Evaluation of Topic Coherence,主题一致性评价从这里开始。
- Röder、Both 与 Hinneburg(2015)Exploring the Space of Topic Coherence Measures,讲各种一致性指标怎样由部件搭起来。
- Hoyle 等(2021)Is Automated Topic Model Evaluation Broken? The Incoherence of Coherence,自动一致性和人工评价对不上的证据。
- Weston、Shryock、Light 与 Fisher(2023)Selecting the Number and Labels of Topics in Topic Modeling: A Tutorial,一步步讲怎样挑主题数、给主题起名。
在 TATOOLS 里先定主题数
TATOOLS 的【LDA主题数评估】在你设定的主题数范围里逐个建一次 LDA 模型,只回答主题数取几。交给它的可以是访谈稿、政策文件或一批游客评论。报告列出每一档主题数的困惑度和两种主题一致性,也列出轮廓系数(看文档按主题分得开不开)、对数似然和 BIC 与 AIC 两种信息准则,每项各画一条曲线,再给出推荐的主题数,写明它取自哪一项指标。它不给主题词,也不给每篇文档的主题归属。