leafiy教程

TF-IDF:哪些词最能代表这一篇

出现得多的词未必要紧,每篇都有的词说明不了哪一篇。这篇讲 TF-IDF 怎样把这两点合成一个数,它从哪来,各学科怎么用,想深入该读哪几篇论文。

作者 Leafiy · 更新于 · 2994 字 · 约 10 分钟

TF-IDF:哪些词最能代表这一篇(封面插图)

假设你收集了五个古镇的游客评论,每个古镇一份文件,想知道每个古镇各自让游客记住了什么。先数词频,结果五份文件排在最前面的都是【古镇】【景区】【门票】,分不出谁是谁。你要找的是另一种词,它在这一份里说得多,在别的几份里说得少,比如只在其中一个古镇的评论里反复出现的【酒吧街】。

TF-IDF(term frequency–inverse document frequency,词频乘以逆文档频率)把这个想法算成一个数。一个词在这篇文档里出现得越多,分数越高;出现过它的文档越多,分数越低。

TF-IDF(词, 文档) = TF × log(N ÷ DF)

TF 是这个词在这篇文档里出现的次数。N 是文档的总数,DF 是出现过这个词的文档有几篇,N 除以 DF 再取对数,就是那个逆文档频率,取对数是为了不让差距拉得太开。拿上面的例子算一遍。【古镇】五份文件里都有,N 除以 DF 等于 1,1 的对数是 0,它在哪一份里出现得再多,分数都是 0。【酒吧街】只在一份里有,N 除以 DF 等于 5,取自然对数约是 1.6,它在那一份里出现了 40 次,分数就是 64。

实际的软件常在这个式子上做些小调整,所以不同工具算出的数不一定相同。读结果时看的是先后,哪些词排在前面。

两个想法是怎么合到一起的

式子的前一半来自数词。1958 年,Luhn 让计算机根据词出现的次数和分布,给每个词算一个重要程度,再用它给句子打分(Luhn,1958)。只凭次数判断有个毛病,到处都出现的词也会得高分,这在词频统计那一篇里讲过。

后一半是 Spärck Jones 1972 年补上的,那篇论文研究的是文献检索里的索引词。一个索引词有多具体,过去看的是词义,论文提出应该从统计上看,看这个词被用了多少。文中主张按词在整个文献集合里出现的多少来加权,让匹配上少见而具体的词比匹配上常见的词更值钱。在三个测试集上试下来,这个很简单的办法让检索效果好了不少(Spärck Jones,1972)。后来人们把这种权重叫作 IDF。

同一时期,Salton 的团队在把文档变成可以计算的对象。Salton、Wong 和 Yang 1975 年的论文把文档和检索请求放进同一个空间里比较,认为最好的索引方式应该让每篇文档离别的文档尽量远,并据此为一批文档挑选索引用的词(Salton 等,1975)。文档成了一串数字,每个词的权重怎么定就成了要紧的事。1988 年,Salton 和 Buckley 专门写了一篇文章,梳理自动检索里给词加权的各种办法(Salton 与 Buckley,1988)。

TF-IDF 用了很多年,道理一直没讲透。Robertson 2004 年回头做这件事。文章说,IDF 自 1972 年提出后用得极广,通常是作为 TF*IDF 的一部分,却常被说成一种凭经验的办法。文章检查了几种给它找理论依据的尝试,认为从信息论出发的那些有问题,在传统的概率检索模型里,IDF 和 TF*IDF 都能找到站得住的理由(Robertson,2004)。概率模型这条线还发展出了 BM25,Robertson 和 Zaragoza 2009 年称它是最成功的文本检索算法之一(Robertson 与 Zaragoza,2009)。

挑关键词也有不靠文档对比的办法。Mihalcea 和 Tarau 2004 年提出 TextRank,一种基于图的排序模型,它按词与词之间的联系给词排先后(Mihalcea 与 Tarau,2004)。它和 TF-IDF 的依据不同,两边挑出的词可以对着看。

年份谁留下了什么
1958Luhn用词的出现次数衡量它有多重要
1972Spärck Jones越少文献用到的词,权重越高
1975Salton 等把文档放进一个空间里比较远近
1988Salton 与 Buckley梳理给词加权的各种办法
2004Robertson给 IDF 和 TF*IDF 找到理论上的理由
2004Mihalcea 与 Tarau按词与词的联系排序的 TextRank
2009Robertson 与 Zaragoza概率检索框架和 BM25

从式子本身能看出它的几处脾气。它要有好几篇文档才算得出来,只有一篇就没有别的文档可比。文档怎么划分会改变结果,五个古镇各算一篇,和每条评论各算一篇,得到的是两套分数。它只认字面,【民宿】和【客栈】在它眼里是两个不相干的词。

现在谁在用,拿它做什么

城市研究用它看不同人眼里的城市。Peng、Bao 和 Huang 2020 年用北京 2016 年的微博数据研究城市意象,先把用户分成本地人和外地人,再用空间聚类找出热点地区,然后用 TF-IDF 和 LDA(一种按用词归纳主题的模型)提炼两类人在各个热点谈论的主题(Peng 等,2020)。

旅游研究里它常和别的办法搭着用。Luo 等人分析了 24222 条关于九寨沟的在线评论,用到了 LDA、TF-IDF 加权和情感分析,归纳出目的地形象的 10 个属性,其中三个是负面的,分别是拥挤、花费和住宿环境(Luo 等,2021)。Wei 和 Chen 2025 年收集了 2017 到 2024 年间丽江古城的 50022 条游客评论,分成疫情前、疫情中和疫情后三段,用 TF-IDF 找出各段突出的词,再配合社会网络分析和 LDA。他们发现疫情前游客更在意古迹景点和商业体验,疫情后更看重文化深度和服务质量(Wei 与 Chen,2025)。

政策研究拿它找出一批文件里的特征词。Liu 等人 2025 年用基于 TF-IDF 的文本挖掘分析了中国 2018 到 2022 年的国家级养老政策文件,用提取出的核心特征词构建共现矩阵,看政策重点怎样变化。他们看到的重点包括疫情防控和整合式照护,也包括智慧养老(Liu 等,2025)。

想深入可以读这几篇

TATOOLS 里用到 TF-IDF 的工具

TATOOLS 的【关键词抽取】用 TF-IDF 给材料提一份关键词,同时用 TextRank 再提一份,两份并排对照,标出两种办法都选中的词。交给它的可以是政策文件、访谈稿或一批评论。几份材料一起交,报告会分出各篇共有的关键词和只属于某一篇的关键词。

【文本矩阵分析】把材料切成段,按 TF-IDF 挑出最有区分度的词,再统计这些词两两在同一段里一起出现的次数,每一对都附着原文段落,可以回去核对。

相关工具

相关教程

← 全部教程