leafiy教程

词频统计:哪些词出现得最多

一批访谈稿或游客评论里,哪些词说得最多?这篇讲数词这个办法从哪来,各学科拿它做什么研究,读词频表时要留意什么,想深入该读哪几篇论文。

作者 Leafiy · 更新于 · 3562 字 · 约 12 分钟

词频统计:哪些词出现得最多(封面插图)

假设你在研究一条历史街区的旅游开发,访谈了二十几位住在街区里的居民,转写出来有十几万字。读完一遍,你觉得大家谈得最多的是噪音和房租。可这只是印象,换一个人来读,印象可能不一样。

词频统计(word frequency,数每个词出现了多少次)给这个印象配上数字。它把材料里每个词出现的次数数出来,从多到少排成一张表,排在前面的就是这批材料里说得最多的词。

这个办法靠的是一个朴素的假定,一个话题被谈得越多,和它有关的词出现得也越多。假定大体成立,所以拿到一批材料,很多人做的第一件事就是出一张词频表。它也有不灵的时候,下面讲来历时会一个个碰到。

数词这件事是怎么一步步讲究起来的

词的出现次数很不均匀,这是最早被注意到的事。把一批材料里的词按次数从多到少排队,一个词的次数大致和它的名次成反比,排第二的词约是第一名的一半,排第十的约是十分之一。语言学家 Zipf 在 1949 年出版的《Human Behavior and the Principle of Least Effort》里系统地讲了这个现象(这本书当年在《Science》上有一篇书评),后来人们把它叫作 Zipf 定律。Piantadosi 2014 年回顾了七十年来围绕它的研究,结论是已有的各种解释里还没有哪一个能把基本事实都讲通(Piantadosi,2014)。

这条定律对读词频表的人有个直接的提醒。少数几个词会占掉大部分的出现次数,而排在最前面的往往是【的】【了】【是】,哪份材料里都一样。要不要先把它们拿掉,是文本清洗那一步定的。

1958 年,Luhn 把数词的活交给了计算机,让一台 IBM 704 读完整篇文章,按词出现的次数和分布给每个词算一个重要程度,再据此挑出句子拼成摘要(Luhn,1958)。从这时起,词频成了机器判断一篇文字在讲什么的依据。

数出来的词频还可以攒成一份公用的表。1967 年,Kučera 和 Francis 出版了《Computational Analysis of Present-Day American English》,里面是按一批美国英语材料统计出的词频(出版记录)。此后几十年,做认词和记忆实验的心理学者选词时,查的多半是这份表。Brysbaert 和 New 2009 年拿大规模实验里测到的认词时间来检验它,结果不好,他们顺带弄清了一份词频表好不好用取决于什么。语料太小不行,可是过了 1600 万到 3000 万词,再加大就没有多少差别。语料取自哪里更要紧,从影视字幕统计出的词频比从书面材料统计出的更好,至少对实验里常用的单音节和双音节词是这样。他们还发现,数一个词在多少个不同的语境里出现过,比单数它一共出现多少次更好(Brysbaert 与 New,2009)。

中文多一道难处。英文的词之间有空格,中文没有。Sproat 等人 1996 年的论文开头就讲,包括中文在内的几种亚洲语言从不用空格标出词的边界,只能靠词汇知识把边界找回来(Sproat 等,1996)。所以数中文的词之前要先分词,也就是把一句话切成一个个词,切法不同,数出来的结果就不同。Cai 和 Brysbaert 2010 年从影视字幕里攒了一个 4680 万字、3350 万词的语料,统计出一份中文词频表,字的频率和词的频率都给了(Cai 与 Brysbaert,2010)。

材料多到一定程度,词频还能按年份分开数。Michel 等人 2011 年建了一个语料,收进人类印过的全部书籍的大约 4%,用它考察 1800 到 2000 年间英语里留下的语言和文化变化,看一个词在哪些年份的书里用得多、哪些年份用得少。他们把这种研究叫作 culturomics(文化组学)(Michel 等,2011)。

词频表也有了更好读的样子。词云把一批词画在一起,出现越多的词字号越大。Viégas 等人 2009 年介绍的 Wordle 就是这样一个工具,它做出来的词云在字体、颜色和构图上都很讲究,他们还调查了人们拿它做什么用(Viégas 等,2009)。

只看哪些词最多,常常分不出两批材料的差别,因为排在前面的总是那些谁都在用的词。政治学者 Monroe、Colaresi 和 Quinn 2008 年专门讨论了怎样挑词才能抓住两个党派说话的差别,怎样评估这些词各自有多重要,并提出了几种基于贝叶斯收缩和正则化的新办法(Monroe 等,2008)。顺着这个问题再往下,就是给词加权,这是 TF-IDF 要讲的。

年份谁留下了什么
1949Zipf词的出现次数和名次大致成反比
1958Luhn让计算机数词,用词频判断文章内容
1967Kučera 与 Francis一份按语料统计的美国英语词频表
1996Sproat 等中文不标词的边界,数词之前要先分词
2008Monroe 等比较两批材料用词差别的办法
2009Brysbaert 与 New语料取自哪里,比语料有多大更要紧
2009Viégas 等词云工具 Wordle 和人们对它的用法
2010Cai 与 Brysbaert从影视字幕统计的中文字频和词频
2011Michel 等按年份数词,从几百万本书里看文化变化

各学科拿词频做什么

政治学最早把它用成了正式的测量。Laver、Benoit 和 Garry 2003 年提出一种从政治文本里估计政策立场的办法。他们把文本当作由词构成的数据来处理,省掉了逐句理解和阐释这一步(Laver 等,2003)。十年后 Grimmer 和 Stewart 给同行写自动文本分析的指南,提醒这类方法代替不了仔细思考和细读,用在每个具体问题上都要专门验证(Grimmer 与 Stewart,2013)。

旅游研究用它看游客眼里的目的地。Liang 等人 2021 年分析了各大旅游网站上游客对无锡的评论,用了词频分析,也用了语义网络分析和情感分析。他们发现游客感知到的无锡旅游文化集中在宗教文化、山水园林文化和历史文化上,和当地文化旅游资源的供给有明显的结构性错位(Liang 等,2021)。

访谈稿也可以数。Dai 等人 2017 年研究北京南锣鼓巷的居民怎样看待旅游带来的影响,材料是 24 位居民的深度访谈,先给文本编码,再做词频分析。结果是,居民的文化感知越强、对这个地方越有感情,感受到的负面影响就越多,保护文化的要求也越强。长期住在这里的居民感受到的负面影响更多,职业和旅游无关的、住得离景点近的也是这样(Dai 等,2017)。

政策文本同样有人数。Jiang 和 Raza 2023 年用 NVivo12 分析了中国政府 2000 到 2022 年间出台的七份重要的可再生能源政策,统计政策里的词频,再看这些话各自起什么作用。他们的发现之一是,这些政策主要由五年规划引导(Jiang 与 Raza,2023)。

想深入可以读这几篇

在 TATOOLS 里数词频

TATOOLS 的【高频词提取】做的就是词频统计。把访谈稿、政策文件或游客评论交给它,报告里有一张词频表、一幅词云和一条词频随名次下降的曲线。它还能把两到四个词连成的固定说法一起数出来,比如【数字化转型】;几份材料一起交,会标出每个说法在几份材料里出现过。

想把多篇材料的用词放在一张表里比,用【文档词项矩阵】。它以词为行、文档为列,给出每个词在各篇里出现的次数,并用热力图画出每个词集中在哪几篇、哪几篇的用词更接近。

相关工具

相关教程

← 全部教程