虚高频词:哪些高频词在哪儿都常见
【我们】【工作】【没有】排在词频表前面,是这批材料在谈它们,还是这些词在哪儿都多?这篇讲怎样拿通用语料当尺子量一量,这个办法从哪来,各学科怎么用,想深入该读哪几篇论文。
假设你整理了一批社区工作人员的访谈,想看他们谈得最多的是什么。词频表出来,前十名里有【我们】【工作】【没有】,也有【社区】【居民】【网格员】。前三个词让人犹豫。它们出现得确实多,可是换一批和社区毫不相干的访谈,排在前面的多半还是它们。
这样的词可以叫虚高频词,次数高,却说明不了这批材料有什么特别。要把它们认出来,得有一把尺子,也就是一份通用语料的词频表,上面记着每个词在平常的文字里占多大比例。拿一个词在你的材料里的出现率,去除以它在通用语料里的出现率,得到一个倍数。
倍数 = 本文出现率 ÷ 通用出现率
出现率是这个词的出现次数除以总词数。举个例子,数字是假设的。你的访谈共十万词,【工作】出现 300 次,每千词 3 次;通用语料里它每千词出现 1.5 次,倍数是 2。【网格员】出现 120 次,每千词 1.2 次;通用语料里它每百万词才出现 3 次,倍数是 400。倍数挨着 1 的词,在你的材料里和在别处一样常见。倍数高的词,才是这批材料多出来的。
还有一类词连算都不用算。【我们】【因为】【通过】这样的代词、连词和介词,是搭句子用的,哪种文字里都少不了。
这把尺子是怎么找到的
最早的办法是列一张表,表上的词一律不看。这种表叫停用词表。Fox 1989 年讲过一份通用停用词表是怎么编出来的,从 101.4 万词的 Brown 语料里取出出现超过 300 次的 278 个词,拿掉 32 个,再补进一批,最后是 421 个词(Fox,1989)。这张表本身就是从一份通用语料的词频里来的。它的短处是只有一张,不看你手上的材料。【工作】在多数材料里是虚高频词,在一批讲就业的访谈里却正是主题,一张固定的表分不出这两种情况。
要分出来,就得让每个词自己和通用语料比。20 世纪 90 年代初,已经有人在用统计办法找一个领域的专有词汇。Damerau 1993 年的论文研究怎样从大量文本里自动生成某个领域的词汇,重点是两个词组成的术语,并且拿已有的词典来检验挑出的词是否真属于这个领域(Damerau,1993)。同一年,Dunning 指出当时不少文本统计用错了方法,这些方法默认数据服从正态分布,遇到少见的词就不准,而少见的词在真实文本里占很大一部分。Dunning 提出改用似然比检验,样本不大也能得到好结果,并且已经有人用它来认定领域专有的词(Dunning,1993)。
把这个倍数直接写出来的,是 Ahmad、Gillam 和 Tostevin 1999 年的一篇会议论文。他们拿一亿词的英国国家语料库(BNC)当通用语料,先数了数里面出现最多的 100 个词。这 100 个词占了全部文字的 45%,其中只有两个是实词,其余都是冠词、介词这类搭句子的词。他们手上的财经和政治新闻语料里,前 100 个词中的实词有 13 个。接着他们定义了一个比值,一个词在专门语料里的相对频率除以它在通用语料里的相对频率,起名叫 weirdness(反常度)。比值是 1,说明这个词在两边一样常见;大于 1,说明专门语料里用得更多。搭句子的词,比值大多在 1 上下。论文还说,这个办法不挑语言,只要有一份通用语料,甚至只要有一张词频表就能用(Ahmad 等,1999)。
语料库语言学走的是同一条路,叫法不同。Scott 1997 年提出一种找出一篇文本的关键词的办法,还提出了关键的关键词,指在许多篇文本里都是关键词的词(Scott,1997)。这里的关键词,指一份文本里出现得比另一份明显更多的词。Rayson 和 Garside 2000 年把这种比较叫作频率剖析,用它找出把两份语料区分开的词(Rayson 与 Garside,2000)。Kilgarriff 2001 年把问题直接问了出来,哪些词是一份语料特有的。文章评了一遍用过的各种统计办法,又提议换一种检验(Kilgarriff,2001)。一个词有多特别,这个程度后来通称 keyness(关键性)。
办法多了,用的人也发现了它们的毛病。Baker 2004 年提醒,关键词分析容易让研究者夸大差异、忽略相同之处,最好配合着看词的分布和索引行(Baker,2004)。Pojanapunya 和 Watson Todd 2018 年比较了两种指标,发现对数似然比挑出的多是一般用语里也比较常见的词,比值比(odds ratio,两边出现机会之比)挑出的词更专门(Pojanapunya 与 Watson Todd,2018)。Egbert 和 Biber 2019 年指出,通常的算法把整份语料当成一整块,挑出的词虽然出现得多,却常常只集中在少数几篇文本里,他们提出改按一个词出现在多少篇文本里来算(Egbert 与 Biber,2019)。
尺子本身也要挑。Brysbaert 和 New 2009 年检验过几份英语词频表,发现词频表取自哪种文字,对好不好用影响很大(Brysbaert 与 New,2009)。中文可用的通用词频表里,有 Cai 和 Brysbaert 2010 年从影视字幕统计的一份,语料是 4680 万字、3350 万词(Cai 与 Brysbaert,2010)。用哪一份表,平常两个字指的就是哪一种文字里的平常。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 1989 | Fox | 从通用语料的词频编出一张停用词表 |
| 1993 | Damerau | 从大量文本里自动生成领域词汇 |
| 1993 | Dunning | 适合少见词的似然比检验 |
| 1997 | Scott | 找出一篇文本的关键词的办法 |
| 1999 | Ahmad 等 | 专门语料和通用语料的词频比值 |
| 2001 | Kilgarriff | 评比找特有词的各种统计办法 |
| 2004 | Baker | 关键词分析容易夸大差异 |
| 2018 | Pojanapunya 与 Watson Todd | 不同指标挑出的词不一样 |
| 2019 | Egbert 与 Biber | 把词分布在多少篇文本里算进来 |
现在谁在用,拿它做什么
Ahmad 等人自己就给了一个例子。他们从《金融时报》那部分语料的词频表里,去掉 BNC 里最常见的 100 个词,剩下的前几名里有【英镑】【公司】【市场】;去掉最常见的 2000 个词,剩下的是【投资者】【收益】【亏损】这样更具体的词。
城市研究里,Terkper 和 Baddianaah 2024 年考察加纳报纸对首都阿克拉内涝的报道。他们把 86602 词的洪水新闻和 422436 词的参照语料对照,先找出洪水新闻里特有的词,再去读这些词的上下文(Terkper 与 Baddianaah,2024)。
旅游研究里,Franceschi 2021 年分析外国游客写的中国旅行博客,也是先看关键词和搭配,再抽样细读,结论是游客对中国和中国人的印象总体正面(Franceschi,2021)。
Pojanapunya 和 Watson Todd 的两个案例来自别的领域。一个是拿预付费诈骗信和 BNC 比,一个是拿应用语言学的论文和其他学科的论文比。
想深入可以读这几篇
- Ahmad、Gillam 与 Tostevin(1999)University of Surrey Participation in TREC 8: Weirdness Indexing for Logical Document Extrapolation and Retrieval (WILDER),把专门语料和通用语料的词频比值讲得很清楚,带着完整的例子,全文可以免费读。
- Kilgarriff(2001)Comparing Corpora,想知道有哪些统计办法、各自的问题在哪,读这篇。
- Rayson 与 Garside(2000)Comparing corpora using frequency profiling,六页,把比较两份语料的做法讲完了。
- Baker(2004)Querying Keywords: Questions of Difference, Frequency, and Sense in Keywords Analysis,讲关键词分析会在哪些地方误导人。
- Pojanapunya 与 Watson Todd(2018)Log-likelihood and odds ratio: Keyness statistics for different purposes of keyword analysis,选指标之前读,两种指标各适合什么目的。
- Egbert 与 Biber(2019)Incorporating text dispersion into keyword analyses,讲为什么要看一个词分布在多少篇文本里。
TATOOLS 怎样标出虚高频词
TATOOLS 的【高频词提取】报告里有一栏【标注为虚高频的条目】。它只看出现最多的前 30 个词,标两类。一类是常用的代词、连词、介词和助词。另一类是平时就常见的词,拿它在你的材料里的出现率和通用中文词频表里的出现率相比,不超过 5 倍就标出来,范围也可以放宽到 8 倍。词频表里没有的词不标,新词、专名和你自己词典里的词都属于这种。标注只是提示,所有计数照旧。
想自己定参照,比如拿今年的政策文件对比去年的,用【语料对比关键词分析】。它把目标语料和参考语料放在一起比词频,分别列出目标里说得明显更多和明显更少的词,每个词给出三项关键性指标。