词汇多样性:用词丰富还是翻来覆去那几个
不同的词数除以总词数,看上去就能量出用词丰富不丰富,可文字越长这个比值越小。这篇讲 TTR 怎样被长度骗,MTLD、MATTR 这些指标怎样补救,各学科拿它研究什么,想深入该读哪几篇。
假设你在研究古镇的导游讲解,录下一位老导游和一位新导游的讲解,转成文字。你想知道谁的用词更丰富,谁翻来覆去总是那几句。最直接的办法是数两样东西,一共说了多少个词,其中不重复的词有多少个,再拿后者除以前者。
这个比值叫 TTR(type-token ratio,类符形符比)。type 指不同的词,同一个词出现十次也只算一个;token 指词的每一次出现,出现十次就算十个。
TTR = 不同的词数 ÷ 总词数
用词重复得越少,TTR 越接近 1;同一个词说个不停,TTR 就很小。下面的数字是假设的。老导游讲了 3000 个词,用到 900 个不同的词,TTR 是 0.30。新导游只讲了 1000 个词,其中不同的词有 450 个,算下来是 0.45,看上去比老导游丰富。可是只看老导游开头的 1000 个词,不同的词已经有 480 个,TTR 是 0.48,反倒比新导游高。
这个毛病出在长度上。讲得越久,【我们】【这里】【大家】这些常用词一遍遍回来,新冒出来的词越来越少,总词数涨得比不同的词数快,TTR 就一路往下走。新词出现得越来越慢,这条曲线在词汇增长曲线那一篇里专门讲。长短不同的两段文字直接比 TTR,比出来的多半是长短。后来提出的许多词汇多样性(lexical diversity)指标,都在想办法让这个数不再跟着长度走。
从 TTR 到 MTLD:怎样不让长度说了算
TTR 在儿童语言研究里用得很多。Richards 1987 年指出,它常常分不出语言发展阶段相差很远的孩子,孩子长大了,比值反而可能下降。文章认为原因在于样本的词数和 TTR 呈负相关,只是两者不成直线,并建议先把词数统一,再算 TTR(Richards,1987)。
也有人从 TTR 变出别的式子,想找一个不随长度变的量。Tweedie 和 Baayen 1998 年的论文题目是一句发问,一个常数能有多大的变动,副题说的是把各种词汇丰富度的度量放到一起看(Tweedie 与 Baayen,1998)。
McKee、Malvern 和 Richards 2000 年认为,TTR 和从它变出来的式子都有缺陷,算出的值总和样本的词数有关。他们用一个数学模型描述 TTR 和样本词数之间的关系。论文介绍的软件 vocd 先从文本里随机抽词,画出实测的 TTR 曲线,再拿模型算出的一族理论曲线去贴,调整一个参数直到贴得最好,这个参数叫 D。论文说 D 没有以往方法的样本量问题(McKee 等,2000)。Malvern 等四位作者 2004 年出版的专著里,有一章专讲这个数学模型(Malvern 等,2004)。
McCarthy 和 Jarvis 2007 年形容 vocd 几乎成了这一行的标准工具,同时拿出理论和实证两方面的证据,质疑它的依据,也指出它的信度不够理想。他们发现 D 能较稳地反映一篇文本里各个词出现的概率,可这些概率本身受文本长度影响。文章提到 Malvern 等人也承认 D 会受长度影响,只是认为在他们关心的长度范围里影响不显著;这篇文章找出了影响显著的那些长度范围(McCarthy 与 Jarvis,2007)。
两人 2010 年检验了 MTLD(measure of textual lexical diversity,文本词汇多样性量度)。它看的是,用词保持在一定的变化程度上,能连着走多长一串词,再取这些词串的平均长度。比较的对象是当时主要的几种指标,有 vocd-D(也就是 vocd 算出的 D)和 TTR,有 Maas 和 Yule's K(两种以提出者命名的公式),还有从超几何分布直接算出的 HD-D。在两套语料上比下来,只有 MTLD 没有随文本长度变化;HD-D 可以代替 vocd-D;MTLD、vocd-D(或 HD-D)和 Maas 看来各自抓到了别的指标抓不到的信息。文章建议研究者把这三项一起用,不要只靠一项(McCarthy 与 Jarvis,2010)。
同一年,Covington 和 McFall 提出 MATTR(moving-average type-token ratio,滑动平均的 TTR)。开一个长度固定的窗口沿着文本往后滑,每到一处算一次窗口里的 TTR,最后取平均。按论文的说法,这样算出的值与全文长短无关,既能看出一篇文本内部哪里起了变化,也能看出文本之间的差别(Covington 与 McFall,2010)。
Jarvis 2013 年回头检讨这些指标是怎么验证的。过去多半看它能不能摆脱样本量的影响,或者能不能预测语言知识和语言行为,很少问它量的到底是不是多样性。文章借用生态学测量生物多样性的思路,把词汇多样性看成有好几个维度(Jarvis,2013)。Kyle、Crossley 和 Jarvis 2021 年拿母语和二语写作者的议论文,把三个维度的指标和人对多样性的直接打分对照,abundance(丰度)最能预测人的打分,它和 variety(变化)合起来能解释打分差异的 74%(Kyle 等,2021)。
Zenker 和 Kyle 2021 年用 4542 篇二语议论文,在 50 到 200 词的长度上考察九项指标受长度影响的程度。MATTR 和两种版本的 MTLD 最稳定,MATTR 在这个范围里的各种长度上都稳。TTR 在哪种长度上都不稳定,它早年的两种修正 Root TTR 和 Log TTR(一个把分母换成总词数的平方根,一个把分子分母都取对数)也一样(Zenker 与 Kyle,2021)。
Bestgen 2024 年的方法综述把长度问题分成两层。文章在三批英语学习者的文本上发现,先把所有文本缩到同一长度的指标,不论用概率的办法还是算法的办法,都解决了第一层,不再随文本长度变化。第二层没有一项解决,结果会随【缩到多长】这个参数变(Bestgen,2024)。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 1987 | Richards | TTR 随样本变长而下降,先统一词数再比 |
| 1998 | Tweedie 与 Baayen | 追问丰富度度量里的【常数】能变多少 |
| 2000 | McKee、Malvern 与 Richards | 拟合 TTR 曲线得到 D,软件 vocd |
| 2007 | McCarthy 与 Jarvis | D 也受文本长度影响 |
| 2010 | McCarthy 与 Jarvis | 验证 MTLD,HD-D 可以代替 vocd-D |
| 2010 | Covington 与 McFall | 滑动窗口的 MATTR |
| 2013 | Jarvis | 多样性有好几个维度 |
| 2021 | Zenker 与 Kyle | 4542 篇作文上 MATTR 和 MTLD 最稳 |
| 2024 | Bestgen | 缩到多长,这个参数也会改变结果 |
小说、施政演说和口译稿里的用词
Iris Murdoch 是战后英国最受推崇的作家之一,最后一部小说 1995 年出版,评论界反应冷淡。此后不久 Murdoch 出现认知衰退,确诊阿尔茨海默病,1999 年去世后经病理证实。Garrard 等人用自动文本分析比较了 Murdoch 的三部小说,第一部、创作盛年的一部和最后一部。三部在整体结构和句法上差别不大,词汇多样性等词汇特征却差得明显,变化方向也一致(Garrard 等,2005)。
政策文本也可以这样量。Zheng 2025 年用日本首相的正式施政演说做语料,分别考察词汇多样性、词汇密度和词汇复杂度,再看文本长度对它们的影响。结果文本长度不影响密度和复杂度,三项指标之间也没有一致的关系(Zheng,2025)。
Liu 和 Dou 2023 年的语料取自联合国安理会的发言,比较美国英语的原始发言、从中文同传成英语的稿子和从俄语同传成英语的稿子,用了十项词汇指标。从俄语译入英语的稿子,用词比原始英语发言简单,和从中文译出的稿子比也更简单。文章认为,这是有经验的同传译员为了应付认知负担,有意简化了用词(Liu 与 Dou,2023)。
Zhang 2021 年分析了 40 名柬埔寨母语者的中文作文,中文水平越高,词汇变化(lexical variation,用词的变化程度)越多;不过和作文质量关系更紧的是词汇复杂度和用词错误率,词汇变化对作文质量的影响较小(Zhang,2021)。
想深入可以读这几篇
- Richards(1987)Type/Token Ratios: what do they really tell us?,九页,讲 TTR 为什么常常分不出儿童语言发展的阶段。
- Malvern、Richards、Chipere 与 Durán(2004)Lexical Diversity and Language Development,专著,从传统的测法讲到 D 背后的数学模型。
- McCarthy 与 Jarvis(2010)MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment,把几种主要指标放在一起比。
- Covington 与 McFall(2010)Cutting the Gordian Knot: The Moving-Average Type–Token Ratio (MATTR),七页,MATTR 的出处。
- Bestgen(2024)Measuring Lexical Diversity in Texts: The Twofold Length Problem,方法综述,arXiv(公开的论文预印本网站)上有免费的预印本。
TATOOLS 里算词汇多样性的工具
TATOOLS 的【词汇多样性分析】处理访谈稿、游记或政策文件这类文字。报告给每份材料列出包括 TTR 和 MTLD 在内的九项指标,画一条沿着全文走的 MATTR 曲线,看用词从哪一段开始重复。几份一起交时,报告按 MTLD 标出用词最丰富和最重复的一份,再用雷达图、汇总表和两两相似度矩阵把它们放在一起比。