leafiy教程

词汇增长曲线:文字越长,新词为什么越来越少

一批留言越读越长,没见过的词却出现得越来越慢。这篇讲描述这条曲线的 Heaps 定律,它和 Zipf 定律是什么关系,拟合出来的指数说明什么,各学科拿它研究什么,想深入该读哪几篇。

作者 Leafiy · 更新于 · 3956 字 · 约 14 分钟

词汇增长曲线:文字越长,新词为什么越来越少(封面插图)

假设你在做一个老城更新项目,向居民征集意见,收到几千条留言。你从头往下读,把没见过的词记在本子上。头几十条留言,几乎每条都添几个新词,【电梯】【停车】【菜市场】【拆迁】。读过一千条以后,本子上的词很少再增加,留言反复说的还是那些事,隔很久才冒出一个【口袋公园】。

把这个过程画出来,横轴是读过的总词数,纵轴是其中不重复的词有多少个,得到的就是词汇增长曲线(vocabulary growth curve)。它开头很陡,越往后越平。这条曲线的形状可以用一个式子描述,信息检索里叫 Heaps 定律(Heaps' law),语言学里叫 Herdan 定律,说的是同一件事。

V = K × N^β

N 是读过的总词数,V 是其中不同的词有几个。K 和 β 是两个常数,从曲线上拟合出来。β 在 0 和 1 之间,文本每长 1%,词表大约长 β%。β 越接近 1,新词来得越勤;β 越小,用词越早收拢到一套固定的词上。下面的数字是假设的。设 K 为 10,β 为 0.5,读到 1 万个词时,1 万的 0.5 次方是 100,V 就是 1000。读到 4 万个词,V 是 10 乘以 200,等于 2000,文本长到 4 倍,词表只翻了一番。β 若是 0.7,同样从 1 万读到 4 万,词表会长到原来的约 2.6 倍。

新词越来越少,原因在词频里。词频统计那一篇讲过 Zipf 定律,少数常用词占去大半篇幅,大量的词只出现一两次。前面读过的部分已经把常用词收齐了,剩下没见过的都是少见的词,要等很久才轮到一个。不同的词数除以总词数的 TTR 也因此随文本变长一路下降,词汇多样性那一篇讲怎样对付它。

从一条经验规律到它背后的词频

Herdan 1960 年出版了《Type-Token Mathematics》(类符形符数学),副题是 A Textbook of Mathematical Linguistics(数理语言学教科书),当年就有 Ross 的书评。语言学里这条规律就记在 Herdan 名下。

Efron 和 Thisted 1976 年问了一个文本之外的问题,莎士比亚认识却从没用过的词有多少。莎士比亚的作品里有 31534 个不同的词,14376 个只出现过一次,4343 个出现过两次。论文考察了两种模型,结论是它们都相当于假定莎士比亚至少还认识 35000 个没用过的词(Efron 与 Thisted,1976)。题目把它归进估计没采到的物种(unseen species)有多少这一类问题,作者认识却没写出来的词,就是还没采到的物种。

信息检索是从另一头碰上这条规律的。Heaps 1978 年出版的教材《Information Retrieval: Computational and Theoretical Aspects》,据当时的书评,第七章考察文献数据库的词汇特征,以及这些特征和检索、存储的关系(Montague 的书评)。这一行后来把它叫作 Heaps 定律。Egghe 2007 年把语言学的 Herdan 定律和信息检索的 Heaps 定律看作同一现象的两种写法,再从数学上论证,词表多大不只取决于文本多长,还取决于词频分布的几个参数,文本足够长时两者才近似成幂律关系(Egghe,2007)。

它和词频的关系后来被推了出来。van Leijenhorst 和 van der Weide 2005 年假定词按 Mandelbrot 分布抽出,Zipf 定律是这种分布的特例,由此正式推出了 Heaps 定律,并给出它适用的范围。文中提到,此前已有研究在一个假设下推出,两条定律都成立时,Heaps 的指数 β 等于 Zipf 指数的倒数(van Leijenhorst 与 van der Weide,2005)。Lü、Zhang 和 Zhou 2010 年说得更直接,系统只要服从 Zipf 定律,Heaps 定律就是它派生出来的现象。过去有一个近似解,用 Zipf 指数推算 Heaps 指数,他们指出它是无限大系统里的渐近解;在有限的系统里,Heaps 指数对系统大小很敏感,论文说的系统大小就是总词数(Lü 等,2010)。同一种材料取得长短不同,拟合出的 β 也会不同。

语料大到几百万本书,词频分布显出了两段。Petersen 等人 2012 年分析七种语言、几百万本书里的一千五百多万个词,只有较常用的词服从经典的 Zipf 定律;语料越大,对新词的需要越少(Petersen 等,2012)。Gerlach 和 Altmann 2013 年用 Google Ngram 的图书数据给出一个模型。词分两类,一类是数量有限的核心词,用得多,不影响新词出现的机会;另一类几乎无穷,用得少,用过一个就会降低以后再出新词的机会。模型把两条定律都推广成两段,两个参数只取决于语言,和数据库无关(Gerlach 与 Altmann,2013)。

按字来数,中文又不一样。Lü、Zhang 和 Zhou 2013 年指出,这两条定律在印欧语系里成立,在中日韩这类由字组成的语言里却不成立,这些语言的字典都很有限。不同的字随文本变长分三段增长,起初是直线,然后转成对数形式,最后饱和(Lü 等,2013)。

同一条曲线也出现在文字以外。Tria 等人 2014 年提出一个模型,可探索的空间每出现一样新东西就跟着变大,一样新东西会为下一样铺路。模型同时预测了新事物出现的速度和被探索空间上的分布,也就是 Heaps 定律和 Zipf 定律。检验用了四套数据,有维基百科页面的编辑和标注系统里新标签的出现,还有文本里的词和在线听歌时遇到的新歌(Tria 等,2014)。

到 2026 年,Zanette 在《语言与语言学国际百科全书》的词条里总结,过去二十年里这条定律在各种语料上受过检验,小到单部文学作品,大到几千本数字化图书连成的长语料。实际的关系可以明显偏离它,偏离的情形随语料的种类而不同,语言学上讲得通的解释仍然缺着(Zanette,2026)。

年份谁留下了什么
1960Herdan数理语言学教科书,语言学里这条规律记在其名下
1976Efron 与 Thisted估计作者认识却没写出来的词
1978Heaps信息检索教材,考察数据库的词汇特征
2005van Leijenhorst 与 van der Weide从 Zipf 一类的分布推出 Heaps 定律
2010Lü 等有限长度下 Heaps 指数随规模而变
2012Petersen 等语料越大,对新词的需要越少
2013Gerlach 与 Altmann核心词和非核心词的两段模型
2013Lü 等汉字的增长先直线、再对数、最后饱和
2014Tria 等新事物出现的速度也服从这条定律

城市、小说和乐谱里的增长曲线

人出门走动,到过的地方也像词表一样增长。Song 等人 2010 年用手机用户的位置记录研究个人出行,摘要里说,从传染病建模到交通预测和城市规划,人的出行都很要紧。他们量出一个人到过的不同地点数随时间的 0.6 次方增长,正负 0.02。指数小于 1,时间越长,人去新地方的倾向越弱(Song 等,2010)。到过的地方稳步增多,人却总在少数几处来回,这两种发现看上去相互矛盾。Alessandretti 等人 2018 年分析 4 套数据里约 4 万人的多年轨迹,把出行模式的长期变化算进去,矛盾就消失了。一个人的出行模式变化明显却平缓,任何时候常去的熟悉地点数大致守恒,典型的是 25 个左右(Alessandretti 等,2018)。

放到小说里,还可以看新词在一本书的什么位置出现。Chacoma 和 Zanette 2020 年分析六位作家的 75 部英语文学作品,词表大小和文本长度符合 Heaps 定律。在一本书内部,新词出现的过程却不服从幂律,大体接近把全书的词随机打乱后的平均。偏离这个平均的部分在统计上显著,新词多半比打乱后出现得晚,动词更晚,名词和总的趋势一致(Chacoma 与 Zanette,2020)。

音乐史也借了这条定律。Serra-Peralta、Serrà 和 Corral 2021 年用一个古典音乐语料,约 9500 首作品、五百多万个和声记号,考察 76 位作曲家的和声词汇。作曲家的和声词汇量和其作品总长之间符合 Heaps 定律,指数在 0.35 左右。他们据此定义了一个相对的丰富度,量出和声丰富度随年代呈清楚的线性上升(Serra-Peralta 等,2021)。

想深入可以读这几篇

TATOOLS 里画词汇增长曲线的工具

TATOOLS 的【词汇增长曲线分析】把这条曲线画出来。交给它游记、访谈稿或一批评论,几份材料可以各画一条,也可以合成一条,按词还是按字算可以选。报告里有词汇增长曲线,图下按当前的 β 估计,再读同样多的文字大约还会多出多少个新词;另有 Zipf 双对数图和一张高频词表。上面那个式子里的 β,报告叫用词开放度;Zipf 双对数图上那条直线的陡度,报告叫分布陡峭度 s。两者各有一条刻度条,β 对照公开语料,s 对照自然语言。旁边另列 TTR 和拟合可信度 R²。

相关工具

相关教程

← 全部教程