leafiy教程

信息熵与词汇密度:一段话的信息量能不能算出来

同一句话重复十遍,字数多了,信息并没有多。这篇讲香农的熵怎样把信息量算成一个数,词汇密度怎样换个角度量,这两个数能说明什么、说明不了什么,各学科怎么用,想深入该读哪几篇论文。

作者 Leafiy · 更新于 · 3929 字 · 约 14 分钟

信息熵与词汇密度:一段话的信息量能不能算出来(封面插图)

假设一条老街的改造方案公示以后,收到了两千条居民意见。有的写了好几段,讲哪条巷子晚上没有灯,哪家店的油烟飘进了窗户;有的只有一句【支持支持支持】;还有的把别人的意见又抄了一遍。你想先把内容扎实的挑出来细读,就得先回答一个问题,一段话里的信息有多少,能不能算出来。

信息论的回答从猜字开始。从一条意见里随手抽一个字,让你猜是哪个字。通篇只有【支持】两个字的那条很好猜,八个字各不相同的那条就难猜得多。这个难猜的程度叫作熵(entropy,也叫信息熵)。字用得越平均、越少重复,熵越高。

H = −Σ p × log₂ p

p 是某一个字在这段话里占全部字数的比例,log₂ 是以 2 为底的对数,Σ 表示把每个不同的字都这样算一遍再加起来,前面的负号让结果不会是负数。H 的单位是比特(bit),1 比特是在两个同样可能的答案里猜中一个所需的信息。拿几条编出来的意见算一下,每条 8 个字。【好好好好好好好好】只有一个字,p 等于 1,H 是 0。【支持支持支持支持】两个字各占一半,H 是 1 比特。【巷口路灯坏了三月】八个字各不相同,H 是 3 比特。H 每多 1 比特,要猜的同样常见的字就多一倍,3 比特相当于每次在八个字里猜。8 个字的一段话,熵再高也超不过 3 比特。

另一种量法更直接,数一数实词占多少。有实在意思的词,像名词和动词,叫实词;【我们】【就是】【的】这类负责搭句子的词,在这里算作虚词。实词占全部词数的比例叫词汇密度(lexical density)。【就是那个,我们这边吧,其实也还好】差不多全是虚词,【巷口路灯损坏三月未修】几乎全是实词。

两种量法是怎么来的

信息熵出自 Shannon(香农)1948 年的论文 A Mathematical Theory of Communication(通信的数学理论)。论文开头说,消息常常带着意思,这些意思和通信的工程问题无关;论文关心的是,一条消息是从一组可能的消息里选出来的。论文给出了上面那个式子,把它叫作熵。结果完全确定时它等于 0,各种可能一样常见时它最大。论文还拿英文示范,先让字母随机排,再逐步按字母、字母组合和词的频率来排,造出的字串一步比一步像英文。照论文的估计,只考虑前后八个字母左右的关联,英文的冗余大约是 50%,写英文时一半由语言结构决定,一半是自由选的(Shannon,1948)。

数字母组合只能顾到前后几个字母。Shannon 1951 年换了个办法,利用说这种语言的人自己对语言的了解,让人看着前文猜下一个字母,从猜的结果估算熵。上一篇只算八个字母以内的关联,估计是每个字母约 2.3 比特;新办法把长到一百个字母的前文影响也算进去,普通的文学英文降到每个字母 1 比特左右,冗余约 75%(Shannon,1951)。

语言学家量信息走的是另一条路。Ure 1971 年提出词汇密度,把词分成有词汇意义的和只能从语法上描述的两类,用前一类的个数除以总词数。Ure 的结论是,大多数口语文本的词汇密度在 40% 以下,大多数书面文本在 40% 以上。Halliday 1985 年的书 Spoken and Written Language(口语和书面语)也给了定义,实词数占全部词数的比例,和 Ure 的区别是把一部分副词也算作实词(据 Johansson,2008 的梳理)。

猜字母的办法也有毛病。Cover 和 King 1978 年指出,靠猜得出的上下界,样本再多也不能保证逼近真值。他们改成让受试者对下一个字母下注,按赢下的钱来估算,初步结果是英文每个符号约 1.3 比特,和 Shannon 的估计吻合(Cover 与 King,1978)。

Brown 等人 1992 年让计算机来猜。此前的估计样本最多几百个字母,概率要请人做实验得出。他们用 5.83 亿词的文字训练了一个按前两个词预测下一个词的模型,拿它去读 596 万字符的 Brown 语料库(一份均衡的英文样本),得出英文每个字符的熵最多 1.75 比特(Brown 等,1992)。

熵也被用来看一篇文章内部。Genzel 和 Charniak 2002 年从信息论的一条结论出发,通过有噪声的信道传信息,速率保持不变最有效,人想最有效地交流,也该这样。由此推出,一个句子不看上下文时的熵,应该随它在文中的位置往后而升高,他们用三种方法量熵,结果都是如此(Genzel 与 Charniak,2002)。

Bentz 等人 2017 年用三套平行语料,约 4.5 亿词,1916 个文本,涉及 1259 种语言。样本里没有哪种语言的一元词熵(只看每个词各自多常见)低于每词 6 比特;知道了前文,每个词的不确定性在各种语言里都减少 3 比特左右(Bentz 等,2017)。Coupé 等人 2019 年比较 17 种语言,每个音节带的信息和语速都差得很多,两样一配合,每秒传的信息都在 39 比特上下(Coupé 等,2019)。

年份谁留下了什么
1948Shannon熵的定义,用比特量信息
1951Shannon请人猜下一个字母,估算英文的熵
1971Ure词汇密度,有词汇意义的词占总词数的比例
1978Cover 与 King把猜改成下注
1985Halliday把部分副词算作实词的词汇密度定义
1992Brown 等用语言模型代替人猜,上界 1.75 比特
2002Genzel 与 Charniak不看上下文时,越靠后的句子熵越高
2017Bentz 等一千多种语言的词熵
2019Coupé 等17 种语言每秒的信息量相近

这两个数说明不了什么

熵量的是用字匀不匀,和意思无关,Shannon 在 1948 年的论文开头就把意思放到了一边。同样长的两段话,随手敲出的一串互不重复的字,熵不会低于一条认真写的意见。

只按每个字多常见来算的熵也不管顺序,把一段话的字打乱重排,熵一点不变。Montemurro 和 Zanette 2011 年用相对熵(比较两种分布差多少的量)量过词序带来多少信息,整体的熵在几个语系之间各不相同,词序那一份却几乎一样(Montemurro 与 Zanette,2011)。

长短也会左右结果,短段落的熵天生偏低。Shi 和 Lei 2020 年用熵量词汇丰富度,发现文本短时数值随长度很快上升,过了一个点才稳定,用 Shannon 的估算方法,这个点在 1000 个词左右(Shi 与 Lei,2020)。

词汇密度的麻烦在分界线上,哪些词算实词,各家划法不同。Johansson 认为比较口语和书面语时,划法前后一致最要紧;文章还提醒,这类数字多半随语言而不同。中文要先分词、标出词性,才数得出实词,这一步见词性标注。词汇密度看实词占多少,词汇多样性看不同的词有多少,按 Johansson 的说法,两项理论上可以一高一低。

现在谁在用,拿它做什么

政策研究拿熵量注意力分得散不散。把式子里的字换成议题,p 就是每个议题分到的关注份额。Boydstun、Bevan 和 Thomas 2014 年指出,只看一个议题得到多少关注而不看整个议程,容易误判,还要看注意力在各议题之间分得多散。他们用模拟数据和三套真实数据比较了最常用的四种量法,结论是 Shannon 的 H 和它的标准化形式更好,不容易得出虚假的发现(Boydstun 等,2014)。

语言测试拿词汇密度看话说得更像口语还是更像书面语。O'Loughlin 1995 年用词汇密度对比澳大利亚一项英语口语考试两种考法下的考生录音,再讨论两种考试能否互换(O'Loughlin,1995)。

写作发展研究里,Johansson 2008 年请瑞典 10 岁到 17 岁的三组学生和一组大学生看一部无声影片,每人写两篇、说两篇,分叙述和说明两类。词汇密度和词汇多样性都是书面的显著高于口头的,和 Ure 的结果一致;词汇密度对文体不敏感,17 岁学生和成人也差不多(Johansson,2008)。

口译研究里,Liu 和 Dou 2023 年用联合国安理会的发言建了语料库,有未经口译的美式英语发言,也有从中文和从俄文同传译成的英文。他们从词汇密度、多样性和难度三方面用十项指标去比,从俄文译入的英文用词比原声发言简单,也比从中文译入的简单。作者认为有经验的同传译员会有意简化用词,以应付认知负担(Liu 与 Dou,2023)。

想深入可以读这几篇

在 TATOOLS 里逐段算信息熵

TATOOLS 的【信息价值评估】逐段计算信息熵、词汇密度和另外几项指标,合成一个 0 到 1 的综合得分。交给它的可以是访谈稿、政策文件或一批评论。报告按所选的文本类型给出推荐阈值,把段落分成建议保留和建议剔除或复核两边,剔除的一侧写着原因,表格里列出每段的各项分数。

相关工具

相关教程

← 全部教程