leafiy教程

词语搭配与共现:两个词总是一起出现,背后藏着什么可用的规律?

【古镇】后面总跟着【夜景】,是固定说法,还是两个词碰巧挨着?这篇讲共现怎么数,互信息、T 值和对数似然比各偏向什么样的搭配,这套办法从哪来,各学科怎么用,想深入该读哪几篇论文。

作者 Leafiy · 更新于 · 3875 字 · 约 13 分钟

词语搭配与共现:两个词总是一起出现,背后藏着什么可用的规律?(封面插图)

假设你在研究一个古镇的旅游形象,手上有几千条游客评论,想知道游客说到【古镇】的时候,身边常跟着哪些词。把【古镇】前后几个词里出现过的词数一遍,排在前面的多半是【我们】【一个】【非常】,【夜景】【石板路】反倒靠后。前几个词哪儿都多,和谁都碰得上;后两个词没那么常见,一出现却常挨着【古镇】。

搭配研究要把这两种情况分开。先定一个范围,比如一个词左右各五个词以内,两个词在这个范围里同时出现一次,就记一次共现(co-occurrence,一起出现)。再算一算,假如词是随手撒在文本里的,按各自的出现次数,两个词本该碰上几次。实际次数比碰巧的次数高出越多,这两个词越像一个搭配(collocation,经常结伴出现的词)。常用的一个指标叫互信息。

互信息 = log₂(实际共现次数 ÷ 期望共现次数)

期望共现次数是两个词各自的出现次数相乘,再除以总词数,也就是词随机排列时两个词大约会碰上几次。log₂ 是以 2 为底的对数,结果每大 1,实际次数和期望次数之比就翻一番;结果是 0,说明两个词碰上的次数和碰巧差不多。

下面的数字是假设的。评论一共 10 万词,【古镇】出现 500 次,【夜景】200 次,期望共现次数是 500 乘 200 再除以 10 万,等于 1。两个词实际一起出现了 16 次,是期望的 16 倍,互信息是 4。【我们】出现 2000 次,和【古镇】的期望共现是 10 次,实际 20 次,只有 2 倍,互信息是 1。再看【乌篷船】和【摇橹】,各只出现 3 次,3 次都挨在一起,期望共现不到万分之一次,互信息约 15,比【古镇】和【夜景】高得多。可三次共现能说明的东西其实很少。

从互信息到搭配网络

Firth 一派的语言学一直有个说法,要认识一个词,看它和谁做伴。1990 年,Church 和 Hanks 把信息论里的互信息拿来衡量词与词的关联,起名叫关联比(association ratio)。心理学统计词语联想,要让几千名被试对几百个词各写下联想到的词,论文认为这样又贵又不可靠,改从语料里估计,几万个词都能算。他们数的是一个词出现在另一个词前面五个词以内的次数,窗口小,找到的多是固定说法,窗口大,找到的是意思上相关的词。这样数,A 在 B 前和 B 在 A 前是两回事,论文有意留着词序的信息。次数很少时这个值不稳定,论文不讨论共现不超过 5 次的词对,并提到改进的办法是用 T 值剔除不显著的词对(Church 与 Hanks,1990)。

1993 年,Dunning 提出用似然比检验对付少见的词和小样本,来龙去脉在关键性一篇里讲过。文章也拿它在一份约 3 万词的金融文本上找相邻的词对,排出的结果里既有英语常见的搭配,也有这份金融文本特有的搭配(Dunning,1993)。

同一年,Smadja 介绍了抽取搭配的程序 Xtract。文章把搭配说成反复出现的词组合,一起出现的次数超过碰巧,用法又带着任意性。Xtract 先找同一句里一起出现得异常多的词对,再扩展到多个词组成的说法,最后用句法分析过滤。文章拿 1000 万词的股市新闻做演示,又请一位词典编纂者核看约 4000 个候选。句法过滤之前,候选里约 40% 算得上搭配;过滤之后,Xtract 留下的约 80% 得到认可(Smadja,1993)。

共现也能连成一张网。Ferrer i Cancho 和 Solé 2001 年把句子里一起出现的词连起来,发现任意两个词之间平均只隔两到三步,词的连接数呈无标度分布,也就是少数词连着大量别的词(Ferrer i Cancho 与 Solé,2001)。

Evert 2005 年的博士论文说,早在四十年前就有一大堆指标可选,却几乎没有挑选的依据,这种情形一直没怎么变,连一本能查准确定义的参考书都没有。论文把各种指标统一写成实际次数和期望次数的式子,再用抽取搭配的评测来比较,发现评测结果很难推广到别的条件下(Evert,2005)。

几种指标各偏向什么,从 Rychlý 2008 年的一张表上能看出来。文章在英国国家语料库(BNC)里取动词 break(打破)左右各五个词以内的搭配。按 T 值(实际次数减期望次数,再除以实际次数的平方根)排,排在前面的是 the 和 and 这类最常见的词,句号和逗号也在里面。互信息排出的前几名里,有 spell-wall、hoodoo 这类和 break 只一起出现过三五次的词。换成 Dice 系数(共现次数的两倍除以两个词出现次数之和),down、silence 和 leg 排到了前面。文章认为 Dice 排得很好,只是数值太小,于是以 2 为底取对数再加 14,叫 logDice(对数 Dice),最大值是 14,而且不随语料大小变化(Rychlý,2008)。

Gries 2013 年指出,搭配不一定对称,一个词引出另一个词的力度可以和反过来不同,多数指标却默认两边一样,文章从联想学习的研究里借来一个分得出方向的指标(Gries,2013)。Brezina、McEnery 和 Wattam 2015 年重提搭配网络,即把彼此搭配的词连成网,写了能从自选语料生成这种网络的工具 GraphColl,并用一个案例说明搭配网络能揭示词义之间的关系(Brezina 等,2015)。Kang 2018 年拿词语联想的结果对照语料里的搭配,发现以段落为单位数共现,比以句子为单位更接近人的联想。几种指标里,对数似然比和 T 值与联想更一致,其中对数似然比以微弱优势领先互信息和 MI3(把共现次数立方后再算的互信息)(Kang,2018)。

年份谁留下了什么
1990Church 与 Hanks用互信息衡量词与词的关联
1993Dunning适合少见事件的似然比检验
1993Smadja自动抽取搭配的程序 Xtract
2001Ferrer i Cancho 与 Solé共现网络里两个词平均只隔两三步
2005Evert把各种关联指标整理成一套
2008Rychlý不随语料大小变化的 logDice
2013Gries分得出方向的搭配指标
2015Brezina 等生成搭配网络的工具 GraphColl
2018Kang拿词语联想检验共现单位和指标

城市、旅游和新闻研究怎么用它

城市研究把共现用在地名上,两个地名常在同一篇文字里出现,就当作两地联系紧密的迹象。Liu 等人 2014 年按两个省名在同一个网页里共现的次数,考察中国省一级的空间结构。空间上相近的省份,共现模式大体相似,共现次数随距离衰减,符合指数为 0.2 的幂律,共现矩阵还能拿来做区域划分(Liu 等,2014)。Meijers 和 Peris 把这个办法用到 Common Crawl(一个网页存档)里的数十亿个网页上,考察荷兰的城镇体系,发现常被看作一体的兰斯塔德地区,内部联系比预期弱一些(Meijers 与 Peris,2019)。Wang Tongjing 等人 2024 年用同一个存档里约 25 亿个网页,算出中国 293 个城市两两之间的联系,整理成数据集发表(Wang Tongjing 等,2024)。

地名周围的词也能画上地图。Gregory 和 Hardie 2011 年先从语料里找出地名,再看每个地名附近出现了哪些语义类别的词,把【战争】【政府】【金钱】这些概念在一批文本里落在哪些地方画成地图。文章也说明,这一流程不能全靠机器,需要人工介入(Gregory 与 Hardie,2011)。

旅游研究里,Xue 和 Joharry 2025 年用西安官方旅游网站的英文宣传文字建了一个语料库,发现描述性形容词最多,突出西安的地理、历史和文化,又看这些形容词的搭配,分析它们在宣传文字里怎样起作用(Xue 与 Joharry,2025)。

Tang 2021 年的文章把搭配统计用在新闻上,找出美国三家主流报纸 2008 到 2010 年间反复出现的【谁对中国做了什么】的句式,再细读扩展的索引行,归纳出中国在报道里的七种角色,这些角色互相强化,把中国呈现得很负面(Tang,2021)。

想深入可以读这几篇

TATOOLS 里的搭配和共现

可以把政策文件、访谈稿或游客评论交给 TATOOLS 的【词语搭配强度分析】,再给出几个你关心的节点词。报告列出每个节点词的搭配词,附实际共现次数和期望次数,还有七项关联指标,点互信息、对数似然比和 T 分数都在其中;另有一块把各指标排在前面的搭配并排对照,一张图把节点词和搭配词连成网络。不给节点词,它列出整批材料里显著的二词组合。

【词语共现分析】可以按两个、三个或四个词一组来找。报告有共现网络和共现词组表,表里每组词都有互信息、T 分数和对数似然比,也标出词的先后顺序,还能展开看语境样本。几份材料一起交,可以对照同一组词在各份里的数值。

相关工具

相关教程

← 全部教程