leafiy教程

新词发现:词典里没有的词怎么找出来

新说法、专名和行话不在分词词典里,会被切成碎片。这篇讲怎样只凭材料自身的两条统计规律把它们找出来,这些办法从哪来,各学科怎么用,想深入该读哪几篇论文。

作者 Leafiy · 更新于 · 3782 字 · 约 13 分钟

新词发现:词典里没有的词怎么找出来(封面插图)

假设你在研究城市更新,收集了几千条居民和游客谈街区改造的帖子,想先出一张词频表。表出来,【口袋公园】不见了,【口袋】和【公园】各算各的,【网格员】成了【网格】和【员】。中文的词之间没有空格,统计词频之前要先让程序分词,程序认得的词来自事先备好的词典,或者人工分好词的语料。里面没有的说法,它只能照认识的词切开。

新词发现要做的,是只凭这批材料自己把这样的词找回来,办法是对每一串连着出现的字问两件事。

头一件,里面结合得紧不紧。举个例子,数字是假设的。材料里【口袋】出现 60 次,其中 50 次后面紧跟着【公园】。两个词碰巧挨在一起,到不了这么多次,它们是绑在一起用的。

第二件,两头搭配自不自由。一个词能放进各种句子,【口袋公园】前面可以是【修了】【这个】,后面可以是【里】【很小】,左右的邻居五花八门。【袋公】出现的次数和它一样多,可是前面总是【口】,后面总是【园】,它只是一个词中间的一截。

两件事都过关的字串,多半是一个词。这里的新是对词典说的,文献里把这类词叫未登录词(unknown word),指普通词典里没有列出的词。

这两件事是怎么一步步问出来的

头一件事用的量叫 mutual information(互信息)。Church 和 Hanks 1990 年提出用它从语料里估计词和词联系得多紧,比的是两个词一起出现的概率和它们各自出现、碰巧相遇的概率(Church 与 Hanks,1990),词语搭配那一篇细讲。同一年 Sproat 和 Shih 把它用到了汉字上。据 Sproat 等人 1996 年论文里的介绍,那项工作用互信息决定相邻两个汉字要不要并成一个两字词,说明手上没有词典时,互信息也帮得上分词(Sproat 等,1996)。

1996 年这篇论文还请六位母语者各自给 100 个句子分词,两两对比,平均一致程度是 0.76。一串字算不算一个词,人和人也说不齐。

Zhang、Gao 和 Zhou 2000 年把两件事合起来问,说办法主要来自 Chien 1997 年从中文文献里自动抽取关键词的工作(Chien,1997)。道理是一个复合词在语料里应当是一串稳定的字,内部的成分彼此关联强,两头的成分和外面的词关联弱。他们先用互信息挑出候选,再看候选两头的上下文,把不合适的去掉(Zhang 等,2000)。

两件事各管多大用,Luo 和 Sun 2003 年量过。他们只看两个字的词,把九种量内部结合的指标逐个试了,最好的是互信息,F 值(把找得准和找得全合成一个数)57.82%。几种指标搭配起来,最好到 59.87%;再加上量两头搭配的左右熵,到了 68.48%(Luo 与 Sun,2003)。

Feng 等人 2004 年为第二件事提出了一个新的量。他们认为,词是能用在许多不同语言环境里的独立单位。于是在大语料里数一串字前面紧挨着出现过多少种不同的字,后面出现过多少种,取两个数里小的那个,叫它 accessor variety(邻接多样性)。论文说,这条简单的规则抽词效果相当好,抽长词时比要反复迭代的办法还好(Feng 等,2004)。

只数种数,十种邻居各占一成,和九成挤在其中一种上,数出来都是十。熵(entropy,信息熵那一篇讲)把邻居分布得匀不匀也算了进去。Jin 和 Tanaka-Ishii 2006 年用它分词,依据是下一个字从好猜变成难猜的地方就是词的边界。读到【natura】,下一个字母好猜,读完【natural】,后面接什么就难猜了。作者说这个想法可以追到 Harris 给音素序列找切分点的工作。他们管这个量叫 branching entropy(分支熵),先在 200MB 没分过词的中文语料上统计,再用 1MB 人工分好词的材料检验,切出的边界九成是对的,人工标出的边界找到了八成左右(Jin 与 Tanaka-Ishii,2006)。

Zhao 和 Kit 2008 年把四种给候选词打分的量放进同一套框架,用同一批公开评测数据来比。邻接多样性和分支熵挑出的候选词表,在四份语料上一模一样,作者说两者反映的是同一种不确定。四种量搭配得最好时,不借任何现成的知识,F 值在 0.65 到 0.7 之间,比不过用人工标注语料训练出来的分词器(Zhao 与 Kit,2008)。

分词本身在这几年换了做法。2003 年办了第一届国际中文分词评测,Sproat 和 Emerson 总结说,各系统差距最大的一项,是训练语料里没出现过的词认出了多少,有的只比最简单的对照办法好一点,有的能认出八成(Sproat 与 Emerson,2003)。同年 Xue 把分词当作给每个字贴标签来做,标的是这个字在词里的位置,模型用人工标注的语料训练(Xue,2003)。Peng 等人 2004 年用条件随机场(CRF,一种给序列贴标签的统计模型)做这件事,模型同时给出每处切分的把握。这份把握可以拿来找新词,找的是周围都切得有把握、自己却陌生的字串,找到的新词收进词表再帮着分词(Peng 等,2004)。

Deng 等人 2016 年提出 TopWORDS(意思是自上而下地找词和分词),先把出现够多的字串全收进一份过大的词表,再按统计估计删到合适的大小,分词和找词一起完成,不用事先给词典,也不用标注语料(Deng 等,2016)。Zhao 等人 2019 年回顾 2007 到 2017 年的中文分词研究,认为最要紧的难处仍是认识的词和没见过的词怎样两头兼顾(Zhao 等,2019)。

年份谁留下了什么
1990Church 与 Hanks用互信息量词和词联系得多紧
1990Sproat 与 Shih用互信息把相邻两个汉字并成词
2000Zhang 等内部看互信息,两头看上下文
2003Luo 与 Sun量出两类指标各起多大作用
2003Xue把分词当作给每个字贴标签
2004Feng 等邻接多样性
2006Jin 与 Tanaka-Ishii用分支熵在大语料上找词的边界
2008Zhao 与 Kit把四种打分的量放在一起比
2016Deng 等不要词典也不要标注的 TopWORDS

这类统计办法的短处,Chen 和 Ma 2002 年说过两条。统计上显眼的字串可能是短语,或者半截短语,不一定是词;出现次数少的新词,统计几乎认不出来(Chen 与 Ma,2002)。专找人名地名,另有命名实体识别;专找一个领域的术语,另有领域术语抽取。

现在谁在用,拿它做什么

Li 等人 2018 年处理的是携程的 14948 条和去哪儿的 55581 条游客评论。评论写得随意,【开心】常写成【开森】,【千古情】这样的演出名在别的领域又很少见。他们用一个叫 Assembled Mutual Information(组合互信息)的指标找出旅游领域的新词,游客自造的词和专名都在内,为的是编一部旅游领域的情感词典(Li 等,2018)。

古文和现代汉语差别大,现成的工具不好用。Deng 等人把 TopWORDS 用在《宋史》全文上,全书 496 卷,约 530 万字,里面大量人名、官职一类的专门用语在多数权威词典里查不到。程序从大约 22 万个候选字串起步,最后留下 7.3 万多个词,作者抽查后说九成以上是对的,其中有官职【簽書樞密院事】和人名【蔡京】。他们接着看哪些专门用语常在同一段里出现,【程頤】【程顥】【張載】【周敦頤】四个人名就归到了一组(Deng 等,2016)。

Pan、Li 和 Deng 2023 年又为古典诗歌做了 TopWORDS 的专门版本,从《全唐诗》的格律诗里认出了专名和典故(Pan 等,2023)。

想深入可以读这几篇

TATOOLS 里找新词的工具

TATOOLS 里做新词发现的工具是【智能发现新词】。把中文的访谈稿、政策文件或游客评论交给它,它找出被分词切碎的专业术语,以及地名、人名和机构名,汇总成一份去重后的新词表。报告页上是【发现的新词】一栏,写着一共多少个,后面把每个词列出来。

工具页上有一栏【已知词表】,填进去的词视为已知,不会出现在新词结果里。

相关工具

相关教程

← 全部教程