命名实体识别:文中提到了哪些人、哪些地方、哪些机构
一批新闻或访谈里提到了哪些人、哪些地方、哪些单位?命名实体识别把这些专名找出来并归类。这篇讲这项任务怎样在评测会议上定型,怎样从手写规则走到神经网络,中文难在哪里,各学科拿它做什么。
假设你在研究一座老城的更新,手上有几百篇本地新闻和政府通报,想弄清这些年反复被提到的是哪些街区和部门,又有哪些人。一篇篇读下来抄名单也行,只是慢,抄到后面还容易漏。
命名实体识别(named entity recognition,简称 NER)替你抄这份名单。它在文字里找出专有名称,再判断每个名称属于哪一类,通常是人名、地名和机构名,有时也算上时间。比如编出来的这句【2021 年春天,市规划局在西关老街召开居民座谈会】,里面有一个时间【2021 年春天】,一个机构【市规划局】,一个地名【西关老街】。
这件事难在名称没有固定的样子。【南京】单独出现是地名,在【南京大学】里只是机构名的一截;新开的商场、新设的部门,词典里还查不到。中文的词与词之间又不留空格,机器得先判断一个名称从哪个字起、到哪个字止。
从评测会议到神经网络
Nadeau 和 Sekine 2007 年写过一篇综述,回顾这个领域从 1991 到 2006 年的十五年,说这类系统一开始靠手写规则,到写综述时机器学习已经用得很普遍(Nadeau 与 Sekine,2007)。1991 年,Rau 介绍了一个从财经新闻里自动抽取公司名称的程序,做法是把经验规则、例外清单和大量语料分析结合起来。在一百多万词的财经新闻上测试,它抽出了几千个公司名称,和人工判断相比,抽出的名称超过 95% 是对的,抽到的公司比人工编的索引多 25%(Rau,1991)。
【命名实体】作为一项评测任务,是在消息理解会议(Message Understanding Conference,MUC)上定下的。这个会议的特点是评测,参加的团队拿到样例材料和抽取要求后各自做系统,会前用同一批测试材料比成绩。Grishman 和 Sundheim 1996 年回顾第六届会议(MUC-6)时说,组委会想找的任务要实际有用,基本不挑领域,近期就能由机器做得很准,于是定下了命名实体任务,要找出文中所有的人名、机构名和地名,最终的规范还加上了时间、货币和百分比。多数参赛系统的查全率和查准率都过了 90%,最好的一个查全率 96%、查准率 97%。查准率是找出来的名称里对的占多少,查全率是该找的名称里找到了多少。作者称结果很好,也提醒测试文本全部来自《华尔街日报》(Grishman 与 Sundheim,1996)。
规则的麻烦在于,每换一种语言、每多一类要找的信息,就得重写一套。Bikel 等人 1997 年的 Nymble 改用统计学习,让程序从标注好的文本里学,模型用的是隐马尔可夫模型(hidden Markov model,给一串词找出最可能对应的一串类别)的一个变体,这类模型在语音识别里用得很成功。英语训练语料有 45 万词,论文说只用 10 万词左右,成绩也接近人工写规则的系统;同一个模型还用在了西班牙语上(Bikel 等,1997)。
2003 年自然语言学习会议(CoNLL)的共享任务(shared task,大家用同一份数据各做系统、统一打分)把实体分成四类,人名、地名和机构名各一类,其余专名归作第四类,给出英语和德语两份人工标注的新闻语料,英语部分取自路透社。16 个参赛系统都带机器学习的部分,成绩用 F 值衡量,也就是把查准率和查全率合成一个分数,英语测试集上的最高分是 88.76。成绩最好的系统还用了专名词表和另外训练好的识别器,组织者指出这类资源仍要大量人工(Tjong Kim Sang 与 De Meulder,2003)。参赛的 McCallum 和 Li 用的是条件随机场(conditional random fields,给一串数据切分并贴标签的概率模型),它能同时用上词表和词性这类互相重叠的线索(McCallum 与 Li,2003)。这种模型是 Lafferty 等人 2001 年提出的(Lafferty 等,2001)。
中文多一层难处。Levow 2006 年总结第三届 SIGHAN(国际计算语言学学会的中文处理兴趣小组)评测时说,中文书写不在词与词之间留空格,分词本身就难,人工分词的人之间也常有分歧;人名、地名和机构名是词典外词语里很大的一类,词典常常收不全,还随着新的人和机构出现而变化。前两届只比分词,这一届加进了中文命名实体识别,标的是人名、地名和机构名,其中一份语料还标了地缘政治实体(国家、城市这类),两项任务共有 29 个团队提交结果(Levow,2006)。分词会怎样影响后面的统计,词频统计那一篇讲过。
2016 年,Lample 等人指出,当时最好的系统很依赖人工设计的特征和领域知识,这些到了新的语言、新的领域都要重新开发,代价很高。他们提出的模型之一,是在双向 LSTM(一种从前往后、从后往前各读一遍句子的神经网络)上面接一层条件随机场。模型只从少量标注语料和未标注文本里学词的表示,不用专名词表这类专门资源,在四种语言上取得了当时最好的成绩(Lample 等,2016)。
中文这边,Zhang 和 Yang 2018 年提出 Lattice LSTM(格状长短期记忆网络)。它按字读句子,同时把词典里能和这些字对上的词都带进来,用上了词的信息,又不受分词出错的拖累,在几份数据上胜过只看字或只看词的模型(Zhang 与 Yang,2018)。
2019 年,Devlin 等人发表论文介绍 BERT,一种先在未标注文本上预训练的语言表示模型,用到具体任务上只要加一层输出再微调。他们也拿 CoNLL-2003 的英语数据测了命名实体识别,较大的那版 BERT 在测试集上 F 值 92.8,同一份测试集上 2003 年评测的最高分是 88.76(Devlin 等,2019)。
Zaratiana 等人 2024 年指出,传统的命名实体识别模型只认事先定好的那几类实体;大语言模型可以照一句文字说明去找任意一类实体,可是体量大、费用高。他们的 GLiNER 是一个小模型,训练来识别任何类型的实体,在零样本测试(zero-shot,没用测试数据集的标注训练过)里胜过了 ChatGPT(Zaratiana 等,2024)。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 1991 | Rau | 用规则从财经新闻里抽公司名称 |
| 1996 | Grishman 与 Sundheim | 回顾 MUC-6,命名实体任务在那里定下 |
| 1997 | Bikel 等 | 从标注文本里学的 Nymble |
| 2003 | Tjong Kim Sang 与 De Meulder | CoNLL-2003 的四类实体和英德两份语料 |
| 2006 | Levow | SIGHAN 评测加进中文命名实体识别 |
| 2016 | Lample 等 | 神经网络加条件随机场,不用专门资源 |
| 2018 | Zhang 与 Yang | 字和词一起看的中文模型 |
| 2019 | Devlin 等 | 预训练再微调的 BERT |
| 2024 | Zaratiana 等 | 能找任意类型实体的小模型 |
现在谁在用,拿它做什么
城市研究拿它从新闻里找事情发生的地点。Fu 等人 2022 年以大连中心城区为例,先用命名实体识别模型从新闻网站和社交媒体账号的报道里抽出历史上的内涝地点,再把这些地点连同影响内涝的各项因素交给支持向量机(一种分类模型),评估各处受淹的可能。评出的高易涝区,对照规划报告里的内涝高危险区,查全率是 90%(Fu 等,2022)。
旅游和历史地理研究里,Donaldson、Gregory 和 Taylor 2017 年用的语料有一百五十多万词,收的是写英格兰湖区的游记和地志。他们把语料分析、自动地理解析(geoparsing,认出文中的地名并给出位置)和地理信息系统合在一起,看【优美】【如画】【崇高】【壮丽】四个审美词和哪些地方连在一起。结果显示,导游手册这类随用随弃的读物,帮着巩固了名家那套审美原则和用语的应用(Donaldson 等,2017)。
Liu 等人 2015 年把它用到中国史上,借助语言模型和条件随机场,在两百二十多卷文言地方志里识别人名和地址,找出了几千个。抽出的人名有相当一部分和哈佛大学的中国历代人物传记资料库(CBDB)对得上,另有许多经历史学者核实后可以补进这个资料库(Liu 等,2015)。
旧文献给现成的工具出了难题,语言随时代在变,拼写不统一,扫描识别也会出错。Won、Murrieta-Flores 和 Martins 2018 年在两批历史书信上比较了五个命名实体识别系统找地名的表现。单个系统的成绩随语料起伏,五个系统投票合并后,查准率和查全率都稳定下来,也胜过单个系统(Won 等,2018)。
想深入可以读这几篇
- Grishman 与 Sundheim(1996)Message Understanding Conference- 6: A Brief History,讲命名实体任务是怎么定下来的,附有标注样例。
- Nadeau 与 Sekine(2007)A survey of named entity recognition and classification,回顾 1991 到 2006 年的研究,涉及各种语言和实体类型,也讲特征和评测办法。
- Li、Sun、Han 与 Li(2022)A Survey on Deep Learning for Named Entity Recognition,想了解神经网络的做法读这篇,开头还介绍了带标注的语料和现成工具。
- Ehrmann 等(2023)Named Entity Recognition and Classification in Historical Documents: A Survey,讲历史文献给实体识别出的难题,盘点已有的资源和方法,做文史研究可以从这篇读起。
TATOOLS 里的命名实体识别
TATOOLS 的【命名实体识别】找出文本里的人名、地名和机构名,还有时间。交给它的可以是新闻报道和访谈稿,也可以是政策文件或游记。报告把规则识别和语义识别两种结果并排给出,两边对不上的地方要人工确认。每种结果都有实体类型分布和各类的高频实体,句子明细里能看到实体在原句中高亮。