领域术语抽取:一个领域常用哪些多词说法
【旅游目的地形象】一分词就碎成三个词。这篇讲怎样从一批同领域的材料里自动找出术语,C-value 怎样处理短术语嵌在长术语里的情况,这套办法从哪来,各学科怎么用,想深入该读哪几篇论文。
假设你在做旅游研究的文献综述,手上有近十年三百篇论文的摘要,想先列一份这个领域的术语表,编码时用,也给分词软件补词典。词频统计帮不上忙,【旅游目的地形象】被切成【旅游】【目的地】【形象】,【游客满意度】也成了两个词。你要找的是几个词连在一起、在这个领域里指一个固定概念的说法。
领域术语抽取(automatic term extraction)就做这件事,通常分两步。先按词性圈候选,名词接名词、形容词接名词这样的词串留下,带动词和副词的大多不要。再给候选打分,出现得多的分高;一个短串如果多半只是某个长术语的一部分,就扣分。它和关键短语抽取找的东西不同,那边问哪几个说法最能代表某一篇,这边要的是整批材料共用的那套词汇。用得很多的一种打分叫 C-value(多词术语得分)。
C-value = log₂(词数) × (出现次数 − 包含它的更长候选的平均出现次数)
词数是候选由几个词组成,词数多的乘得多。如果没有更长的候选包含它,括号里就只剩出现次数。举个例子,数字是假设的。【旅游目的地形象】三个词,出现 40 次,没有更长的候选包含它,得分约是 1.58 乘 40,约等于 63。再看【目的地形象】,出现 50 次,可其中 40 次是在【旅游目的地形象】里,两个词的 log₂ 是 1,扣掉之后得分是 1 乘 10,等于 10。【游客满意度】也是两个词,出现 30 次,没有长术语包含它,得分就是 30。【目的地形象】次数最多,分数却最低,它的大部分出现都算到了长术语头上。单个词的 log₂ 是 0,这个式子只管两个词以上的术语。
先圈名词短语,再给它们打分
1992 年,Bourigault 介绍了 LEXTER。法国电力公司研发部的文献部门要给一个个领域列术语,维护和新编索引用的主题词表,这个软件就是为此开发的。输入一个领域的法语文本,它先截出最长的名词短语,再拆出结构上像术语的部分,列成清单交专家审定(Bourigault,1992)。
语法圈出的候选里也有不是术语的名词短语。Daille、Gaussier 和 Langé 1994 年先用语言学规则在英语和法语文本里找出可能是术语的名词短语,再拿多种统计分数比,看哪种最能把候选里的术语和非术语分开。语料是电信领域的英法平行文本,每种语言约 20 万词,比下来最有用的看来是似然比检验和词对出现的次数(Daille 等,1994)。似然比检验在和通用语料比词频那一篇讲过。
Justeson 和 Katz 1995 年总结了技术术语两方面的特点。一是结构,术语大多是名词短语,由形容词和名词组成,偶尔带介词,很少含动词、副词或连词。二是重复,术语在文中反复出现的样子和别的名词短语不同,占技术词汇大多数的多词术语尤其如此。据此写成的算法找回了文中很大一部分术语,找出的串里真术语也占很大比例,用在哪个领域都有效(Justeson 与 Katz,1995)。
Kageura 和 Umino 1996 年的综述把已有研究归成两路,一路是信息检索里为编索引找重要的词,一路是计算语言学里的术语识别(Kageura 与 Umino,1996)。Yang 等人 2008 年的论文把抽取概括为两步,先用 unithood(成词度)判断一个字串够不够格当一个术语,再用 termhood(术语度)判断它是不是这个领域专有的,后一个概念引的就是这篇综述(Yang 等,2008)。
Frantzi 和 Ananiadou 专门处理嵌套。他们 1996 年指出,以往多数办法只在短串自己单独出现得够多时,才把它当作搭配收下,许多嵌在长搭配里的短搭配就漏掉了(Frantzi 与 Ananiadou,1996)。他们 1999 年的论文讲 C-value/NC-value 方法,分两部分。C-value 在出现次数的基础上专门照顾嵌套术语,就是开头那个式子;NC-value(加上语境的得分)先从语料里找出常在术语旁边出现的词,再把这些信息加进打分。在一份医学语料上和单纯数次数相比,C-value 认出嵌套多词术语的效果更好,NC-value 让多词术语整体认得更好(Frantzi 与 Ananiadou,1999)。
统计分数是不是越复杂越好,Wermter 和 Hahn 2006 年专门检验过。用四条定性标准比下来,纯统计的指标和直接数次数几乎没有差别,加进语言学信息的指标才拉开明显差距(Wermter 与 Hahn,2006)。Zhang 等人 2008 年比较了五种算法,又提出一种投票合成的办法,投票法在维基百科文本上最好,在生命科学的 Genia 语料上差一些。他们的结论是评测用什么语料对结果影响很大,有些领域里单个词的术语也占不小的比例(Zhang 等,2008)。到 2018 年,Astrakhantsev 的开源工具 ATR4S 收进 13 种方法,拿它们在 7 个公开数据集上比,没有哪一种在所有数据集上都最准(Astrakhantsev,2018)。
比较各种办法,要有人工标注过术语的数据。Rigouts Terryn、Hoste 和 Lefever 2019 年发表了一套,覆盖三种语言、四个领域。他们说这种标注很费力,术语和一般用语之间又没有清楚的界线,标注者之间一致的程度因此偏低(Rigouts Terryn 等,2019)。第二年的 TermEval 2020(一次术语抽取评测)用的是这套数据的更新版,领域有腐败和马术,也有心力衰竭和风能。各系统结果差别很大,有的准,有的全,有的特别会找少见的术语(Rigouts Terryn 等,2020)。按 Lang 等人 2021 年的说法,这次评测的获胜系统已经用上 BERT(一种预训练语言模型)。Lang 等人自己提出三种基于 Transformer(一种神经网络结构)的模型,逐句找术语,在这套数据上明显超过以往的基线,逐词判断的那种最好(Lang 等,2021)。到 2026 年,Tran 等人的综述把重点放在 Transformer 模型和大语言模型的生成式做法上(Tran 等,2026)。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 1992 | Bourigault | 截出名词短语,列成清单交专家审定 |
| 1994 | Daille 等 | 先用语法圈候选,再比统计分数 |
| 1995 | Justeson 与 Katz | 术语的词性结构和重复出现 |
| 1996 | Kageura 与 Umino | 梳理术语识别的两路研究 |
| 1999 | Frantzi 与 Ananiadou | C-value 和 NC-value |
| 2006 | Wermter 与 Hahn | 纯统计指标和数次数差不多 |
| 2008 | Zhang 等 | 评测语料左右比较结果 |
| 2019 | Rigouts Terryn 等 | 共用的人工标注数据 |
| 2021 | Lang 等 | 用 Transformer 逐句找术语 |
换一种语言,换一个领域
C-value 原本是对着英语里的嵌套术语设计的。Mima 和 Ananiadou 2000 年把它用到日语上,在一份人工智能领域的日语语料上做了几组实验,结论是它能撑起一个不挑领域和语言的术语识别系统(Mima 与 Ananiadou,2000)。中文词与词之间没有空格。Yang 等人的办法不做完整分词,转而找术语之间那些比较稳定的分隔成分,在两个领域的中文语料上比已有办法有明显改进(Yang 等,2008)。Liu 和 Shao 2010 年改造 C/NC-value 来抽中文术语,去掉其中语言学的部分,加进互信息和对数似然比来计算候选串的统计特征(Liu 与 Shao,2010)。互信息在新词发现那一篇讲过。
文献计量里,术语图要显示一个学科里重要的术语彼此怎样关联,图上的术语通常由人在领域专家帮助下手工挑,既主观又费力。van Eck 等人 2010 年提出一套自动识别术语的办法来挑,画了运筹学的术语图,请运筹学专家评估,总体效果不错(van Eck 等,2010)。
法律语言研究里,Marín Pérez 和 Rea Rizzo 2013 年自建了 260 万词的法律语料,比较两种自动识别术语的办法,一种是 Scott 的关键词法,一种是 Chung 2003 年的办法。评估的 2000 个词项中,关键词法认出的真术语占 62%,远胜另一种(Marín Pérez 与 Rea Rizzo,2013)。
想深入可以读这几篇
- Kageura 与 Umino(1996)Methods of automatic term recognition,综述,讲自动术语识别的原理和方法,分信息检索和计算语言学两路梳理。
- Justeson 与 Katz(1995)Technical terminology: some linguistic properties and an algorithm for identification in text,讲术语在词性结构和重复上的特点,以及据此写成的算法。
- Frantzi 与 Ananiadou(1999)The C-value/NC-value domain-independent method for multi-word term extraction,讲 C-value 和 NC-value 两部分怎样算,以及在医学语料上和单纯数次数的比较,全文可以在 J-STAGE 免费下载。
- Tran 等(2026)Recent Advances in Automatic Term Extraction: A Comprehensive Survey,综述神经网络方法,重点是 Transformer 模型和基于大语言模型的生成式做法,也和更早的机器学习方法作了比较。
在 TATOOLS 里抽领域术语
TATOOLS 里做这件事的工具是【领域术语抽取】,交给它的是同一领域的一批材料,比如一个方向的论文,或几年的规划文本和政策文件。报告给每条术语列出词数、频次,以及 C-value 和 NC-value 两项得分,标出它命中的词性模板和包含它的更长术语,附原文例句供核对;另有两部分,一部分看短术语嵌在哪些长术语里,一部分看各个词性模板贡献了多少候选。报告还给出一份可以直接当分词词典用的术语表。