leafiy教程

领域术语抽取:一个领域常用哪些多词说法

【旅游目的地形象】一分词就碎成三个词。这篇讲怎样从一批同领域的材料里自动找出术语,C-value 怎样处理短术语嵌在长术语里的情况,这套办法从哪来,各学科怎么用,想深入该读哪几篇论文。

作者 Leafiy · 更新于 · 3948 字 · 约 14 分钟

领域术语抽取:一个领域常用哪些多词说法(封面插图)

假设你在做旅游研究的文献综述,手上有近十年三百篇论文的摘要,想先列一份这个领域的术语表,编码时用,也给分词软件补词典。词频统计帮不上忙,【旅游目的地形象】被切成【旅游】【目的地】【形象】,【游客满意度】也成了两个词。你要找的是几个词连在一起、在这个领域里指一个固定概念的说法。

领域术语抽取(automatic term extraction)就做这件事,通常分两步。先按词性圈候选,名词接名词、形容词接名词这样的词串留下,带动词和副词的大多不要。再给候选打分,出现得多的分高;一个短串如果多半只是某个长术语的一部分,就扣分。它和关键短语抽取找的东西不同,那边问哪几个说法最能代表某一篇,这边要的是整批材料共用的那套词汇。用得很多的一种打分叫 C-value(多词术语得分)。

C-value = log₂(词数) × (出现次数 − 包含它的更长候选的平均出现次数)

词数是候选由几个词组成,词数多的乘得多。如果没有更长的候选包含它,括号里就只剩出现次数。举个例子,数字是假设的。【旅游目的地形象】三个词,出现 40 次,没有更长的候选包含它,得分约是 1.58 乘 40,约等于 63。再看【目的地形象】,出现 50 次,可其中 40 次是在【旅游目的地形象】里,两个词的 log₂ 是 1,扣掉之后得分是 1 乘 10,等于 10。【游客满意度】也是两个词,出现 30 次,没有长术语包含它,得分就是 30。【目的地形象】次数最多,分数却最低,它的大部分出现都算到了长术语头上。单个词的 log₂ 是 0,这个式子只管两个词以上的术语。

先圈名词短语,再给它们打分

1992 年,Bourigault 介绍了 LEXTER。法国电力公司研发部的文献部门要给一个个领域列术语,维护和新编索引用的主题词表,这个软件就是为此开发的。输入一个领域的法语文本,它先截出最长的名词短语,再拆出结构上像术语的部分,列成清单交专家审定(Bourigault,1992)。

语法圈出的候选里也有不是术语的名词短语。Daille、Gaussier 和 Langé 1994 年先用语言学规则在英语和法语文本里找出可能是术语的名词短语,再拿多种统计分数比,看哪种最能把候选里的术语和非术语分开。语料是电信领域的英法平行文本,每种语言约 20 万词,比下来最有用的看来是似然比检验和词对出现的次数(Daille 等,1994)。似然比检验在和通用语料比词频那一篇讲过。

Justeson 和 Katz 1995 年总结了技术术语两方面的特点。一是结构,术语大多是名词短语,由形容词和名词组成,偶尔带介词,很少含动词、副词或连词。二是重复,术语在文中反复出现的样子和别的名词短语不同,占技术词汇大多数的多词术语尤其如此。据此写成的算法找回了文中很大一部分术语,找出的串里真术语也占很大比例,用在哪个领域都有效(Justeson 与 Katz,1995)。

Kageura 和 Umino 1996 年的综述把已有研究归成两路,一路是信息检索里为编索引找重要的词,一路是计算语言学里的术语识别(Kageura 与 Umino,1996)。Yang 等人 2008 年的论文把抽取概括为两步,先用 unithood(成词度)判断一个字串够不够格当一个术语,再用 termhood(术语度)判断它是不是这个领域专有的,后一个概念引的就是这篇综述(Yang 等,2008)。

Frantzi 和 Ananiadou 专门处理嵌套。他们 1996 年指出,以往多数办法只在短串自己单独出现得够多时,才把它当作搭配收下,许多嵌在长搭配里的短搭配就漏掉了(Frantzi 与 Ananiadou,1996)。他们 1999 年的论文讲 C-value/NC-value 方法,分两部分。C-value 在出现次数的基础上专门照顾嵌套术语,就是开头那个式子;NC-value(加上语境的得分)先从语料里找出常在术语旁边出现的词,再把这些信息加进打分。在一份医学语料上和单纯数次数相比,C-value 认出嵌套多词术语的效果更好,NC-value 让多词术语整体认得更好(Frantzi 与 Ananiadou,1999)。

统计分数是不是越复杂越好,Wermter 和 Hahn 2006 年专门检验过。用四条定性标准比下来,纯统计的指标和直接数次数几乎没有差别,加进语言学信息的指标才拉开明显差距(Wermter 与 Hahn,2006)。Zhang 等人 2008 年比较了五种算法,又提出一种投票合成的办法,投票法在维基百科文本上最好,在生命科学的 Genia 语料上差一些。他们的结论是评测用什么语料对结果影响很大,有些领域里单个词的术语也占不小的比例(Zhang 等,2008)。到 2018 年,Astrakhantsev 的开源工具 ATR4S 收进 13 种方法,拿它们在 7 个公开数据集上比,没有哪一种在所有数据集上都最准(Astrakhantsev,2018)。

比较各种办法,要有人工标注过术语的数据。Rigouts Terryn、Hoste 和 Lefever 2019 年发表了一套,覆盖三种语言、四个领域。他们说这种标注很费力,术语和一般用语之间又没有清楚的界线,标注者之间一致的程度因此偏低(Rigouts Terryn 等,2019)。第二年的 TermEval 2020(一次术语抽取评测)用的是这套数据的更新版,领域有腐败和马术,也有心力衰竭和风能。各系统结果差别很大,有的准,有的全,有的特别会找少见的术语(Rigouts Terryn 等,2020)。按 Lang 等人 2021 年的说法,这次评测的获胜系统已经用上 BERT(一种预训练语言模型)。Lang 等人自己提出三种基于 Transformer(一种神经网络结构)的模型,逐句找术语,在这套数据上明显超过以往的基线,逐词判断的那种最好(Lang 等,2021)。到 2026 年,Tran 等人的综述把重点放在 Transformer 模型和大语言模型的生成式做法上(Tran 等,2026)。

年份谁留下了什么
1992Bourigault截出名词短语,列成清单交专家审定
1994Daille 等先用语法圈候选,再比统计分数
1995Justeson 与 Katz术语的词性结构和重复出现
1996Kageura 与 Umino梳理术语识别的两路研究
1999Frantzi 与 AnaniadouC-value 和 NC-value
2006Wermter 与 Hahn纯统计指标和数次数差不多
2008Zhang 等评测语料左右比较结果
2019Rigouts Terryn 等共用的人工标注数据
2021Lang 等用 Transformer 逐句找术语

换一种语言,换一个领域

C-value 原本是对着英语里的嵌套术语设计的。Mima 和 Ananiadou 2000 年把它用到日语上,在一份人工智能领域的日语语料上做了几组实验,结论是它能撑起一个不挑领域和语言的术语识别系统(Mima 与 Ananiadou,2000)。中文词与词之间没有空格。Yang 等人的办法不做完整分词,转而找术语之间那些比较稳定的分隔成分,在两个领域的中文语料上比已有办法有明显改进(Yang 等,2008)。Liu 和 Shao 2010 年改造 C/NC-value 来抽中文术语,去掉其中语言学的部分,加进互信息和对数似然比来计算候选串的统计特征(Liu 与 Shao,2010)。互信息在新词发现那一篇讲过。

文献计量里,术语图要显示一个学科里重要的术语彼此怎样关联,图上的术语通常由人在领域专家帮助下手工挑,既主观又费力。van Eck 等人 2010 年提出一套自动识别术语的办法来挑,画了运筹学的术语图,请运筹学专家评估,总体效果不错(van Eck 等,2010)。

法律语言研究里,Marín Pérez 和 Rea Rizzo 2013 年自建了 260 万词的法律语料,比较两种自动识别术语的办法,一种是 Scott 的关键词法,一种是 Chung 2003 年的办法。评估的 2000 个词项中,关键词法认出的真术语占 62%,远胜另一种(Marín Pérez 与 Rea Rizzo,2013)。

想深入可以读这几篇

在 TATOOLS 里抽领域术语

TATOOLS 里做这件事的工具是【领域术语抽取】,交给它的是同一领域的一批材料,比如一个方向的论文,或几年的规划文本和政策文件。报告给每条术语列出词数、频次,以及 C-value 和 NC-value 两项得分,标出它命中的词性模板和包含它的更长术语,附原文例句供核对;另有两部分,一部分看短术语嵌在哪些长术语里,一部分看各个词性模板贡献了多少候选。报告还给出一份可以直接当分词词典用的术语表。

相关工具

相关教程

← 全部教程