leafiy教程

关键短语抽取:哪些整串说法最能代表一份材料

【老旧小区改造】拆成三个词,原来的意思就散了。这篇讲关键短语抽取怎样先圈候选再排先后,有监督和无监督两条路怎么走,结果怎么评,各学科怎么用,想深入该读哪几篇论文。

作者 Leafiy · 更新于 · 3973 字 · 约 14 分钟

关键短语抽取:哪些整串说法最能代表一份材料(封面插图)

假设你收集了一个省近五年各市发布的城市更新政策文件,想看看各地的重点放在哪里。词频表排在前面的是【城市】【更新】【改造】【小区】,哪份文件里都有,说明不了什么。文件里真正反复出现的,是【城市更新行动】【老旧小区改造】【完整社区】这样几个词连成的说法。分词以后它们被拆成单个的词,再按次数排,原来的说法就找不回来了。

关键短语抽取(keyphrase extraction)要找的就是这种整串的说法。做法一般分两步,先圈出候选,把文中可能自成一个说法的词串挑出来;再给候选排先后,留下最能代表这份材料的几个。排先后有两条路。有监督的办法先让机器看一批人工标好关键短语的文章,学会什么样的候选像关键短语;无监督的办法不要标注,凭候选在材料里的统计特征和它跟别的词的联系来打分。单个词怎样按出现多少加权,TF-IDF 那一篇讲过。

从 KEA 到大语言模型

Witten 等人 1999 年发表了 KEA,一种自动抽关键短语的算法。它先用词法办法圈出候选,给每个候选算几项特征值,再用机器学习的模型判断哪些候选是好的关键短语;模型事先拿一批已知关键短语的文档学出来。检验时看它能对上多少作者自己给的关键短语(Witten 等,1999)。按 Hasan 和 Ng 后来的归纳,KEA 用了三项特征:候选的 TF-IDF 值,候选第一次出现在文中多靠前,以及它在训练文档里被标成关键短语的次数(Hasan 与 Ng,2014)。Turney 2000 年的论文开头说,期刊常请作者列五到十五个关键词,这些词常常是两个以上的词连成的,所以改叫 keyphrase。论文把一篇文档看成一组短语,让算法学会判断每个短语是不是关键短语。专门为这件事设计的算法 GenEx 比通用的决策树算法 C4.5 挑得好;请人主观评判 GenEx 给出的关键短语,平均约 80% 被认为可以接受(Turney,2000)。

Hulth 2003 年比较了圈候选的三种办法:截取相邻的几个词,取名词短语,取符合某种词性序列的词串。数据是 Inspec 文献数据库里 2000 篇英文期刊论文的摘要,每篇都有专业标引人员给的关键词。结果是取名词短语比截词串精确,而把候选的词性也加进特征,不论用哪种办法圈候选,结果都好了很多(Hulth,2003)。

无监督的路上,图方法里最有名的之一是 Mihalcea 和 Tarau 2004 年提出的 TextRank(Mihalcea 与 Tarau,2004)。它把通过词性筛选的单个词当作图上的点,两个词在相隔几个词的范围内一起出现就连一条线,然后反复计算,被越多重要的词连着,分数越高。排在前面的词回到原文去标,挨在一起的并成一个短语,比如 Matlab 和 code 都被选中又相邻,就合成 Matlab code。在 Hulth 用过的 500 篇测试摘要上,它最好的一组设置 F 值(把挑得准和找得全合成的一个分数,满分 100)是 36.2,Hulth 三种有监督办法里最好的是 33.9,而它不需要训练数据。

Rose 等人 2010 年的 RAKE(rapid automatic keyword extraction,快速自动关键词抽取)只看一篇文档,不用训练,不挑领域和语言。在一批技术论文摘要上,它比 TextRank 算得快,挑得更准,漏掉的差不多(Rose 等,2010)。

新办法多起来,Kim 等人在 SemEval-2010(语义评测研讨会)上组织了第 5 项任务,给各家出一套共同的考题。这项任务收集了 284 篇科学论文,关键短语由作者和读者给出。每个系统给每篇论文交 15 个排好序的关键短语,按完全匹配和人给的对照。19 个系统里,在作者和读者的答案合起来的那一套上,最好的 F 值是 27.5。人给的关键短语也不全在原文里,测试用的论文中,作者给的有 19% 在正文里找不到,读者给的有 15%(Kim 等,2010)。

Meng 等人 2017 年指出,先切块再排序的办法找不出原文里没有的关键短语,于是改用编码器加解码器的神经网络来生成。在六个数据集上,它对原文里有的关键短语抽得更好,也能根据文意写出原文里没有的(Meng 等,2017)。Bennani-Smires 等人 2018 年的 EmbedRank 借助句子向量(把一句话变成一串数字,意思相近的数字也相近)给单篇文档抽关键短语,F 值高于当时最好的图方法。它还刻意让选出的短语少重复,这样做没有提高 F 值,可在 200 多票的用户调查里,人更喜欢这样选出的结果(Bennani-Smires 等,2018)。

2024 年,Martínez-Cruz 等人把大语言模型 ChatGPT 和当时最好的关键短语生成模型放在一起比,用的是科学论文和新闻两类共六个公开数据集,长短文档都比过,ChatGPT 在所有数据集上都胜出(Martínez-Cruz 等,2024)。

年份谁留下了什么
1999Witten 等KEA,先圈候选,再用学来的模型判断
2000Turney把挑关键短语当成有监督的学习
2003Hulth用名词短语圈候选,加上词性特征
2004Mihalcea 与 Tarau按词与词的联系排序的 TextRank
2010Rose 等只看一篇文档的 RAKE
2010Kim 等公共的评测数据和规则
2017Meng 等写出原文里没有的关键短语
2018Bennani-Smires 等用句子向量抽取,兼顾不重复
2024Martínez-Cruz 等大语言模型和专门模型的比较

抽得好不好,拿什么比

常规的评价是拿人给的关键短语当答案。精确率是程序给出的短语里对上答案的比例,召回率是答案里被程序找到的比例。举个例子,数字是假设的。人给一份政策文件标了 10 个关键短语,程序给了 15 个,对上 6 个,精确率是 40%,召回率是 60%。

答案本身也不统一。SemEval-2010 那批论文里,作者平均每篇给 4 个关键短语,读者给 12 个;拿作者给的当答案去评读者给的,F 值也只有 33.6(Kim 等,2010)。Hasan 和 Ng 2014 年的综述指出,完全匹配这个条件太严,答案是 neural network(神经网络),程序给出 artificial neural network 也算错。他们从四个常用数据集各抽 25 篇,手工检查四个系统的输出,把错误归成四类。一个词在文中出现得多,含这个词的候选有一个选对了,别的也跟着被选上,这类错占全部错误的 28% 到 37%;只出现一两次的关键短语找不出来,占 24% 到 27%;同一个意思给了两遍,占 8% 到 12%;意思对了字面没对上,被评分程序判错,占 7% 到 10%。文档越长,候选越多,分数越低,短摘要的 Inspec 上最好的 F 值是 45.7,长论文的 SemEval-2010 上是 27.5(Hasan 与 Ng,2014)。

拿它做研究的几个例子

旅游方面,Ngo Le Huy 等人 2021 年从 Tripadvisor、Agoda 和 vietnam-guide.com 这几个网站收集旅游资料,给资料标上关键短语,训练模型来抽,再配合搜索软件,加快查找目的地的信息(Ngo Le Huy 等,2021)。

Liang 等人 2022 年研究的是政务平台上的政策文件。论文说,读关键词能帮人理解政策,可一篇政策文件里关键词只占很小一部分,训练数据很不平衡。他们提出一种补足少数类的过采样办法,在公开数据集和人工整理的数据集上,不论配哪种有监督模型,这种办法都取得了更好的 F 值(Liang 等,2022)。

企业研究里,Gupta 等人 2024 年用 YAKE(一种关键词抽取办法,只凭单篇文档里的统计特征)等工具分析了 2021 年《福布斯》印度头部企业的可持续发展报告,看这些公司在环境、社会和治理方面的重点(Gupta 等,2024)。

Romano 等人 2024 年把关键短语抽取用在社交媒体上的健康讨论,从论坛网站 Reddit 的一个社区收集讨论阿片类药物使用障碍治疗的帖子,人工标出关键短语,建成数据集 SuboxoPhrase。比较下来,ChatGPT 胜过几种无监督的抽取模型(Romano 等,2024)。

想深入可以读这几篇

TATOOLS 里抽关键短语的工具

TATOOLS 的【Mia完整概念关键词发现】从材料里摘出代表主题的完整说法,例如【老旧小区改造】,不会拆成【改造】和【小区】。交给它的可以是政策文件、访谈稿或游客评论。报告按综合得分给关键短语排序,列出每个短语在原文里出现的次数和位置,可以回到原句核对,另有一张关键词词云。得分只用于同一批材料内部比较。意思相同的几个关键词可以在报告里合并,再生成一版结果。

相关工具

相关教程

← 全部教程