抽取式摘要:从原文中找出最能代表全文的句子
不另写一个字,只从原文里挑出最有代表性的句子拼成摘要。这篇讲句子怎样打分和排序,它和让机器另写的生成式摘要差在哪,好坏怎么评,各学科怎么用,想深入该读哪几篇。
假设你在比较十几座城市的国土空间总体规划,每份文本都有几百句话。你想先知道每份大致讲了什么,再决定精读哪几份。请人逐份写摘要太慢,让机器另写一段概括,又怕它写进原文里没有的话。
抽取式摘要换了个做法,不另写,只从原文里挑出最能代表全文的几句。挑出来的每一句都是原话,能回到原文找到它在哪一行。与它相对的是生成式摘要,由机器用自己的话重写。
哪一句最能代表全文,看法不止一种。早期看一句话里装了多少要紧的词,后来看这句话和全文多少句子在说同一件事。举个例子,数字是假设的。一份规划文本有 300 句,其中一句讲建设用地总量,另有 40 句也谈到用地指标,这句话就和 40 句相呼应;一句交代会议哪天召开的话,几乎不和别的句子沾边。前一句更该进摘要。
从按词打分、连图排序到生成式摘要
1958 年,Luhn 让 IBM 704 计算机给技术论文和杂志文章自动做摘要(Luhn,1958)。机器读入全文,根据词出现的次数和分布,先给每个词算一个重要程度,再据此给句子算,得分最高的几句打印出来,就是 auto-abstract(自动摘要)。怎样按次数给词定分量,词频统计和 TF-IDF 两篇里讲过。
Edmundson 1969 年指出,此前的工作主要看句子里有没有高频的实词。这篇论文又加了三样线索,一是 cue words(提示词),二是标题和小标题里的词,三是句子在文中的位置。四样线索各占多少分量可以调,自动摘出的句子再和人工摘出的比对。结果是新加的三样都比词频更起作用(Edmundson,1969)。
线索的分量,Edmundson 是凭主观定的。Kupiec、Pedersen 和 Chen 1995 年改用语料训练,拿 188 篇科技文献和专业摘要员为它们写的摘要,让程序自己学出各项线索的分量。结果和 Edmundson 的一致,靠词频的线索单独用时最差,加进去以后整体表现还略有下降(Kupiec 等,1995)。
按分数从高往低挑,挑出的几句可能说的是同一件事。Carbonell 和 Goldstein 1998 年提出 MMR(maximal marginal relevance,最大边际相关),挑每一段时既看它和用户要找的内容有多相关,也看它带来多少新信息,以此减少重复。优势在把多篇文档合成一份摘要时最清楚(Carbonell 与 Goldstein,1998)。
2004 年有两篇论文把句子连成了图。Mihalcea 和 Tarau 的 TextRank(按句子间相互推荐来排序的办法)给每个句子设一个点,两句话内容有重叠就连一条线,等于一句话推荐读者去看另一句。得到推荐多、推荐者本身又重要的句子,分数就高。整个过程不用训练数据。他们拿 DUC(美国国家标准与技术研究院资助的大规模摘要评测)2002 年的 567 篇新闻检验,每篇生成 100 词的摘要(Mihalcea 与 Tarau,2004)。同一个办法也能挑关键词,见关键短语抽取。Erkan 和 Radev 的 LexRank(按相似度找中心句的办法)用两句话的余弦相似度(按用词算的接近程度)连图,看一句话在图里处在多中心的位置。基于它的系统在 DUC 2004 的不止一项任务中排名第一。在几种按连接算中心程度的办法里,给相似度设一道门槛的那种最好(Erkan 与 Radev,2004)。
Lin 2004 年指出,像 DUC 那样大规模地请人给摘要打分,哪怕只问几个语言质量问题和内容覆盖,也要超过 3000 小时的人工。论文提出的 ROUGE(一组自动评价摘要的指标)拿机器摘要和人写的理想摘要相比,数两边重合的词串、词序列和词对。论文介绍的四种指标里,有三种在 DUC 2004 用过(Lin,2004)。TextRank 那篇的检验用的就是 ROUGE。
Rush、Chopra 和 Weston 2015 年的论文开头说,靠抽取原文做摘要本身有局限,生成式的办法又一直难做。他们用神经网络把一句话缩写成更短的一句,摘要里的每个词都参照原句逐个生成,在 DUC 2004 的任务上明显好过几个强基线(Rush 等,2015)。同年,Hu、Chen 和 Zhu 从新浪微博收集了 200 多万条中文短文,每条带着作者自己写的短摘要,并在上面训练了生成摘要的神经网络(Hu 等,2015)。预训练模型出现后,Liu 和 Lapata 2019 年在 BERT(一种预训练语言模型)之上同时搭了抽取模型和生成模型,在三个数据集上两类都取得了当时最好的结果(Liu 与 Lapata,2019)。
Maynez 等人 2020 年发现,神经网络写的生成式摘要很容易写进和原文对不上的内容,即 hallucination(幻觉)。他们请人大规模评阅了几个这样的系统,每个系统的摘要里都有相当多这种内容;预训练模型在这一点上好一些(Maynez 等,2020)。抽取式摘要句句是原话,同样会出错。Zhang、Wan 和 Bansal 2023 年请人检查 16 个抽取式系统产出的 1600 份英文摘要,30% 至少有一处问题。问题分五类,有指代对不上或交代不全的,有句与句的衔接错了或断了的,还有其他误导信息(Zhang 等,2023)。
大语言模型出现以后,评价又成了难题。Goyal、Li 和 Durrett 2022 年比较新闻摘要。GPT-3(一种大语言模型)只拿到任务说明,写出的摘要却远比专门训练的摘要模型更受评阅者欢迎。对照参考摘要的自动指标和不用参考摘要的指标,都不能可靠地给它的摘要打分(Goyal 等,2022)。到 2024 年,Zhang 等人请人评阅十个大语言模型写的新闻摘要,又请自由撰稿人写了一批高质量摘要做对照,评阅结果是大语言模型的摘要和人写的不相上下(Zhang 等,2024)。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 1958 | Luhn | 按词的次数和分布给句子打分 |
| 1969 | Edmundson | 加进提示词、标题词和句子位置 |
| 1995 | Kupiec 等 | 从语料里训练各项线索的分量 |
| 1998 | Carbonell 与 Goldstein | 挑句子时避开重复的 MMR |
| 2004 | Mihalcea 与 Tarau;Erkan 与 Radev | 把句子连成图来排序的 TextRank 和 LexRank |
| 2004 | Lin | 和人写摘要自动比对的 ROUGE |
| 2015、2019 | Rush 等;Liu 与 Lapata | 用神经网络逐词生成摘要,后来用 BERT 同时做抽取和生成 |
| 2020、2023 | Maynez 等;Zhang 等 | 生成式摘要会写进原文没有的内容,抽取式摘要也会误导读者 |
| 2022、2024 | Goyal 等;Zhang 等 | 大语言模型的摘要评得和人写的相当,自动指标却评不准 |
谁拿它做研究
酒店的网上点评多到读者没法一条条看。Tsai 等人 2020 年拿旅游点评网站 TripAdvisor 上的酒店评论做摘要,先训练分类器挑出有用的评论,再把其中的句子按位置、睡眠质量等六项酒店特征归类,这六项是 TripAdvisor 自己用的,最后看每句的情感倾向生成摘要。实验中这个办法的表现好过其他方法(Tsai 等,2020)。
Kornilova 和 Eidelman 2019 年指出,美国国会和各州政府每年发布数以万计的法案,此前的摘要研究却还没用过法案。他们整理出 BillSum(法案摘要数据集),收录美国国会和加利福尼亚州的法案,在上面测试了几种抽取式方法,又发现用国会法案训练的模型可以拿去摘要加州法案,没有人工摘要的州也能用上(Kornilova 与 Eidelman,2019)。
Yulyanto 和 Khodra 2017 年给印度尼西亚议会的会议记录做抽取式摘要。会议记录没有固定结构,他们照议会自己出的摘要定下格式,用规则从记录里认出 24 项内容,填进摘要模板。按 ROUGE-2(数相邻两个词的重合)算,得分是 0.718,满分为 1(Yulyanto 与 Khodra,2017)。
想深入可以读这几篇
- Luhn(1958)The Automatic Creation of Literature Abstracts,七页,讲怎样按词的次数和分布给句子打分。
- Mihalcea 与 Tarau(2004)TextRank: Bringing Order into Text,同一种图排序,既挑关键词也挑句子,全文可以免费读。
- Erkan 与 Radev(2004)LexRank: Graph-based Lexical Centrality as Salience in Text Summarization,比较了几种在相似度图上算中心程度的办法。
- Nenkova 与 McKeown(2011)Automatic Summarization,综述,从句子抽取讲到摘要的评价。
- Zhang、Wan 与 Bansal(2023)Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization,讲抽取式摘要会在哪几处误导读者。
TATOOLS 里的抽取式摘要
TATOOLS 的【抽取式摘要(TextRank / LexRank 双引擎)】用上面讲的 TextRank 和 LexRank 各挑一遍句子,不用大语言模型。交给它政策文件、访谈稿这类长文,摘要可以按比例定长短,也可以定句数。报告里两种算法各有一份原文,入选的句子标亮;摘要句按权重排好,标着原文行号;还给出两种算法选句的重合度。几份材料一起交,有一张表并排对照各份的句数和压缩比。