leafiy教程

标点恢复:没有标点,后面的分析会错在哪

语音转写稿和古籍常常一个标点也没有,切不出句子,后面按句子做的分析都受牵连,人读着也吃力。这篇讲研究者怎样量出句法分析、信息抽取和翻译各掉多少,补上标点能找回多少,机器现在补得多准。

作者 Leafiy · 更新于 · 3680 字 · 约 13 分钟

标点恢复:没有标点,后面的分析会错在哪(封面插图)

假设你在做一个乡村旅游规划的课题,访谈了十几位民宿老板,录音交给语音转写,拿回来的稿子从头到尾没有一个标点,比如【旺季就七八月平时只有周末来人去年路修好以后车多了村里没地方停游客天天抱怨我们也没办法】。

拿这样的稿子做分析,处处卡在句子上。想数一数有多少句话提到停车,先得知道哪里算一句;想在报告里引一句原话,得自己动手断开;想逐句判断受访者的态度,一整段只能拿到一个分数,说旺季的话和抱怨停车的话搅在一起。句法分析和专名识别要先有句子,摘要和翻译也是,没有句子,程序只好把整段当成一句来算。人读这样的稿子也吃力。

标点恢复(punctuation restoration)就是替这样的文字补上标点、切出句子。机器在每两个词之间判断要不要停,停的话用逗号、句号还是问号,依据是它从大量带标点的文字里学到的规律。标点已经有、只是用得不对的文字,见标点纠正。

没有标点要付多少代价,补回来能找回多少

本世纪初,美国国防部高级研究计划局有个语音转写项目叫 EARS,主要目标之一是让机器转出的新闻广播和电话交谈稿更好读。普通的转写稿不分大小写,没有标点,连嗯啊和重复的话也一字不落。转写稿好不好读,Jones 等人说此前没见有人研究过。他们 2003 年请 28 名读者读四种稿子,记下他们答理解题的对错和读、答各用的时间,再请他们给难度打分。人工整理过的稿子删掉了赘词,加上了标点和大写,读者评它比原样的稿子容易;答题的正确率和用时却没有显著差别,作者认为可能是题目和原文一起给出,题目太容易了(Jones 等,2003)。

句法分析这边,Kahn、Ostendorf 和 Chelba 2004 年拿电话交谈的转写稿做实验,分析器不变,只换切句的办法:人工切,机器兼看声音线索和词语来切,或者只看停顿长短来切。比起只看停顿,兼看声音和词语切出的句子让分析的查准率和查全率提高 7%,括号交叉(分析出的结构和标准答案冲突的地方)少了 18%,追回了与人工切句之间差距的四成五以上。在人工切句之上再加标点,F 值(兼顾查准和查全的分数)从 72.6 升到 74.3(Kahn 等,2004)。

信息抽取是从文字里找出人名、机构这类实体和它们之间的关系。Makhoul 等人 2005 年把语音识别的结果配上自动加的标点,交给抽取系统。抽取至少要有句子边界,边界的确切位置倒不太要紧;可是只给句子边界、不给其他标点,比起标点齐全,实体的得分低 13.5%,关系的得分低 25%,逗号的作用明显大于其他标点(Makhoul 等,2005)。

中文也有人测过。Hillard 等人 2006 年在普通话广播新闻的语音识别稿上比较了两种情形,只补句子边界,或者再补上机器预测的逗号。补了逗号,词性标注和专名标注都明显更准(Hillard 等,2006)。

2008 年的两篇论文都发现,标点和切句该照后面的分析来调。Favre 等人的实验里,按句号和逗号本身的 F 值最高来加标点,信息抽取并不最好,换一组判断门槛,实体和关系的得分都能相对提高 4%;看来是漏掉的标点让句法分析器把相邻的名词短语并成了一个,正确的信息就抽不出来(Favre 等,2008)。Liu 和 Xie 拿会议录音做摘要,机器切出的句子做出的摘要不如人工标注的句子,切句的标准要照着摘要的需要来调(Liu 与 Xie,2008)。

补回来能找回多少,Cho、Niehues 和 Waibel 2012 年在德译英的讲座录音上算过。语音识别稿照识别系统自己的切分、不带标点拿去翻译,译文的 BLEU(衡量机器译文和参考译文有多接近的分数)是 20.70;切分和标点换成人工做的,能提高 1.78 分,这是上限。他们把补标点当成从德语译到德语来做,自动补出切分和标点,提高 1.53 分,离上限只差 0.25 分(Cho 等,2012)。

Tündik 等人 2018 年回到人读起来的差别,给匈牙利语电视节目的实时字幕接上自动加标点的模块,请 181 人按五分制评字幕好不好懂。文字全对的字幕,人工加标点得 4.27 分,自动加标点 3.87 分,不加标点 3.13 分;带着识别错误、配上人工标点的字幕得 3.45 分,比文字全对却没有标点的还高。18 名聋或听力不好的学生也参加了比较,他们感觉到的改善更明显(Tündik 等,2018)。

切句也不必分毫不差。Wicks 和 Post 2022 年指出,多数自然语言处理程序以句子为单位工作,他们检验切句工具对机器翻译的影响,发现用哪一个大体无关紧要,只要它不过度少切或过度多切(Wicks 与 Post,2022)。一份没有标点的转写稿,正是少切到了头。

机器补标点能补多准,要看材料。英文书面文字的句点还兼作缩写点,Kiss 和 Strunk 2006 年做 Punkt(德语的【句点】)系统,依据的假设是先认出缩写,断句上的很多歧义就能排除,这套办法在十一种语言上测过(Kiss 与 Strunk,2006)。中文转写稿,Lu 和 Ng 2010 年在旅游用语的口语录音上测过,中文语音识别的准确率是 86%,他们的办法在这样的识别稿上补标点,F 值是 91.35%(Lu 与 Ng,2010)。古籍断句到 2024 年有了第一次国际评测 EvaHan2024,只许用给定训练数据时,断句的最高 F 值是 88.47%,加标点是 75.29%,在没见过的数据上比在已公开的常用数据上低 10%;大语言模型胜过传统模型,却会改动原文大约 1% 到 2% 的字(Li 等,2024)。

年份谁留下了什么
2003Jones 等请读者读转写稿,量它好不好读
2004Kahn 等切句好坏让句法分析差多少
2005Makhoul 等只有句子边界、没有其他标点,信息抽取掉多少
2006Hillard 等中文广播转写稿补上逗号,词性和专名标得更准
2008Favre 等;Liu 与 Xie标点要照后续任务来调
2012Cho 等自动补上切分和标点,翻译离人工的上限只差 0.25 分
2018Tündik 等字幕加了标点,观众更容易看懂
2022Wicks 与 Post切句只要不太粗也不太细,翻译差别不大
2024Li 等古籍断句和加标点的第一次评测

先得切好句子的研究

政治学给政党宣言编码,长期以【准句子】为单位,比较宣言项目(Comparative Manifesto Project)就是这样做的。准句子可以是一个自然句,也可以是编码员认为有独立意思的一部分句子。Däubler 等人 2012 年指出,准句子靠编码员主观判断,切出的单位不可靠;改按一份事先定好的标点清单切出自然句,切分完全可靠,内容效度上也看不出损失(Däubler 等,2012)。照这个办法给演讲或访谈的转写稿编码,得先把标点补上。

评论按方面分析,也受句子切得粗细的牵连。Zhu 等人 2009 年指出,按方面归纳观点的系统拿句子当单位,可真实评论里一句话常常同时评价好几个方面。他们按方面和褒贬的转换把一句话再切开,在餐馆评论上胜过已有的文本切分办法(Zhu 等,2009)。

分析病历也得先切句,Griffis 等人 2016 年称它为许多自然语言处理应用的关键预处理。他们测了五个常用的现成工具包,其中四个在临床病历上断句明显比在通用文本上差(Griffis 等,2016)。

古籍研究里,标点和专名都是后续研究要用的信息。Ge 2022 年在《左传》上同时做断句和命名实体识别,消融实验(逐一拿掉某样东西看结果怎样变)显示,文中的标点对识别专名有用(Ge,2022)。

想深入可以读这几篇

在 TATOOLS 里给转写稿补标点

TATOOLS 的【文本结构还原器】给标点缺失的中文文本补上标点、切出句子,不增删词语,也不调换词序,访谈的语音转写稿可以交给它。报告逐条列出断好的句子和每句的字符数,开头给出总句数、平均句长和长短句的分布。

相关工具

相关教程

← 全部教程