leafiy教程

标点纠正:标点不对,后面的分析会错在哪

中英文句号混着打,叹号连成一串,一个逗号句拖到底,切句和句长会跟着错,逐句的情感判断也会偏。这篇讲研究者怎样发现标点牵动分词、句法和情感打分,机器怎样检查和改正标点,标点什么时候本身就是数据。

作者 Leafiy · 更新于 · 3868 字 · 约 13 分钟

标点纠正:标点不对,后面的分析会错在哪(封面插图)

假设你收集了一个古镇景区的三千条游客评论,打算先切句,再算每句多长,然后逐句判断褒贬。评论的标点五花八门。有人的输入法停在英文状态,句子之间是英文句点;有人把省略号打成【。。。】,不满意时叹号一连打五六个;还有人整条评论只用逗号,比如【古镇很美,就是人太多,吃饭也贵,停车还要排队,下次不来了】。

照中文的句号、问号和叹号切句,第一种评论切不开,整条算作一句。第二种评论要是一个句号切一刀,会多出几个空句子,平均句长被拉低。第三种评论也只算一句,夸风景和嫌人多落在同一句里,逐句判断褒贬,这一句只能拿到一个混在一起的分数。分词时标点两边一定是词界,少打一个标点,就少一处现成的分界。连打的叹号算不算更生气,要看打分的程序数不数它。

标点纠正就是在分析之前,把这些标点改成统一、合乎规范的写法,文字一个不动。什么算对,中国大陆有一把现成的尺子,国家标准 GB/T 15834—2011《标点符号用法》。这把尺子也留了余地,用不用句号看前后的停顿和语气,不看句子长短;表达强烈的语气,叹号可以叠用,最多三个(GB/T 15834—2011)。全角和半角怎样统一,见文本规范化;完全没有标点的文字怎样补,见标点恢复。

量出标点出错的代价,再让机器来改

1994 年,Jones 注意到当时的自然语言处理系统几乎都不怎么用标点。这篇论文想弄清标点对句法分析有没有帮助,拿两套相近的语法分析同一批语料,一套带处理标点的规则,一套不管标点,带标点规则的那套明显更好(Jones,1994)。

中文的难处在逗号。Jin 等人 2004 年指出,汉语句子里可供句法分析的线索少,切分长句的线索更少,逗号却用得多。英文平均每句有 0.869 到 1.04 个逗号,按 1998 年《人民日报》语料算,中文每句 1.79 个。他们先按上下文给逗号分类,判对了 87.1%,再按分类结果把长句切开,依存句法分析的准确率提高了 9.6%(Jin 等,2004)。

分词也能借标点。Li 和 Sun 2009 年把标点看作完美的词界,借大量生文本里的标点学出一个分词模型,再用一份人工切好的语料引导。认未登录词(词典里没有的词),这个办法比以前的方法有效得多(Li 与 Sun,2009)。

Xue 和 Yang 2011 年指出,英文断句看句点、问号和叹号就差不多够了,中文的逗号却有时和英文句点一样,标着一句话结束。不把这些逗号分辨出来,中文就会有很长的连写句,译成英文得拆成好几句。他们把中文断句当成给逗号分类,在人工标好句法结构的中文树库上判对了近 90%;单看标着句子边界的逗号,F1 值(兼顾查准和查全的分数)是 70%(Xue 与 Yang,2011)。同一段话按句号切是一句,按这些逗号切是好几句,句长和逐句的统计都跟着变。

也有人想让机器直接改。Israel、Tetreault 和 Chodorow 2012 年写道,语法错误的自动检测这几年有了进展,逗号放在哪儿却少有人管;据他们所知,还没有专门研究改正英文逗号误用的论文发表,查逗号的功能倒是有,微软 Word 的语法检查和 Grammarly 等商业产品里都带着。他们做的逗号纠错系统,在两套未经编辑的学生作文上平均查准率 89%,查全率 25%,标出来的大多真是错,多数的错却没有标出来(Israel 等,2012)。

情感分析这边,Hutto 和 Gilbert 2014 年提出 VADER(一种按词表加几条规则给社交媒体文字打情感分的办法),规则之一是叹号加大情感强度,【The food here is good!!!】比【The food here is good.】更强烈。他们拿 30 条推文各改出六到十种写法,请 30 名网上招募的评分员打分。加叹号(相对句号或不加标点)让情感强度平均高出 0.291,量表是 1 到 4,正面和负面的文字都一样变得更极端(Hutto 与 Gilbert,2014)。按词表打分的办法见情感词典法。

现成的工具不一定这样算。Teh 等人 2015 年测了 12 个在线情感分析工具,只有 20% 在打分时考虑了叹号的个数。500 名受访者的判断却是,正面评论叹号越多,【喜欢】的分越高;负面评论多加叹号,【不喜欢】也更重(Teh 等,2015)。

Søgaard、de Lhoneux 和 Augenstein 2018 年回到句法分析,问标点不规范时会怎样。论文说,用带标点的文字训练出来的分析器常常很倚重标点,可人在非正式文字里常省掉标点,也会为了强调、出于创意或干脆写错而不合语法地用标点。实验主要在人为改动标点的数据上做,结果显示,依存句法分析器对缺标点和标点的另类用法都敏感,神经网络分析器往往比老式分析器更敏感;标点一偏离规范,不带标点训练的神经网络分析器在各种情形下都胜过现成的分析器(Søgaard 等,2018)。

中文的标点检查,进了 2023 年第二十二届中国计算语言学大会的一项评测。任务是找出并改正中小学生作文里影响通顺的错误,字一级的错误主要分四类,缺标点和标点用错占了两类,11 支队伍共提交了 130 次结果(Shen 等,2023)。

年份谁留下了什么
1994Jones带标点规则的语法分析得更好
2004Jin 等按逗号切开中文长句,句法分析更准
2009Li 与 Sun借标点这个现成的词界学分词
2011Xue 与 Yang把中文断句当成给逗号分类
2012Israel 等改正英文作文里的逗号错误
2014Hutto 与 Gilbert叹号加强情感的打分规则
2015Teh 等多数在线情感工具不数叹号
2018Søgaard 等句法分析器对不规范的标点敏感
2023Shen 等中文作文缺标点、错标点的评测

谁在处理标点,谁拿标点做研究

做社交媒体情感分析的人,得决定预处理时怎样对待标点。Symeonidis、Effrosynidis 和 Arampatzis 2018 年在两套推特数据上比较了 16 种常用的预处理办法,配四种机器学习算法。词形还原、去掉数字和展开缩写能提高准确率,去掉标点不能。把几步串起来做消融(逐一拿掉某一步看结果怎样变)和组合实验,替换数字和替换连打的标点这两步显得要紧(Symeonidis 等,2018)。

机器翻译也要先切句。Srinivasan 和 Dyer 2021 年指出,中文书写里句子边界模糊,中英翻译却要切得好才译得好。他们用强化学习训练一套切分办法,把中文切成能各自翻译的片段,在 WMT2020 机器翻译评测的中英新闻翻译任务上,BLEU(衡量机器译文和参考译文有多接近的分数)整体提高 0.3,超过 60 个词的片段提高 3(Srinivasan 与 Dyer,2021)。

酒店点评的写法本身也能拿来研究。Decock 和 Plevoets 2025 年的论文标题,拿带三个叹号的【A Terrible Experience!!!】和不带叹号的同一句话对照。他们分析酒店预订网站 Booking.com 上 1465 组荷兰语酒店点评和回复,编码点评里大写、表情这类副语言特征的种类和次数,以及酒店回复的策略。这些特征并不少见,多用来加强好评;差评里用来加强语气的这类特征越多,酒店的回复越偏向辩护,越少拉近关系(Decock 与 Plevoets,2025)。

还有研究只看标点。Darmon 等人 2021 年从古登堡计划(一个数字图书馆)的大批文学作品里抽出标点序列,记下标点之间隔着几个词,拿来认作者和体裁,认作者尤其成功,看来最有解释力的是两个标点先后出现的概率。论文也注明,这些文本可能受过许多编辑的影响(Darmon 等,2021)。Markov、Nastase 和 Strapparava 2018 年拿标点从外语文字推断作者的母语,结果支持他们的假设,标点能稳定地透露作者的母语,外语水平很高了也不减弱(Markov 等,2018)。这两项研究要的是作者原样打下的标点,两个标点怎样先后出现、学外语的人怎样打标点,本身就是数据;Darmon 等人把标点看作文体测量里一直少有人用的特征。

想深入可以读这几篇

在 TATOOLS 里纠正标点

TATOOLS 的【标点纠正】只改标点,文字和原有的断句都不动。它会把中文里夹着的英文逗号、句号换成中文标点,合并重复的标点,句末标点只和句末标点互换;完全没有标点的文字,它不补。交给它的可以是访谈转写稿,也可以是论文和报告。报告先说多少句里有几句标点被纠正,再把原文和纠正后的文字左右对照,改动处标亮。

相关工具

相关教程

← 全部教程