文本规范化:写法不统一,分析结果会差多少
【东门】和【東門】、半角的 3 和全角的 3,计算机都当成不同的字。这篇讲研究者怎样量出写法不一让词性标注、句法分析和翻译各差多少,统一以后找回多少,什么时候统一反而抹掉了要研究的东西。
假设你在研究深圳东门老街改造以后的游客口碑,从点评网站和社交平台收来五千条帖子,其中不少是香港游客写的。同一条街,有人写【东门】,有人写【東門】;同一个地铁口,有人写半角的【A出口】,有人写全角的【A出口】;一碗糖水的价钱,有【15元】【15元】【十五元】三种写法。
这些写法在人看来是一回事,计算机却按字符逐个比对。数词频时,【东门】的次数被拆成两份,香港游客写的那一份记在【東門】名下;按字面检索【东门】,写成【東門】的帖子一条也查不到;同一条评论被人转成繁体再贴一遍,查重时认不出是同一条。分词、词性标注和各种模型都要看字认词,写法一乱,它们也会跟着出错。
文本规范化(text normalization)就是在分析之前,给每样东西定下一种写法,把其余写法都换成它,比如繁体换成简体,全角换成半角,数字统一成一种写法。它和文本清洗分工不同,清洗决定删掉什么,规范化决定留下来的字按哪种写法记。Unicode(给各种文字的字符统一编号的标准)有一份规范化附件,把只差宽窄的字符算作同一个字的不同样子(Unicode 标准附件 15)。国务院 2013 年公布的《通用规范汉字表》附有规范字与繁体字、异体字的对照表(国务院,2013)。国家标准《出版物上数字用法》在一些场合允许阿拉伯数字和汉字数字都用,示例是【17号楼(十七号楼)】(GB/T 15835—2011),这时统一成哪种由研究者自己定。
研究者怎样量出写法不一的代价
2005 年第二届国际中文分词评测的总结里,Emerson 写道,有一套语料用全角空格隔开词,评分程序为此改成不管空格是全角还是半角;只有这一处不分全半角,参赛系统要是把词里的全角字符转成了半角,会被评分程序扣分(Emerson,2005)。
社交媒体上的写法更乱。Ritter 等人 2011 年拿当时最好的斯坦福词性标注器测推文。这个标注器用新闻语料训练,在新闻上报告的准确率是 97%,到了推文上只有 80% 左右。推文里词典查不到的词多得多,不少来自拼写变体,比如用 n 代替 in;大小写也靠不住,普通名词常被标成专有名词(Ritter 等,2011)。
Wang 和 Ng 2013 年在中文微博上量了先规范化的好处。他们从微博抓了 1000 条消息,先改成规范的中文,再译成英文,拿其中一半做测试。除了不规范的词,他们也改标点,补上漏掉的词。原样拿去机器翻译,BLEU(衡量机器译文和参考译文有多接近的分数)是 9.06;用人工改好的文字是 15.04;用他们的程序自动规范化的文字是 14.03,差距补回了八成多(Wang 与 Ng,2013)。
同一年,Eisenstein 对规范化本身提出了疑问。规范化先得假定标准写法能明确认出来,可细看下去,以谁的标准为准并不清楚。网上的写法变化常常带着说话人的态度,把变化抹平,这层意思也跟着丢了(Eisenstein,2013)。
Baldwin 和 Li 2015 年写道,应付这类文字有两条路,一条是拿推文这类数据重新训练工具,Ritter 等人走的就是这条;另一条是规范化,让数据去迁就工具。他们量的是第二条,把推文的改写分成几类,每次留下一类不改,看依存句法分析和专名识别各掉多少。打分以工具分析人工改好的推文得出的结果为准,完全一致记 1。大小写不改,句法分析没受多大影响,还有 0.950,专名识别却降到 0.921。三大类改写里,词语替换最要紧,不做的话句法分析只剩 0.710,专名识别是 0.827。他们的结论是,规范化怎样做,要看后面做什么分析(Baldwin 与 Li,2015)。
中文多一层麻烦,词和词之间没有空格。Qian 等人 2015 年指出,中文网上的不规范词有缩写和新词,也有另类拼写和谐音,分词和规范化互相牵连,应该同时解决。他们的模型把分词、词性标注和规范化放在一起做,在自己标注的微博语料上,分词的错误比传统做法少了 12.02%(Qian 等,2015)。
van der Goot、Plank 和 Nissim 2017 年拿推文的词性标注,把规范化和别的做法放在一起比。在开发数据上,自动规范化让准确率从 82.16% 升到 84.06%,换成人工规范化能到 86.71%。不做规范化,拿 7.6 亿条原样的推文训练词向量(把每个词表示成一串数字),提高的幅度是规范化的两倍;两样都用,规范化多出的那一点只在一个测试集上显著。把训练数据也规范化,结果反而变差(van der Goot 等,2017)。
繁简转换本身也会转错,简体的一个字可能对应几个繁体字。Pranav A 和 Augenstein 2020 年举的例子里,现成的转换器把【维护发展中国家共同利益】转成了【維護髮展中國家共同利益】,发展的发错成了头发的髮。他们结合切词和上下文来分辨一个字该转成哪个,整句准确率比现成的转换器高 6 个百分点;拿它转换主题分类模型的预训练语料,下游的分类也印证了这个结果(Pranav A 与 Augenstein,2020)。
用简体还是繁体提问,也会改变大语言模型的回答。Lyu 等人 2025 年测了 11 个大语言模型,一项任务是描述一样东西请模型说出名称,这样东西在大陆和台湾叫法不同;另一项是从一串简体和繁体的姓名里挑人录用。多数模型在前一项里偏向简体的说法,在后一项里却偏向繁体的姓名。他们认为差别可能来自训练数据里两种文字的多少、用字习惯和切词方式(Lyu 等,2025)。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 2005 | Emerson | 分词评测里,全角转半角和标准答案对不上也扣分 |
| 2011 | Ritter 等 | 词性标注从新闻换到推文,准确率从 97% 掉到 80% 左右 |
| 2013 | Wang 与 Ng | 微博先规范化再翻译,BLEU 从 9.06 升到 14.03 |
| 2013 | Eisenstein | 写法的变化带着态度,统一掉就丢了 |
| 2015 | Baldwin 与 Li | 哪种改写要紧,要看后面做什么分析 |
| 2015 | Qian 等 | 中文微博分词和规范化一起做,分词错误少 12.02% |
| 2017 | van der Goot 等 | 词性标注上,规范化的帮助只及原样推文训练词向量的一半 |
| 2020 | Pranav A 与 Augenstein | 繁简转换看上下文,整句准确率高 6 个百分点 |
| 2025 | Lyu 等 | 用简体和繁体提问,大模型的偏向不同 |
各项研究怎样处理写法不一
社会科学论文拿微博和点评做材料时,对繁体字的处理各不相同。Gong 等人 2022 年评估【无废城市】政策在微博上的传播效果,从 381213 条帖子里筛出 13634 条,把其中一些繁体字改成简体,再分词、去停用词(Gong 等,2022)。Chen 等人 2025 年用微博编楼市情绪指数,也把繁体转成简体,数字和日期的格式、字符和编码一并统一(Chen 等,2025)。Guo、Pesonen 和 Komppula 2021 年比较五个中文旅游点评平台上的芬兰形象,抓到 10389 条评论,删掉其中 192 条英文和繁体的,只分析剩下的 10197 条简体评论(Guo 等,2021)。转换以后,写繁体的人说的话还留在统计里,只要没转错;删掉,结果就只代表写简体的人,Guo 等人删掉的英文和繁体评论合起来不到全部的 2%。
城市研究里,地址写法不一会直接拖累地理编码,也就是把地址换成地图上的坐标。Küçük Matci 和 Avdan 2018 年指出,编号不准、拼写错误和缩写这类地址格式上的不一致,让地理编码在一些本该派上用场的地方用不起来。他们拿土耳其埃斯基谢希尔的小学地址做测试,先直接交给谷歌和 ArcGIS(一套地理信息软件)的地理编码接口,再把地址拆开,认出拼错的词和缩写,重排成三种格式后再编码。和没有统一的地址相比,统一后的编码结果准确度明显提高(Küçük Matci 与 Avdan,2018)。
也有研究要的正是这些写法。Tagg、Baron 和 Rayson 2012 年分析英国 2004 到 2007 年间收集的 11000 多条手机短信。他们提到,有研究者认为短信里的拼写变体有规律、有意义,还参与塑造发信人的社会身份。他们先用工具把拼写规范化,整理出每个变体对应的标准写法,再按作用给变体归类(Tagg 等,2012)。这里规范化只用来认出变体,研究的是变体本身。
想深入可以读这几篇
- Baldwin 与 Li(2015)An In-depth Analysis of the Effect of Text Normalization in Social Media,逐类拿掉一种改写,看依存句法分析、专名识别和语音合成各受多大影响。
- van der Goot、Plank 与 Nissim(2017)To normalize, or not to normalize: The impact of normalization on Part-of-Speech tagging,把规范化和直接用大量原样文本这两条路放在一起比。
- van der Goot 等(2021)MultiLexNorm: A Shared Task on Multilingual Lexical Normalization,13 种语言变体上的规范化评测,拿句法分析和词性标注看下游效果,帮助有大有小。
- Eisenstein(2013)What to do about bad language on the internet,讲规范化网络文本会丢掉什么。
- Pranav A 与 Augenstein(2020)2kenize: Tying Subword Sequences for Chinese Script Conversion,讲繁简转换为什么会转错。
在 TATOOLS 里统一写法
TATOOLS 的【中文文本规范化】把中文材料里写法不一的地方统一起来,内容本身不删减。游客评论、访谈稿和政策文件都可以交给它。它能做繁简转换,把全角的数字和字母转成半角,统一引号和省略号,把【9号楼】这类说法写成【九号楼】,也能给全文注上拼音。报告先说繁简转换替换了多少个字、标点改了多少处,再按文件列出修改统计和修改样例,样例里原文和规范化后的文字并排对照。