文本清洗:分析之前先删什么、留什么
评论里的表情、网页标签和满篇的【的】要不要删,删了结论会不会变?这篇讲文本清洗是怎么来的,各学科现在怎么用,想深入该读哪几篇论文。
假设你在研究一座古镇的游客评价,从点评网站上抓了三千条评论。打开文件,评论里夹着网页带下来的标签,句子后面跟着一串感叹号和表情,同一个景点的名字有人用全角字母写,有人用半角写。把这份材料直接拿去数词频,排在最前面的会是【的】【了】【是】,【夜景】【排队】这些你真正关心的词被挤到了后面。
文本清洗(text cleaning,也常叫文本预处理)做的是分析之前的整理,一是删掉不想让它参与统计的字符,二是把同一个意思的不同写法统一起来。
它背后的想法很朴素。分析方法只认它拿到的字符,词频也好,主题模型也好,都是在数这些字符,哪些字符算数是清洗这一步定的。所以清洗的每一步都是一次取舍,删什么留什么会一路带到最后的结果里。下面先讲这些做法的来历,再看各个学科现在怎么用,最后列几篇值得读的论文。
这些做法是哪年、为什么出现的
清洗的几种老办法,出自早年做自动摘要和文献检索的人。1958 年,Luhn 让一台 IBM 704 计算机读完整篇文章,按词出现的次数和分布给每个词算一个重要程度,再给句子打分,把得分最高的句子摘出来当摘要(Luhn,1958)。词有重要和不那么重要之分,后面的停用词表靠的也是这个想法。
之后的二三十年里,做检索的人把两种做法定了型。一种是词干提取(stemming),它把一个词的不同词形归到同一个词干,比如把 planning 和 planned 都归成 plan。Porter 在 1980 年发表了一个后缀剥离算法,分几步去掉英文单词的后缀,程序很短,跑得也快(Porter,1980)。另一种是停用词表(stop list),也就是一份分析时直接跳过的常见词清单。Fox 在 1989 年讲了一份通用停用词表的编法,从 101.4 万词的 Brown 语料里取出出现超过 300 次的 278 个词,拿掉 32 个可能有检索价值的,又补进一批,最后得到 421 个停用词(Fox,1989)。
网页多起来以后,清洗多了一件事。网页上除了正文,还有导航栏、模板和广告,这些文字跟正文没关系,抓下来却混在一起。Kohlschütter 等人 2010 年的论文把它们叫作 boilerplate,他们只用一小组简单的文本特征给网页里的每块文字分类,准确度和复杂得多的方法差不多,几乎不花计算成本(Kohlschütter 等,2010)。
同一个字的不同写法也要处理。Unicode 标准有一份附件专讲这件事,按其中的 NFKC 形式处理以后,半角和全角的片假名会变成同一串字符。这份附件同时提醒,这种处理会抹掉许多格式上的区别,不能不看材料就整篇套用(Unicode 标准附件 15)。中文材料里全角和半角的字母、数字混着写,是同一类问题。
这些做法用了几十年,常被当成理所当然的步骤。2016 年,Schofield 和 Mimno 在多个语料上比较了几种词干提取算法,发现它们没有让主题模型的指标变好,还可能让主题变得不稳定(Schofield 与 Mimno,2016)。第二年,Schofield、Magnusson 和 Mimno 又检验了停用词。他们的结论是,除了那些出现得极多的词,删不删停用词对主题模型的推断帮助很小,等模型跑完再把这批材料特有的停用词从结果里去掉,效果差不多,做法也更透明(Schofield 等,2017)。
2018 年,政治学者 Denny 和 Spirling 把问题说得更直接。他们指出,在无监督的文本分析里,清洗的决定很少被系统地讨论,却会很大地改变真实数据上的模型结果。两人给出一套统计办法和配套软件,用来看一项发现在不同清洗方案下会变多少(Denny 与 Spirling,2018)。
清洗有没有用还要看材料。HaCohen-Kerner 等人 2020 年在四个常用的文本分类数据集上,把几种基本清洗办法的全部组合都试了一遍。三个数据集上,单独一项就能明显提高准确率的只有删停用词;第四个数据集上删停用词没有帮助,起作用的是把大写字母转成小写(HaCohen-Kerner 等,2020)。
预训练语言模型流行以后,讲清洗的论文少了。这类模型先在大量文本上学过一遍语言,再拿来做具体任务。Siino 等人 2024 年的综述专门检验清洗还值不值得做,结论是它照样会影响分类结果。在他们的实验里,同一个模型用最好和最差的清洗办法,准确率最多能差 25%。他们的建议是按手上的任务和要用的模型来选清洗办法(Siino 等,2024)。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 1958 | Luhn | 用词频和分布衡量一个词的重要程度 |
| 1980 | Porter | 分步去掉英文后缀的词干提取算法 |
| 1989 | Fox | 一份 421 个词的通用停用词表和它的编法 |
| 2010 | Kohlschütter 等 | 用简单的文本特征分出网页正文和无关文字 |
| 2016 | Schofield 与 Mimno | 词干提取没有让主题模型变好 |
| 2017 | Schofield 等 | 删停用词对主题模型的推断帮助很小 |
| 2018 | Denny 与 Spirling | 清洗的选择会改变结论,要检查结论有多敏感 |
| 2020 | HaCohen-Kerner 等 | 哪种清洗有用,各个数据集不一样 |
| 2024 | Siino 等 | 用上预训练语言模型,清洗仍然影响结果 |
现在谁在用,各自在意什么
政治学里,Grimmer 和 Stewart 2013 年给同行写了一份自动文本分析的指南。指南强调自动方法代替不了仔细思考和细读,用在每个具体问题上都要专门验证(Grimmer 与 Stewart,2013)。前面提到的 Denny 和 Spirling 也是政治学者,他们检验的就是清洗这一步。
传播学研究用 LDA(一种按用词归纳主题的模型)的越来越多。Maier 等人 2018 年梳理了用它做研究要过的四道关,排在第一的就是把文本集合清洗得当,后面依次是选模型参数,检验模型是否可靠,以及怎样解释得到的主题。他们还据此写了一份上手指南(Maier 等,2018)。
城市规划的材料是成册的规划文本。Fu、Li 和 Zhai 2023 年分析了 100 韧性城市网络里的 78 份韧性规划,主题模型归纳出的内容和传统的人工内容分析有八成对得上。他们也写明,自然语言处理的文本处理办法各有局限,可能带来不准确的结果(Fu 等,2023)。
旅游研究里,互联网上的文本已经是旅游大数据的主要形式之一。Li 等人 2019 年的综述梳理了旅游文本挖掘用到的办法,包括主题提取和文本分类,也包括情感分析和文本聚类,用在游客画像、目的地形象分析和市场需求这些题目上(Li 等,2019)。开头那个古镇的例子里遇到的标签、表情和全半角混用,在这类从网页抓来的材料里都会碰到。
想深入可以读这几篇
- Fox(1989)A stop list for general text,只有三页,把一份停用词表从语料统计到人工增删的过程讲得很清楚。
- Manning、Raghavan 与 Schütze(2008)Introduction to Information Retrieval,信息检索的教材,第二章 The term vocabulary and postings lists 讲检索系统的词表是怎么定下来的。
- Schofield、Magnusson 与 Mimno(2017)Pulling Out the Stops: Rethinking Stopword Removal for Topic Models,五页的短文,讲删停用词对主题模型到底有多大影响。
- Denny 与 Spirling(2018)Text Preprocessing For Unsupervised Learning: Why It Matters, When It Misleads, And What To Do About It,讲清洗的选择怎样改变结论,以及怎样检查自己的结论经不经得起换一种清洗办法。
- Maier 等(2018)Applying LDA Topic Modeling in Communication Research: Toward a Valid and Reliable Methodology,写给传播学研究者的上手指南,从清洗一直讲到怎样解释主题。
- Siino、Tinnirello 与 La Cascia(2024)Is text preprocessing still worth the time? A comparative survey on the influence of popular preprocessing methods on Transformers and traditional classifiers,在预训练语言模型上重新检验清洗还有没有用。
在 TATOOLS 里做文本清洗
TATOOLS 的【文本清洗】工具做的就是这件事。把访谈转写稿、政策文件或者网上抓来的游客评论交给它,它清理标点符号和表情,也清理网页标签和你自己列出的停用词,长文还可以切成小段。
拿到的除了清洗后的文本,还有一份报告。报告列出每个文件的字符数变化,并把清洗前后的文本并排对照,被删掉的内容标成红色,可以回头核对有没有删掉不该删的东西。