停用词表:删少了满是套话,删多了丢掉要看的词
通用停用词表删不掉一个领域的套话,换一张现成的表,又可能把否定词和有实义的词一起删掉。这篇讲研究者怎样量出删多删少让检索、分类和主题模型差了多少,照自己的材料编表能挽回多少,什么时候删了也白删。
假设你在比较二十个城市的城市更新实施办法,想看各地的侧重有什么不同。先拿一张通用停用词表删掉【的】【和】【在】,再数词频、跑主题模型。词频表前面却是【推进】【加强】【进一步】,几个主题排在最前的也是它们。这些词份份文件都有,通用表管不到,城市之间的差别被它们盖住了。
换一张收词更多的现成表,又可能删过了头。表上要是收了【不】,【不大拆大建】删完只剩【大拆大建】,意思正好反了。有的表还收了实词,被删掉的也许正是你要比的那个词。
停用词表是一张清单,分析时跳过上面的词。它用得对不对,要看后面做什么:检索在乎的和主题模型在乎的不一样,判断褒贬又是另一回事,有时照表删还不如一个词也不删。通用表本身怎样编,见文本清洗;拿通用语料当尺子量一个词常不常见,见虚高频词。
删多删少,研究者量出了多少差别
1992 年,Wilbur 和 Sirotkin 把停用词定义为在相关和不相关的文档里出现机会一样大的词,用统计检验在 MEDLINE(生物医学文献库)的一批生物技术文献里找。先用一张 310 个词的常用表删过一遍,剩下的词又有 75% 被判为停用词。删不删这批词各检索一遍,排在前二十的文档平均有十七篇相同。两种结果不同的地方,作者逐一看过,认为用户若有偏好,约四次里有三次偏向删过词的那一种(Wilbur 与 Sirotkin,1992)。
中文还多一层分词。Zou 等人 2006 年指出,中文没有一张公认的标准停用词表,已有的几张彼此差别很大。他们拿分词的准确率来评一张表,在一次国际中文分词评测的训练语料上试,好的停用词表能明显提高分词准确率(Zou 等,2006)。
2008 年的教材 Introduction to Information Retrieval(信息检索导论)算过删词能省下多少。索引时去掉最常见的 150 个词,索引条目少 25% 到 30%,可常见词的条目压缩后每条只占几个比特,压缩后的索引就省不下多少。吃亏的是短语查询,flights to London(飞往伦敦的航班)去掉 to 很可能丢了意思,To be or not to be 则全由停用词表上常见的词组成。书里说,检索系统的停用词表从两三百个词缩到七到十二个,再到不用,网页搜索引擎一般不用(Manning 等,2008)。
情感分析这边,Saif 等人 2014 年在六套推特数据上比较了六种删停用词的办法,配两种分类器,以一个词也不删为基准。用现成的经典停用词表,准确率平均降 1.04%,F 值(兼顾查准和查全的分数)降 1.24%。照这批数据自己定,只删全语料里只出现一次的词,准确率比经典表高 1.15%,F 值高 2.65%,分类器要看的词少了 65.24%(Saif 等,2014)。Zhao 和 Gui 2017 年在五套推特数据上比较六种预处理,删停用词和删网址一样,几乎不改变准确率和 F 值,展开缩写和替换否定词却能让两项都提高(Zhao 与 Gui,2017)。
主题模型上,Schofield、Magnusson 和 Mimno 2017 年承认,删停用词明显改变了各主题排在最前的词,但他们认为这种改进只在表面。出现得极多的词删掉以后,再往下删,模型推断几乎得不到好处;这批材料特有的停用词留到模型跑完再从结果里剔掉,主题和事先删掉差不多,剔了哪些也看得清(Schofield 等,2017)。Fan、Doshi-Velez 和 Miratrix 2019 年发现,删掉通用停用词以后,这批材料里常见却没有信息的词照样排在主题最前面;常用的连贯度和点互信息两种评分遇到这类词会给出反直觉的分数,看不出主题被套话占了(Fan 等,2019)。
现成的表彼此差得也远。Nothman、Qin 和 Yurchak 2018 年查了开源软件里 52 张常用的英文停用词表,收的英文词共 2066 个,807 个只出现在一张表里,八成以上的表都收的只有 64 个。有的表收了 hasn't 却漏了 hadn't,有的收了 computer。表和切词规则也会对不上,多数表收了 not,几种常用软件切词时却会从 doesn't 里切出 n't,52 张表里只有一张收它。照这样的表删,not 没了,n't 还在(Nothman 等,2018)。
从手上的材料自己找套话,通常看两样:一个词出现得多不多,在各段里摊得匀不匀。Gries 2008 年提醒,只看频次可能误导人,因为频次不管一个词散得匀不匀,并提出一个衡量分布的简单指标 DP(Gries,2008)。Gerlach、Shi 和 Amaral 2019 年用熵(衡量不确定程度的量)算每个词的信息含量,照此挑出停用词;按论文的图注,删掉这些词,主题模型更准也更稳,分类的准确率基本不受影响(Gerlach 等,2019)。
2026 年,Dickinson 在法学实证研究里逐个词量了删词的得失。研究拿美国最高法院的判决意见做两个分类任务,判断意识形态方向和是不是宪法案件,各有 7668 份和 7001 份。约 18500 个候选词逐个删掉,看分数怎样变,据此给每个任务编一张专用表。常用的通用表在全部 12 次检验里都不如一个词也不删;专用表让 F 值只变了 +0.0023 和 +0.0001,95% 置信区间都跨过零。文章的结论是,该由主张删词的一方拿出证据(Dickinson,2026)。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 1992 | Wilbur 与 Sirotkin | 再删去四分之三的词,检索结果前二十篇平均十七篇不变 |
| 2006 | Zou 等 | 中文停用词表彼此差别大,选得好分词更准 |
| 2008 | Manning 等 | 删词省下的索引压缩后不多,短语查询却会查偏 |
| 2014 | Saif 等 | 经典停用词表让推特情感分类变差 |
| 2017 | Schofield 等 | 主题模型只需去掉出现得极多的词 |
| 2017 | Zhao 与 Gui | 删停用词几乎不改变情感分类 |
| 2018 | Nothman 等 | 52 张现成英文表收的词差别很大 |
| 2019 | Fan 等 | 删了通用表,领域套话照样排在主题最前 |
| 2026 | Dickinson | 通用表在 12 次检验里都不如不删 |
各领域的套话,和删不得的虚词
议会记录有自己的套话。Che Abdul Rahman 等人 2021 年指出,已有的马来语停用词表取自标准马来语和古兰经的马来语译文,处理议会话语并不合适。他们用 1959 年到 2018 年马来西亚议会的议事录编出 587 个词的领域停用词表,新冒出来的有称呼议员的 Berhormat,也有记录里的【笑】(ketawa)和【鼓掌】(tepuk)(Che Abdul Rahman 等,2021)。要是研究会场的气氛,这两个词就不能照表删掉。
Amarasinghe、Manic 和 Hruska 2015 年要从关键基础设施灾害的新闻里分出带地理位置信息的文字。他们先把停用词全部留着,再用进化算法挑一组删掉以后分类最准的词。和另外四种处理相比,两类文字各自判对的比例至少高 1.76% 和 2.27%(Amarasinghe 等,2015)。
Sarica 和 Luo 2021 年从 680 多万件美国专利的标题和摘要里找工程文本的停用词。四种统计指标排出的候选大多重合,可 composite wall(复合墙)这样有技术含义的词组在统计上和 be、and 分不开,所以又请两位各有二十多年工程经验的研究者逐词判断,挑出 62 个不带技术信息的词。编成的表拿去做专利分类,在两张现成表之外再删这批词,分类又准了一些(Sarica 与 Luo,2021)。
有的研究要看的就是虚词。Mosteller 和 Wallace 1963 年判定《联邦党人文集》里 12 篇争议文章的作者,挑的是 an 和 upon 这类出现率稳定的词,war、executive 这样的实词会随题目变(Mosteller 与 Wallace,1963),这条路见文体测量。政策文本也一样,Meng 和 Yu 2016 年对比 2013 年内地的政府工作报告和香港的施政报告,着重看第一人称复数代词怎样用,标题拿【We should】(我们应当)和【We will】(我们将)作对照(Meng 与 Yu,2016)。照一张收了代词的表删,这些词在数词频之前就没了。
想深入可以读这几篇
- Schofield、Magnusson 与 Mimno(2017)Pulling Out the Stops: Rethinking Stopword Removal for Topic Models,五页,主题模型删停用词的得失。
- Saif、Fernandez、He 与 Alani(2014)On Stopwords, Filtering and Data Sparsity for Sentiment Analysis of Twitter,六种删词办法在情感分类上的比较。
- Nothman、Qin 与 Yurchak(2018)Stop Word Lists in Free Open-source Software Packages,六页,现成的表里漏收和错收了什么。
- Fan、Doshi-Velez 与 Miratrix(2019)Assessing topic model relevance: Evaluation and informative priors,领域套话怎样挤到主题最前面,常用的两种评分又怎样看不出来。
- Dickinson(2026)Stop Removing Stopwords: How an Inherited Preprocessing Default Distorts Legal Text-as-Data,逐词删除,检验删词到底有没有用。
在 TATOOLS 里找这批材料自己的停用词
TATOOLS 的【停用词挖掘】从同一领域的一批材料里找这个领域特有的高频套话,交给它的可以是政策文件、访谈稿或游客评论。报告给出一份候选词表,分成内置词表外和命中内置词表两组。每个词列出总频次和出现在几段,还有 DP 和信息含量两项分值,两张散点图把频次和这两项分值对照着画出来。工具页提醒,否定词和领域术语留不留,要看研究目的;原文不做改动,候选表留给你审阅。