leafiy教程

避免垃圾进垃圾出: 这语料质量值不值得拿来分析

留言里满是【同上】,同一封信贴了几百遍,这样的材料能直接拿去建模吗?这篇讲分析之前怎样给语料做体检,规模、句长、重复率和词汇丰富度各说明什么,为什么要给数据集写一份说明,想深入该读哪几篇。

作者 Leafiy · 更新于 · 3877 字 · 约 13 分钟

避免垃圾进垃圾出: 这语料质量值不值得拿来分析(封面插图)

假设你在做一项老城更新的研究,从政务留言平台导出了三年里市民谈这片街区的一万多条留言,准备跑一个主题模型。动手之前翻几页原始文件,会发现不少留言只有【同上】两个字,有一封联名信被几百个账号原样贴了一遍,还有的整条是一串网址。直接拿去建模,归纳出的主题里很可能有一个就是那封联名信。

语料质量体检做的是分析之前把材料过一遍,看这批材料撑不撑得起你要做的分析,办法是数几样简单的东西。先数规模,也就是总字数和篇数,材料太少,比例和排名会被几条留言左右。句长看一句话平均多长、最长多长,几百字连成一句,可能是标点丢了,也可能是整页文字粘成了一行;句子好不好读是另一回事,见可读性。重复率数的是整行、整句或短语重复了多少,模板话和转发都会把它抬高,怎样找出几乎一样的文本见近似重复检测。重复的量有时大得惊人,Lee 等人 2022 年发现,一份叫 C4 的网页语料里,有一句 61 个词的英文句子重复了六万多次(Lee 等,2022)。词汇丰富度看用词是不是翻来覆去那几个,它怎样算、受什么影响,词汇多样性一篇讲过。

还有一项数不出来,就是这批材料从哪来,谁写的,按什么挑进来。把这些写下来,读你结果的人才知道结论能推到多远。

体检的项目是怎样一项项加上的

1990 年,Biber 拿 LOB 和 London-Lund 两个语料库做统计,从中抽出各种子样本,看各种语言特征在子样本里的分布和在全库里差多少。文章要回答的是,一篇文本要多长,每一类文本要收几篇,才能可靠地代表这一类文本,整个语料库又要多少篇,才能找准文本之间在哪些方面不同。结论是现有的语料库对许多语言变异的分析已经够用(Biber,1990)。

三年后,Biber 专门讨论语料库的代表性(representativeness,样本能不能代表想研究的那一类语言)。文章讲了怎样界定要代表的总体,分层抽样和按比例抽样怎么选,一篇文本里取哪些部分,要收多少篇。文章主张先从理论上想清楚,哪些情境因素把文本区分开,要分析哪些语言特征,再拿一个试点语料去检验;建库按轮次走,先设计,再收集文本,检验之后修改设计,再来一轮(Biber,1993)。

网页成了语料的来源以后,清洗和去重也进了体检。Kilgarriff 2007 年的短文题为 Googleology is Bad Science(谷歌学是坏科学),讲拿搜索引擎的命中数估计词频为什么靠不住。文中做过一个小试验,同样的查询隔一天再查,30 次里有 9 次相差超过 10%,有 6 次差了一倍。文章主张学界像搜索引擎那样自己下载网页,但要做得公开透明,给出可靠的数字。清洗是其中低层次、不起眼却要紧的一步,后面每一层语言处理都取决于数据干不干净。文中从德语网页语料 DeWaC 里随机抽了 30 个词,数每个词出现在多少篇文档里,清洗、过滤和去重之前的篇数平均是之后的 5.3 倍(Kilgarriff,2007)。

另一条线问的是材料的来历。Bender 和 Friedman 2018 年提出数据说明(data statement)。他们认为,拿一部分人群的语言数据去做给另一部分人群用的技术,会带来科学和伦理上的问题,写清数据的来历,研究结论能推广到哪里才说得准。完整版要交代选这些文本的理由,是哪种语言和方言,说话人的年龄和性别,母语和社会经济地位,标注者是谁,在什么场合对谁说的,文本的体裁和话题。用这个数据集训练或测试系统的论文,都应附上 60 到 100 词的简短版(Bender 与 Friedman,2018)。同一时期,Gebru 等人借了电子行业的做法,那里每个元件都附一份 datasheet(数据手册),写明性能、测试结果和推荐用途。他们提议每个数据集也附一份,写清建它的动机和里面有什么,怎样收集,推荐拿来做什么。这篇文章 2018 年先以预印本发出,2021 年刊于 Communications of the ACM 杂志(Gebru 等,2021)。

训练大规模语言模型,要先从网页里挑出能用的文本。Rae 等人 2021 年训练 Gopher 模型时,为了去掉低质量的网页又尽量不引入偏差,用的是几条简单好懂的规则。一篇文档的词数要在 50 到 100000 之间,平均词长要在 3 到 10 个字符之间,井号或省略号与词数之比不能超过 0.1;重复的行超过三成,或者重复的段落超过三成,这篇也不要(Rae 等,2021)。

规则本身也要体检。C4 是从一次网页抓取里按一组规则筛出来的语料,Dodge 等人 2021 年给它补写说明。他们发现里面有不少意想不到的来源,比如专利和美国军方网站,有机器生成的文字,还混进了其他评测数据集的题目。再看被规则删掉的文本,按禁用词表过滤的那一步,不成比例地删掉了出自少数群体和谈论少数群体的文字(Dodge 等,2021)。

Kreutzer 等人 2022 年人工抽查了 205 个单一语言的语料,它们出自五个公开的多语种网页数据集。资源较少的语言,语料的毛病是成系统的,至少 15 个语料没有可用的文字,相当一部分语料里合格的句子不到一半,许多语料标错了语言,或者用了不规范的语言代码。这些毛病,不太懂那门语言的人也很容易看出来(Kreutzer 等,2022)。

中文网页语料走到了给每篇打分这一步。Chen 等人 2023 年发布 ChineseWebText 语料,先用人工定的规则删掉明显的噪声文本,再用一个评估模型给剩下的每篇文本打质量分,用的人可以按自己要的门槛挑。整个语料 1.42 TB,另有一个质量超过 90% 的 600 GB 子集(Chen 等,2023)。

年份谁留下了什么
1990Biber文本要多长、要收多少篇才够
1993Biber语料的代表性和分轮次建库
2007Kilgarriff网页语料要自己清洗和去重
2018Bender 与 Friedman给数据集写数据说明
2021Gebru 等给数据集附数据手册
2021Rae 等用词数、词长、符号比和重复率筛文本
2021Dodge 等给网页大语料补写说明,检查被删掉的文字
2022Kreutzer 等人工抽查多语种网页语料
2023Chen 等给每篇中文网页文本打质量分

研究者拿它查什么

旅游研究里,Xiang 等人 2017 年指出,用在线评论做的研究往往只用一个来源,数据质量如何多凭零星的印象。他们用文本分析比较了 TripAdvisor、Expedia 和 Yelp 三个平台上纽约曼哈顿全部酒店的评论,发现三个平台呈现出的酒店业差别很大。评论的用语和情感不一样,评分和被认为有用的程度也不一样(Xiang 等,2017)。

城市研究用社交媒体数据,先要问发帖的是谁。Longley、Adnan 和 Lansley 2015 年以伦敦为例,试着把 Twitter(推特)数据加进小区域的人口地理分类。文章看重这类数据在时间和空间上很细,也指出它几乎不带个人属性。更隐蔽的问题是用户群体的偏差从哪来、怎样起作用还不清楚,文章开始识别和评估这些偏差(Longley 等,2015)。

政治学者问的是同一个问题。Barberá 和 Rivero 2015 年用将近 7000 万条推文,分析 2011 年西班牙议会选举和 2012 年美国总统选举期间的政治讨论。他们发现,谈政治的推特用户更可能是男性,住在城市,意识形态立场偏极端,平台复制了公共政治交流中已有的大部分不平等(Barberá 与 Rivero,2015)。Hargittai 2020 年分析一份美国成年人的全国抽样调查,发现社会经济地位高的人更可能同时用好几个平台,从社交媒体来的大数据往往多收了处境较优越者的声音(Hargittai,2020)。这类偏差从字数和重复率里看不出来,要靠数据说明交代说话人是谁。

想深入可以读这几篇

在 TATOOLS 里给语料做体检

交给 TATOOLS 的【文本质量评估器】的,可以是访谈稿、政策文件或一批游客评论。报告先给 0 到 100 的综合得分和从优秀到较差的三档评价,列出命中了哪些扣分项,再逐项标出这份材料是否达到主题模型、聚类和情感分析等六项分析的最低输入条件,达到了也不等于适合直接建模。后面几个板块有规模和字符构成,有句长分布,有行、词和三词短语的重复程度,还有六项词汇丰富度指标。几份材料一起交,报告开头有一张对比表。

相关工具

相关教程

← 全部教程