
清洗与整理


文本规范化:写法不统一,分析结果会差多少
【东门】和【東門】、半角的 3 和全角的 3,计算机都当成不同的字。这篇讲研究者怎样量出写法不一让词性标注、句法分析和翻译各差多少,统一以后找回多少,什么时候统一反而抹掉了要研究的东西。

标点纠正:标点不对,后面的分析会错在哪
中英文句号混着打,叹号连成一串,一个逗号句拖到底,切句和句长会跟着错,逐句的情感判断也会偏。这篇讲研究者怎样发现标点牵动分词、句法和情感打分,机器怎样检查和改正标点,标点什么时候本身就是数据。

标点恢复:没有标点,后面的分析会错在哪
语音转写稿和古籍常常一个标点也没有,切不出句子,后面按句子做的分析都受牵连,人读着也吃力。这篇讲研究者怎样量出句法分析、信息抽取和翻译各掉多少,补上标点能找回多少,机器现在补得多准。

停用词表:删少了满是套话,删多了丢掉要看的词
通用停用词表删不掉一个领域的套话,换一张现成的表,又可能把否定词和有实义的词一起删掉。这篇讲研究者怎样量出删多删少让检索、分类和主题模型差了多少,照自己的材料编表能挽回多少,什么时候删了也白删。

文本脱敏:分析前先移除隐私信息
访谈稿里夹着手机号和身份证号,交出去之前得先找出来换掉。这篇讲按格式找和让模型学这两条路怎么来的,号码换掉以后人为什么还可能被认出来,法律怎样区分去标识化和匿名化,想深入该读哪几篇。


避免垃圾进垃圾出: 这语料质量值不值得拿来分析
留言里满是【同上】,同一封信贴了几百遍,这样的材料能直接拿去建模吗?这篇讲分析之前怎样给语料做体检,规模、句长、重复率和词汇丰富度各说明什么,为什么要给数据集写一份说明,想深入该读哪几篇。

文本简化:把难读的文字改好读,意思不变
长句和难词会把读者挡在门外。文本简化把文字改得好读,同时保住原意。这篇讲它怎样从替程序拆长句走到替读者改写,改得好不好怎么评,各领域怎么用,想深入该读哪几篇论文。