情感分类:判断文字是积极、消极还是中性
两万条游客评论,哪些在夸,哪些在抱怨?情感分类读完整句,给出积极、消极或中性,再附上几成把握。这篇讲它怎样学会看否定和反话,换一类材料为什么会判错,把握和占比该怎么读,各学科怎么用它,想深入该读哪几篇。
假设你在评估一片老城区改造后的口碑,从点评网站收来两万条游客评论。【拍照很出片,就是人太多】【还不如没改之前】【排队排了一个小时,真值】,这些话是夸还是抱怨,人一读就知道,可两万条读不过来。
情感分类(sentiment classification,给每段文字的态度归类)替人读这两万条:每条读完整句,判它是积极、消极还是中性,再给一个数,说这个判断有几成把握。做判断的程序叫情感分类模型。它是别人事先用大量判好态度的文字做出来的,用的人把文字交给它就能拿到结果。它和情感词典法的区别在于看整句怎么说,不靠数积极词和消极词:【还不如没改之前】里找不出一个消极词,模型照样能判成消极。
拿到这样一份结果,做研究的人要问三件事:模型看得懂哪些说法,换到自己的材料上会不会判错,它给的把握和算出的占比能信几分。这项技术二十多年来的变化,也大多围着这三件事。
从判一篇影评到给出可信的把握
Pang、Lee 和 Vaithyanathan 2002 年把判断一篇文字的态度当成分类问题来做(Pang 等,2002)。他们用网上的影评,影评人自己打的星级就是现成的答案。先请两位研究生各列一组积极词和消极词,靠数这些词来判断,准确率只有 58% 和 64%。让机器从 700 篇积极、700 篇消极的影评里自己找线索,最好的方法判对 82.9%。同样几种方法拿去按主题给文章分类,判得比判态度准,作者分析了原因,态度常常不落在哪个词上。论文里的例子是【怎么会有人坐得住看完这部片子?】,句子里没有哪个词明显是消极的。
早期的实验只分积极和消极,真实材料里却有很多话没有态度,比如【几点开门?】【在地铁站 B 口】。Koppel 和 Schler 2006 年指出,只拿积极和消极的例子去学,模型没法正确处理中性的文字;把中性的例子也放进来,连积极和消极都分得更清(Koppel 与 Schler,2006)。所以材料里没态度的话多,就要用会判中性的模型。像【拍照很出片,就是人太多】这种夸和抱怨都有的话,归到哪一类,要看模型怎么定。
模型从什么材料里学,就最熟悉什么材料。Blitzer、Dredze 和 Pereira 2007 年拿亚马逊上四类商品的评论做实验,有书和 DVD,也有电子产品和厨房用具。他们发现,要判的文字和学习用的文字差得多,判对的比例就会下降(Blitzer 等,2007)。论文的例子是从电脑评论换到手机评论:【信号】是电脑评论里没有的词,【双核】在手机评论里又派不上用场。拿一个靠影评或商品评论练出来的模型去读游客评论和政策留言,先得想想两类材料差多远。
做研究的人要的常常是一共有多少积极,哪一条积极倒在其次。Hopkins 和 King 2010 年在《美国政治学杂志》上指出,计算机科学的分类方法大多为了把每一篇判对,社会科学要的却是整批文字里各类各占多少;逐篇判对比例很高的方法,估出的占比也可能偏得厉害(Hopkins 与 King,2010)。比如模型总把一部分中性的话判成积极,错误就不会互相抵消,积极的占比会被抬高。他们为此提出直接估计占比的办法,论文的例子之一是几千人每天发表的对美国总统的看法。TeBlunthuis、Hase 和 Chan 2024 年又说明,把判断结果直接放进回归分析,模型再准,它判错的那些也会让结论走样,而他们回顾的传播学研究大多没管这件事。补救的办法是留一份人工判过的样本,用它来校正(TeBlunthuis 等,2024)。
否定和转折要看整句的结构。Socher 等 2013 年从影评里取出 11855 个句子,按句法结构拆出 215154 个不同的短语,每个短语都请人标了态度,做成斯坦福情感树库(Stanford Sentiment Treebank)。论文第一页的例句是 This film doesn't care about cleverness, wit or any other kind of intelligent humor(这部片子不在乎聪明、机智或任何别的高明幽默),从 care 起的那一段是积极的,加上 doesn't,整句成了消极。他们的模型沿着句子结构一层层合出意思,把单句只分积极消极的最好成绩从 80% 提到 85.4%,也学到了否定能管多远,以及 but(但是)后面那半句的态度占上风(Socher 等,2013)。人读【景色不错,但是人太多】,也会把重心放在【但是】后面。
反话最容易让模型上当。Riloff 等 2013 年注意到推特上常见的一种反讽:用积极的话说一件糟心的事。论文举的推文是【耶!放假的周末我却要随时待命上班!简直激动死了!】,字面上全是高兴。他们让程序从反讽推文里自动学出积极说法和负面处境两份短语表,两样同时出现就当反讽,找出的反讽比原来的办法更全(Riloff 等,2013)。游客评论里的【排队排了一个小时,真值】是同一种说法。
模型给了结论,用的人还想知道它凭什么。Lei、Barzilay 和 Jaakkola 2016 年让模型在判断的同时从原文里摘出几段简短连贯的文字当依据,要求光凭这几段就足以得出同样的判断(Lei 等,2016)。他们拿按几个方面分别打分的评论检验,和人工标出的依据对照,明显胜过拿注意力权重(模型分给每个词的分量)当依据的对照做法。有了依据,研究者可以顺着它抽查判断靠不靠谱,也能把消极评论里反复出现的依据数一数,看抱怨集中在哪里。
模型给的把握也要能信。把握通常是模型算出的概率。判成积极、把握 0.9,理想的情况是这样的判断十条里大约九条是对的,这叫校准(calibration,概率和实际判对的比例对得上)。Guo、Pleiss、Sun 和 Weinberger 2017 年发现,现代的神经网络常常校不准,十年前的神经网络倒没有这个毛病(Guo 等,2017)。他们在图片和文档分类的数据上比较了几种事后调整的办法,在多数数据集上,最简单的温度缩放(temperature scaling,用一个数统一调整所有概率)就很管用。校准过的把握,才能用来挑出拿不准的那几条交给人复看。
现成的模型越来越多,选哪一个成了问题。Hartmann、Heitmann、Siebert 和 Schamp 2023 年汇总了 272 个数据集、1200 万条标好态度的文字,比较各种情感分析方法(Hartmann 等,2023)。迁移学习模型(transfer learning,先在大量文字上学会语言,再学判断态度)判得最准,平均比常用的情感词典多判对 20 多个百分点,但可能不如排行榜上看起来那么好;分几类、文字有多长,都会影响能达到的准确率。他们公开了一个这样的模型 SiEBERT,用起来和情感词典一样省事。
大语言模型出来以后,不给例子,直接问一句【这段话是消极的吗】也能判。Rathje 等 2024 年拿 15 个数据集、47925 条人工标注过的推文和新闻标题检验 GPT,语言有 12 种,要判的有情感和具体情绪,也有冒犯性和道德基础这类心理学概念。GPT 和人工判断的相关系数在 0.59 到 0.77 之间,英文词典分析只有 0.20 到 0.30,和几种专门训练过的模型相差不多,有时更好(Rathje 等,2024)。Zhang 等同年在 26 个数据集、13 项任务上比较,大语言模型在简单的任务上表现令人满意,遇到需要细致理解情感现象的任务,就不如在领域数据上训练过的小模型(Zhang 等,2024)。到 2024 年,做情感分类有两条路,一条用专门判态度的小模型,一条直接问大语言模型。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 2002 | Pang、Lee 与 Vaithyanathan | 机器判影评的态度,胜过数人列的词 |
| 2006 | Koppel 与 Schler | 没有态度的文字要单独算一类 |
| 2007 | Blitzer、Dredze 与 Pereira | 换一类材料,判得就没那么准 |
| 2010 | Hopkins 与 King | 逐篇判得准,占比不一定准 |
| 2013 | Socher 等 | 沿句子结构判断,学到否定和转折 |
| 2013 | Riloff 等 | 反讽是积极的话配上糟心的处境 |
| 2016 | Lei、Barzilay 与 Jaakkola | 判断时从原文摘出依据 |
| 2017 | Guo 等 | 概率要校准,把握才可信 |
| 2023 | Hartmann 等 | 在 272 个数据集上比较现成的方法 |
旅游、城市、新闻和公共议题里的用法
旅游研究里有人专门检验过机器判得过不过人。Kirilenko、Stepchenkova、Kim 和 Li 2018 年在《旅游研究杂志》(Journal of Travel Research)上,拿几类自动情感分析工具和人工判断对比,材料是旅游、酒店和营销研究里常见的那种。在好判的数据上,常用指标显示机器学习方法和人相差不多;换成 Cohen's kappa(扣掉碰巧一致之后的一致程度)来看,机器还是不如人。数据难判又杂乱时,自动分析明显比人差。作者提醒,挑工具要有讲究,别不加检查就用(Kirilenko 等,2018)。
城市研究拿它量人对空间的感受。Duan、Shen 和 Luo 2022 年取了上海 2021 年 7 月 19 日到 25 日这一周一万多条带位置的微博评论,用带注意力机制的深度学习算法给每条定情感类别和强度,再和五个方面十项建成环境要素对照。上海青年的整体情感偏消极,在较小的尺度上,情感强度和多数建成环境要素显著相关(Duan 等,2022)。Song 等 2026 年从网上的公园评论里分出可达、好用和吸引人三个感知维度,微调过的大语言模型准确率在 83% 到 91% 之间,胜过其他算法。他们把它用到香港,给 158 个城市公园算出感知得分,找出一些公园容量充足、体验却差的街区(Song 等,2026)。
传播学常要量新闻的基调。van Atteveldt、van der Velden 和 Boukes 2021 年拿一批荷兰经济新闻标题当检验集,比较了受过训练的人工编码和众包编码,也比较了多种情感词典和机器学习(van Atteveldt 等,2021)。判得最好的仍然是人;没有一部词典的效度够得上可接受的水平;机器学习,尤其是深度学习,远胜过词典,但还不如人。他们因此强调,自动的文本分析每次用之前都要先验证,并给出了一套分步的做法。
公共议题上,Sui 和 Zhang 2024 年收集了 367856 条讲垃圾分类的微博,结合 LDA 主题模型和一个深度学习情感模型,分析公众关注什么、态度如何,发现微博上对垃圾分类的积极情感多于消极情感(Sui 与 Zhang,2024)。
想深入可以读这几篇
- Pang、Lee 与 Vaithyanathan(2002)Thumbs up? Sentiment Classification using Machine Learning Techniques,八页,从数据到结果讲完一个实验,最后分析判态度比分主题难在哪里。
- Hopkins 与 King(2010)A Method of Automated Nonparametric Content Analysis for Social Science,要报告积极消极各占多少的人该读,讲逐篇判对和占比估准为什么是两回事。
- Socher 等(2013)Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank,想看否定和转折怎样改变一句话的态度,读这篇。
- van Atteveldt、van der Velden 与 Boukes(2021)The Validity of Sentiment Analysis: Comparing Manual Annotation, Crowd-Coding, Dictionary Approaches, and Machine Learning Algorithms,在同一批新闻标题上比较人工、众包、词典和机器学习,附有先验证再使用的步骤。
- Hartmann、Heitmann、Siebert 与 Schamp(2023)More than a Feeling: Accuracy and Application of Sentiment Analysis,在 272 个数据集上比较各类方法,讲选方法时该看哪些条件。
- Rathje 等(2024)GPT is an effective tool for multilingual psychological text analysis,在 12 种语言上检验大语言模型判断情感等心理学概念,附有示例代码。
在 TATOOLS 里逐条判断积极、消极和中性
【高级情感分析】、【DeepSentiV2深度学习情感分析】和【Mia通用快速情感判断】用同一个中文情感模型 Mia 读整句,逐条判积极、消极或中性。游客评论、问卷开放题这类短文字三个都能交,访谈记录交给高级情感分析。
高级情感分析给每条附上摘自原文的证据词,标出否定翻转、反讽反转这类说法,并把消极的文本归纳成几类原因、算出各占多少。DeepSentiV2 的报告上是 0 到 1 的情感得分和情感趋势,另有积极、消极关键词榜单。Mia通用快速情感判断给出三类占比和校准过的把握,列出每类最有把握和把握不足的文本,也能只看偏积极和偏消极各占多少。