情感词典法:数一数褒贬词,判断文字的态度
一张标好褒贬的词表,加上处理【不】【很】这类词的几条规则,就能给成千上万条评论打分。这篇讲词表怎么来,否定词和程度词怎么算,这个办法长在哪、短在哪,各学科怎么用,想深入该读哪几篇论文。
假设你在研究一座古镇的口碑,收了八千条游客评论,想知道游客满不满意,哪里最招人抱怨。一条条读,几个星期也读不完。
情感词典法,英文叫 lexicon-based sentiment analysis(基于词典的情感分析),想法很朴素。先准备一张词表,每个词标好褒贬,有的还标上强弱,比如【干净】是褒义,【拥挤】是贬义。程序挨条去找这些词,褒义词加分,贬义词减分,总分为正算积极,为负算消极。光数词还不够。【不热情】里的【不】会把褒义翻成贬义,【很干净】里的【很】会让褒义更重,所以还要配上否定词和程度词的规则。
举个例子,数字是假设的。词表里【热情】和【干净】各记 +2 分,程度词【很】把分数乘以 1.5,否定词【不】把分数变号。【服务不热情,房间倒是很干净】这一条,【不热情】得 −2,【很干净】得 +3,合计 +1,判为偏积极。
词表从哪来,否定和程度怎么算
情感研究常拿来用的一部词表,出自 General Inquirer(通用探询器)。Stone 和 Hunt 1963 年介绍过这套系统,它是 1961 年春天在哈佛开发的一套 IBM 7090 程序,用来做行为科学里的内容分析(Stone 与 Hunt,1963)。按词表数概念的做法,见内容分析的词典法。
Hatzivassiloglou 和 McKeown 1997 年让计算机从连词判断形容词的褒贬。论文的例子是,simple(简单)和 well-received(受欢迎)可以用 and(和)连,换成带贬义的 simplistic(过于简单),就只能用 but(但)连。他们从大语料里收集这类约束,判断每一对相连的形容词褒贬是否相同,准确率 82%,再把形容词聚成两组标上褒贬,在语料里有一些连词搭配的形容词上,精确率超过 90%(Hatzivassiloglou 与 McKeown,1997)。
Turney 2002 年看的是一个短语常和什么词一起出现。这篇论文挑出评论里含形容词或副词的短语,算它和 excellent(极好)的互信息(mutual information,两样东西一起出现的程度),减去它和 poor(很差)的互信息,差值为正就是褒义,一篇评论里这些短语的平均值为正,就判它推荐所评的东西。整个办法不用事先标注评论。在四个领域的 410 篇评论上,平均准确率 74%,汽车评论最高,84%,电影评论最低,66%(Turney,2002)。
Hu 和 Liu 2004 年要从顾客评论里找出产品的哪些特征被评了,每句意见是褒是贬(Hu 与 Liu,2004)。论文只手工列了一小批标好褒贬的种子形容词,再到 WordNet(一部英语词汇网络)里查同义词和反义词。同义词的褒贬跟种子一样,反义词取相反,新判定的词又加进种子,词表就这样越滚越大。判断一句话时,否定词离情感词不超过 5 个词,就把褒贬翻过来,论文的例子是 the camera is not easy to use(这台相机不好用)。
Kennedy 和 Inkpen 2006 年用电影评论检验了三种改变褒贬的词,否定词把褒贬反过来,加强词和减弱词让它变重或变轻。他们用 General Inquirer 的词表认出褒贬词和这三种词,在只数褒贬词的办法上加进这些调整,分类准确率提高了(Kennedy 与 Inkpen,2006)。
中文需要自己的词表。Ku 和 Chen 2007 年按中文构词挖掘褒贬词和各自的权重(Ku 与 Chen,2007)。大连理工大学信息检索研究室发布的《情感词汇本体》,对应的论文是徐琳宏、林鸿飞等 2008 年在《情报学报》发表的《情感词汇本体的构造》(徐琳宏等,2008)。研究室 2020 年的网页说,这份词典免费提供给学术同行,下载已超过 15000 次(大连理工大学信息检索研究室)。
Taboada 等人 2011 年的 SO-CAL(Semantic Orientation CALculator,语义倾向计算器)用的词典给每个词标了褒贬和强弱,也计入加强和否定(Taboada 等,2011)。形容词由人逐个打分,从 −5 到 +5。程度词按百分比放大或缩小,very(很)加 25%,somewhat(有点)减 30%。否定把分数往反方向挪 4 分,not good(不好)从 +3 变成 −1。要是直接变号,excellent 的 +5 就成了 −5,和 atrocious(糟透了)一样,可 not excellent(不算极好)按直觉远没有那么坏。文章说 SO-CAL 换了领域、换了没见过的材料,表现依然稳定,靠标注数据训练的分类器换个领域却会跌到接近瞎猜,这类办法见情感分类。
词表搬到别的领域会出错。Loughran 和 McDonald 2011 年检查了 1994 到 2008 年间美国上市公司的大批年报(10-K)。哈佛词典(Harvard Dictionary)用得很广,它标成贬义的词里,差不多四分之三在财务语境里通常不算贬义。他们另编了贬义词表等六张更合财务文字语气的词表(Loughran 与 McDonald,2011)。
Hutto 和 Gilbert 2014 年为社交媒体做了 VADER(一套词表加规则)(Hutto 与 Gilbert,2014)。9000 多个候选里有表情符号和 LOL(大笑)这样的缩写,每项请十个人打分,从 −4 到 +4,最后留下 7500 多项。五条规则里,感叹号和全大写加强语气,but 之后的半句说了算,看情感词前面三个词,能抓到将近九成由否定造成的翻转。用在推特上,VADER 的 F1(兼顾误判和漏判的指标)是 0.96,单个人工评分者是 0.84。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 1963 | Stone 与 Hunt | General Inquirer 按词表归类计数 |
| 1997 | Hatzivassiloglou 与 McKeown | 从连词推断形容词的褒贬 |
| 2002 | Turney | 看短语和 excellent、poor 谁更常同现 |
| 2004 | Hu 与 Liu | 从种子词沿同义词和反义词扩词表 |
| 2006 | Kennedy 与 Inkpen | 否定词、加强词和减弱词三种调整 |
| 2008 | 徐琳宏等 | 中文的情感词汇本体 |
| 2011 | Taboada 等 | 带强弱的词典,否定改为平移 |
| 2011 | Loughran 与 McDonald | 通用词表在财报里会错判 |
| 2014 | Hutto 与 Gilbert | 为社交媒体调过的 VADER |
词典法的每个分数都能追到是哪几个词和哪条规则,词表不合用可以自己增删,也不用先标注材料。短处是词表编自哪个领域,搬到别处就可能错判,而且它只认字面,【这服务可真好】要是一句反话,照样记一个褒义词。常用的情感分析方法有基于词表的,也有有监督学习的。Ribeiro 等 2016 年在 18 个标注好的数据集上比较了 24 种常用方法,各方法的表现随数据集变化很大(Ribeiro 等,2016)。
城市、旅游和政治研究里的用法
城市研究里,Schwartz 等 2019 年用推特和 Hedonometer(快乐计,按人们写下的词估计快乐程度),看旧金山的人去城市公园之前、当中和之后情绪怎样变化。逛公园时情绪明显更高,离开后几个小时里还保持着,植被更多的区域公园比市民广场提升得更多,否定词也用得少了。作者说这些结果可供城市规划者参考(Schwartz 等,2019)。
旅游和酒店研究里,有人拿它监测口碑。Philander 和 Zhong 2016 年以拉斯维加斯为例,用基于词典的方法给每家综合度假村的推特账号算出情感指数,再和 TripAdvisor(猫途鹰)上的排名对照。文章显示,用公开的词表和相当简单的打分算法,得到的指标信度说得过去,和外部的酒店评价也大体对得上(Philander 与 Zhong,2016)。
政治传播研究要量新闻和讲话的语气。Young 和 Soroka 2012 年介绍了可以免费取用的 Lexicoder 情感词典(Lexicoder Sentiment Dictionary),做法就是数文本里出现了多少词典里的词。他们拿人工编码过的新闻来检验,又和九部现有的内容分析词典比,分析显示 Lexicoder 的结果和人工编码更一致(Young 与 Soroka,2012)。
Fu 等 2013 年分析网上对经济、政治等社会事件的中文评论,先用 LDA(一种按用词归纳主题的模型)找出评论谈到的各个方面,再用 HowNet(知网)情感词表判断每个方面上的褒贬(Fu Xianghua 等,2013)。
想深入可以读这几篇
- Taboada、Brooke、Tofiloski、Voll 与 Stede(2011)Lexicon-Based Methods for Sentiment Analysis,词典怎么编,否定和程度怎么算,都有具体的数,全文免费。
- Hu 与 Liu(2004)Mining and summarizing customer reviews,看怎样从一小批种子词扩出一张词表。
- Hutto 与 Gilbert(2014)VADER: A Parsimonious Rule-Based Model for Sentiment Analysis of Social Media Text,五条规则都写在里面,词表可以下载。
- Loughran 与 McDonald(2011)When Is a Liability Not a Liability? Textual Analysis, Dictionaries, and 10-Ks,讲别的学科编的词表在财务文字里怎样错判。
- Pang 与 Lee(2008)Opinion Mining and Sentiment Analysis,135 页的综述,还整理了可用的资源和评测数据集。
在 TATOOLS 里用词典给材料打分
TATOOLS 的【传统情感分析】用两套情感词典给材料逐行打分,判出积极、中性或消极,其中一套是大连理工七类情绪词典。交给它的可以是游客评论、访谈稿或政策文件,领域里特有的褒贬词,比如【物超所值】【货不对板】,可以自己补进去。报告并排给出两种方法的情感分布和分数区间,列出两者判断不同的行,还分别列出积极行和消极行里的热门关键词。