内容分析的词典法:不靠聚类,怎么知道材料谈了什么?答案在词典命中里
先定好几个概念,给每个概念配一组词,再数每段材料里各个概念出现了几次。这篇讲这个办法从哪来,词典怎么编、怎么检验,数出来的表怎么读,各学科怎么用,想深入该读哪几篇论文。
假设你在做一个老城区更新项目的社会评估,手上有 40 份居民访谈稿。你想知道居民谈得最多的是哪几件事,是拆迁补偿、邻里关系,还是停车难;这几件事是分开谈的,还是常常扯在一起谈。一份份读当然可以,读完还得说清【谈得多】是多少。
内容分析的词典法,英文叫 dictionary-based content analysis(基于词典的内容分析),先把要看的概念定下来,给每个概念配一组词,再让程序逐段去数。这里说的词典,是一张概念和词的对照表。【安置补偿】下面放【补偿】【赔偿】【安置费】【回迁】,【停车】下面放【车位】【停车场】【乱停】。程序数完,得到一张表,每行是一段话,每列是一个概念,格子里是这段话里属于这个概念的词出现了几次。下面这张表的数字是假设的。
| 段落 | 安置补偿 | 邻里关系 | 停车 |
|---|---|---|---|
| 访谈 3 第 2 段 | 4 | 0 | 0 |
| 访谈 3 第 5 段 | 1 | 2 | 0 |
| 访谈 7 第 1 段 | 0 | 0 | 3 |
竖着看一列,能看出一个概念集中在哪几段;横着看一行,能看出一段话同时碰到了哪几个概念,访谈 3 的第 5 段就把补偿和邻里放在一起说了。词典是研究者事先定的,结果也就只回答事先问的问题,词表里没有的说法,程序一概看不见。
从 General Inquirer 到人工核对词表
内容分析原本靠人读、靠人按编码方案归类。Stone 等人 1966 年在 MIT 出版社出了一本书,介绍用计算机做内容分析的 General Inquirer(通用探询器)程序(Stone 等,1966)。Grimmer 和 Stewart 讲词典法时引的就是这本书,他们称词典法大概是最直观、最容易上手的自动方法,数关键词在一篇文本里出现的比率,据此把文档分进类别,或衡量它在多大程度上属于某个类别(Grimmer 与 Stewart,2013)。Tausczik 和 Pennebaker 回顾说,General Inquirer 是心理学里第一个通用的计算机文本分析程序,把 McClelland 按【需要】给文字编码的方案搬到了任何开放式文本上;这类程序的一个毛病是,语言变量怎样摆弄、怎样加权,使用者看不见(Tausczik 与 Pennebaker,2010)。
Laver 和 Garry 2000 年拿这种办法去估计政党的政策立场。以往人工编码竞选纲领,只记各党强调哪些政策,不记站在哪一边。他们新设计了一套记立场的人工编码方案,配上一套兼容的英文计算机编码方案,用在英国和爱尔兰 1992 年与 1997 年的竞选纲领上。估计结果和独立的专家调查、和以往的纲领分析相互对照,几种编码方法彼此印证的程度很高,计算机编码也在其中(Laver 与 Garry,2000)。
词典本身怎样编,LIWC 留下了一份详细的记录。LIWC 是 Linguistic Inquiry and Word Count(语言探索与字词计数)的缩写,Tausczik 和 Pennebaker 2010 年回顾了它的来历。起因是请评判员给一批情绪写作的文章打分,受过训练的评判员在多数维度上意见仍不一致,评起来又慢又贵,作者于是改让程序数词。程序拿每个词去对照词典,最后算出每一类词占全部词数的百分比。冠词这样的类别一目了然,情绪词这样的类别就要人来判断。候选词取自现成的词典和问卷,也取自研究助理列的清单,三名评判员各自判断每个词该不该归进这一类,三人中两人同意收就收,两人认为不该收就删。整个过程再由另外三名评判员重做一遍,第二轮的一致率在 93% 到 100% 之间。
现成的词典搬到别的领域会出错。Loughran 和 McDonald 2011 年查了 1994 到 2008 年间的大批美国上市公司年报(10-K)。哈佛词典(Harvard Dictionary)用得很广,它标为负面的词,差不多四分之三在财务语境里通常不算负面(Loughran 与 McDonald,2011)。Grimmer 和 Stewart 举过例子,医疗公司常提【cancer】(癌症),石油公司常谈【crude】(原油),这些词在别处带负面色彩,在财报里未必。情感词典法那一篇也讲过这件事。
Grimmer 和 Stewart 2013 年的综述由此提出,用词典,要么先证明别处编的词表适用于手上的领域,要么为这个问题专门编一份,两种情况下都必须检验结果。可是词典得出的测量很少有人检验,通常的做法是默认它是对的,直接拿来用,结果多数基于词典的分析都建在不牢的地基上。他们提的改进之一是把问题简化,比如只把文档分成正面和负面两类,这样就能拿人工编码当标准来检验。
经济学里,Baker、Bloom 和 Davis 2016 年编制经济政策不确定性指数,数的是 10 家美国大报里同时含有三组词的文章,一组是 economic 或 economy(经济),一组是 uncertain 或 uncertainty(不确定),还有一组是 congress(国会)这类政策词。政策词选哪几个,要看人工核对的结果。他们请人读了 12000 篇随机抽出的文章,判断每篇是否在谈经济政策不确定性,再拿电脑的判定去对,从大约 32000 种政策词组合里挑出误判率与漏判率之和最小的一组。人工读出的指数和电脑算出的指数,在 1985 到 2012 年的季度数据上相关系数是 0.86(Baker 等,2016)。
词从哪里来,是另一个难处。King、Lam 和 Roberts 2017 年指出,许多自动文本分析的第一步是挑关键词,用它们从大量文本里圈出要研究的文档,后面所有结论都取决于这一步,可研究者通常随手去挑,常带偏差。他们证明人做这件事做得非常差,于是提出一种计算机辅助的办法,由程序从手头的文本里提议关键词,介于全自动和全靠人之间(King 等,2017)。
读数出来的表,先要记得段落有长有短,长段落的命中自然多;LIWC 给出的就是每类词占全部词数的百分比。词义要看句子,Tausczik 和 Pennebaker 承认 LIWC 不管语境,反语和习语也认不出,【mad】被记作愤怒词,【I'm mad about him】这句话意思是迷恋某人,也会被记错。格子里的数字说明这些词出现了,说的是什么意思,还得回原文看,索引行能把每次出现连同前后文排成一列。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 1966 | Stone 等 | 用计算机做内容分析的 General Inquirer |
| 2000 | Laver 与 Garry | 计算机编码和专家调查、人工编码相互印证 |
| 2010 | Tausczik 与 Pennebaker | 回顾 LIWC 的词表怎样由评判员逐词定下 |
| 2011 | Loughran 与 McDonald | 通用词表搬到财报里会错判 |
| 2013 | Grimmer 与 Stewart | 词典的结果必须检验 |
| 2016 | Baker、Bloom 与 Davis | 拿人工读过的文章挑词、算误判 |
| 2017 | King、Lam 与 Roberts | 计算机辅助挑关键词 |
旅游和政策研究怎样用它
旅游研究里,Stepchenkova 和 Morrison 2006 年比较美国和俄罗斯两边的网站怎样介绍俄罗斯这个旅游目的地。他们从 212 个网站收集了有关俄罗斯的文字,网站分属两国的旅行社、官方机构和旅行指南,再用一个叫 WORDER 的程序数事先指定的 344 个目的地各被提到多少次,其中 43 个一次也没有出现。结论是美国的旅行社把俄罗斯定位得很窄,主要当作历史文化目的地,地理上集中在国土西部(Stepchenkova 与 Morrison,2006)。三年后,Stepchenkova、Kirilenko 和 Morrison 把这套做法写成方法论文,先定下要数的变量,数出频次,再把频次表交给因子分析,用三项目的地形象研究作示范(Stepchenkova 等,2009)。
政策研究里,Xie 和 Huang 2023 年拿中国的地方政府工作报告做词频分析,研究领导干部自然资源资产审计对地方环境注意力的影响,发现审计试点期间,试点城市的地方政府比非试点城市更关注生态环境领域,也更强调实际的环境治理(Xie 与 Huang,2023)。
报告里说得多,实际未必做得多。Shi、Shi 和 Guo 2019 年找来 30 个省份 1998 到 2017 年间约 600 份政府工作报告,分析其中关于环境保护的话语。2006 年环境指标首次纳入干部考核体系以后,地方政府加强了这方面的话语,可报告里的环保话语和财政上的环保投入没有显著相关;报告谈环保的语气倒是和环保投入正相关,在污染密集的地区尤其明显(Shi 等,2019)。
想深入可以读这几篇
- Krippendorff(2019)Content Analysis: An Introduction to Its Methodology,内容分析的教材,1980 年初版,第四版里信度和效度各占一章。
- Tausczik 与 Pennebaker(2010)The Psychological Meaning of Words: LIWC and Computerized Text Analysis Methods,一份词典怎样逐词定下来。
- Grimmer 与 Stewart(2013)Text as Data: The Promise and Pitfalls of Automatic Content Analysis Methods for Political Texts,词典法的长处、隐患,以及为什么必须检验。
- Baker、Bloom 与 Davis(2016)Measuring Economic Policy Uncertainty,用人工核对挑词、算误判的完整例子。
在 TATOOLS 里按概念数词
TATOOLS 的【关键词命中矩阵】做的就是这件事。交给它访谈稿、政策文件或游客评论,可以自己给几个概念各配一组同义或近义的词,也可以让它从材料里找词、归成概念组。报告里有段落 × 关键词的命中矩阵,颜色越深命中越多;有各个概念组的命中合计,和分组之间的共现矩阵,记两组在同一段里一起出现的段落数;还列出命中最多的热点段落,以及命中处前后的语境样例。