leafiy教程

KWIC 索引:把一个词的每次出现排在一起看

政策文件里的【更新】说的是拆掉重建还是保留修缮?把这个词的每次出现连同前后文排成一列,就看得出来。这篇讲这种索引从哪来,各学科怎么用,想深入该读哪几篇论文。

作者 Leafiy · 更新于 · 3124 字 · 约 11 分钟

KWIC 索引:把一个词的每次出现排在一起看(封面插图)

假设你在研究城市更新政策,手上有三十多份各地的政策文件。【更新】这个词在里面出现了几百次,可它在不同文件里说的未必是同一件事,有的地方指拆掉重建,有的地方指保留修缮。词频只告诉你它出现了多少次。

KWIC 索引(keyword in context,把关键词放在上下文里看)把这个词的每一次出现都找出来,一次占一行,关键词摆在正中,左右各带一小段原文,上下对齐。下面是个示意。

      推进老旧小区  更新  改造,完善社区服务设施
  严格控制大拆大建,  更新  以保留修缮为主
    采取拆除重建方式  更新  的片区,应当先行评估

几百行这样排下来,顺着中间那一列往下看,【更新】前后常跟着哪些词、分成哪几种用法,比一篇篇翻文件清楚得多。这样的清单还有个更老的名字,叫语词索引(concordance)。

它背后的想法是,一个词是什么意思、带着什么态度,要看它身边的词。只看一处看不出规律,把所有出处摆在一起才看得出。

这种索引是怎么交给机器做的

语词索引原先靠人一条条抄出来,最早把它交给机器的是一位耶稣会神父。Roberto Busa 从 1946 年起着手给托马斯·阿奎那的全部著作编索引。1949 年,IBM 的老沃森(Thomas J. Watson, Sr.)派了一名员工专门支持这项工作,1951 年 Busa 印出了第一份由机器生成的语词索引样本。这项工程最后成书 56 卷,叫 Index Thomisticus(Winter,1999)。此后做这类索引的人多了起来,Burton 在 1981 到 1982 年连写四篇文章回顾自动语词索引的历史,第一篇讲的就是五十年代(Burton,1981)。

KWIC 这个名字出自 Luhn 1960 年的一篇文章。文章关心的是新出的科技文献怎样尽快让人查到。Luhn 把索引分成两种,一种给新文献用,一种给旧文献用,查新文献的人愿意拿精确换及时。给新文献用的,文章提议做成把关键词放在上下文里的索引,这种索引可以完全由机器生成,所以跟得上文献出版的速度(Luhn,1960)。

再往后,语言学家拿它来研究语言本身。把大量真实的文本收在一起,叫语料库,在语料库里查一个词的全部用例,是语料库语言学的基本功。Sinclair 1991 年的一本书,书名就是并排的三个词,Corpus, Concordance, Collocation,也就是语料库、语词索引和搭配(见 Wong 的书评)。

查索引的软件也到了普通人手里。Anthony 2005 年介绍了自己写的 AntConc。这是一个免费的语料分析工具,能在多种系统上跑,本来是给写作课堂用的,里面有语词索引,有词频和关键词的统计,还能画出一个词在文本里的分布(Anthony,2005)。Kilgarriff 等人 2014 年介绍的 Sketch Engine 是词典编纂界常用的语料工具,核心功能里有语词索引,网站上备着许多现成的语料库(Kilgarriff 等,2014)。

这些工具还进了外语课堂。把语料库语言学的工具和办法用到外语学习上,叫数据驱动学习(data-driven learning)。Boulton 和 Cobb 2017 年汇总了 64 项研究里的 88 个样本,发现这种学法的总体效果量(衡量差别有多大的指标)很大,和对照组比是 0.95,和学习者自己学之前比是 1.50。他们同时指出,学到的东西能保持多久,还缺研究(Boulton 与 Cobb,2017)。

年份谁留下了什么
1951Busa第一份由机器生成的语词索引样本
1960LuhnKWIC 这个名字,和完全由机器生成的文献索引
1991Sinclair一本以语料库、语词索引和搭配为题的书
2005Anthony免费的语料分析工具 AntConc
2014Kilgarriff 等带现成语料库的 Sketch Engine
2017Boulton 与 Cobb用语料工具学外语的效果汇总

现在谁在用它读材料

用得最多的是研究新闻话语的人。Baker 等人 2008 年分析了一个 1.4 亿词的英国新闻语料,报道的对象是难民、寻求庇护者和各类移民。他们说,搭配分析和语词索引分析帮他们归纳出这些人群常被怎样描写,也把研究者引到有代表性的文章上去做细读(Baker 等,2008)。其中两位作者同年的另一篇文章分析的也是 1.4 亿词的英国报刊语料,文章发表在 1996 到 2005 年间。里面对难民和寻求庇护者的描写大多是负面的,报纸上还出现了【非法难民】这种说不通的叫法(Gabrielatos 与 Baker,2008)。

城市研究里,Terkper 和 Baddianaah 2024 年考察加纳报纸怎样报道首都阿克拉年年发生的内涝。他们用 86602 词的洪水新闻对照 422436 词的参照语料,做了关键词分析和搭配分析,也逐行读了索引行。报道里的洪水常和【问题】【损失】【死亡】这些词连在一起。专家认为主因是排水渠淤积,报纸上常说的原因却是水沟堵塞(Terkper 与 Baddianaah,2024)。

旅游研究用它看游客笔下的目的地。Franceschi 2021 年收集了一批外国人写的中国旅行和生活博客,在 Sketch Engine 里分析关键词和搭配,再抽出索引行做内容分析。结果是,游客对中国和中国人的印象总体是正面的,描写时却常用相互矛盾的说法。游客寻找的是有本真感的东西,比如历史遗迹(Franceschi,2021)。

政策文本也有人这样读。Meng 和 Yu 2016 年比较了 2013 年的内地政府工作报告和香港施政报告,用索引软件生成词频表和词语搭配的型式,重点看第一人称复数代词的用法有什么不同(Meng 与 Yu,2016)。

想深入可以读这几篇

TATOOLS 里的 KWIC 索引

TATOOLS 的【KWIC关键词上下文索引】做的就是这种索引。把政策文件、访谈稿或新闻报道交给它,再给出你关心的词,它把每一次出现按左侧上下文、关键词、右侧上下文三栏对齐排好,并注明在哪份文件的第几行。关键词也可以让它从材料里的高频词中挑。

报告里还有每个关键词的命中次数和每千字的命中密度,命中位置在全文里的分布,以及哪两个关键词常出现在同一行。

相关工具

相关教程

← 全部教程