leafiy教程

LSA 潜在语义分析:用词不同的文字怎样靠到一起

有人写【绿地】,有人写【草坪】,按字面去搜会漏掉一批。这篇讲 LSA 怎样把词和文档的大表压成几个潜在维度,它从哪来,在心理学和教育测评里做过什么,后来被什么接替。

作者 Leafiy · 更新于 · 3914 字 · 约 14 分钟

LSA 潜在语义分析:用词不同的文字怎样靠到一起(封面插图)

假设一座城市要改造一处老公园,事先在网上征集了几百条居民意见,你想把谈绿化的意见都挑出来。按【绿地】去搜,能找到一批;可有人写的是【草坪】,有人写【树荫】,还有人只说晚上没地方遛狗。这些意见说的是一回事,字面上却未必有一个共同的词,按字去找就会漏掉它们。

LSA(latent semantic analysis,潜在语义分析)对付的就是这种情况。它先把材料列成一张大表,每一行是一个词,每一列是一条意见或一段文字,格子里记这个词在这段里出现了几次,也可以换成 TF-IDF(这段里常见、别处少见的词分量更重)那样的权重。接着用一种叫奇异值分解的矩阵运算,把这张表压成少数几个维度。压完以后,每个词和每段文字都变成一小串数字,意思相近的文字,数字也相近。

近义词为什么会靠到一起,可以拿几条假设的意见来想。【绿地】和【草坪】也许从没在同一条意见里出现过,可它们都常和【遛狗】【散步】【晒太阳】待在一起。表被压到只剩几个维度,装不下每个词各自的细节,只能留下最主要的几种搭配格局,常和同一批词做伴的词就落到了相近的位置。于是一条只写了【草坪】的意见,也会和写【绿地】的意见排在一块。

从检索里的用词难题到词向量

1987 年,Furnas 等人研究人们会自发用哪个词来称呼一样东西。他们在五个和计算机应用有关的领域里观察,发现差异大得出奇,无论哪个领域,两个人选中同一个词的概率都不到 0.2。模拟显示,照当时流行的做法只认设计者最中意的那一个词,很多常见场合下会有八到九成的查找落空(Furnas 等,1987)。

其中几位作者很快拿出了办法。Dumais 等人 1988 年在人机交互会议 CHI 上报告,用奇异值分解把词和文本的大表拆成大约 50 到 150 个互相正交的因子,词和文本都用这么多维的向量表示,查询就在这个语义空间里匹配,这种做法他们叫作潜在语义索引,简称 LSI(Dumais 等,1988)。两年后,原班五位作者以 Deerwester 为第一作者发表了期刊论文。文中每篇文档用约 100 个因子的权重表示,一条查询也当成一篇伪文档放进同一个空间,余弦值(两个向量夹角的余弦,越接近 1 越相近)超过门槛的文档就被找出来(Deerwester 等,1990)。

LSA 随后走进了心理学。Landauer 和 Dumais 1997 年把它当作一种关于知识怎样获得和表示的理论。它事先不带任何语言知识,只从大量文本里词语的局部共现出发,抽出合适数目的维度,例如 300 个。这样学下来,LSA 掌握英语词汇的速度和学龄儿童相当(Landauer 与 Dumais,1997)。次年 Landauer、Foltz 和 Laham 写了一篇介绍,说一个词在哪些语境里出现、在哪些语境里不出现,合起来大体决定了词和词、一组词和一组词在意思上有多近。文章举的证据之一,是它在标准词汇测验上的得分和人的得分相重合;同一期期刊里接下来的三篇文章,则用它估计段落的连贯程度、学生能从一段文字里学到多少,以及一篇作文所含知识的多少和好坏(Landauer 等,1998)。

Hofmann 1999 年提出 LSI 的概率版本,叫概率潜在语义索引(pLSI),用一个潜在类别模型来处理词的计数。文章说,和用奇异值分解的标准做法相比,概率版有扎实的统计基础,是一个真正的生成模型,能说清一批文字按什么概率规律产生;在几个测试集上,它的检索效果比直接匹配词语和原来的 LSI 都好出一大截(Hofmann,1999)。Blei、Ng 和 Jordan 2003 年提出 LDA(latent Dirichlet allocation,潜在狄利克雷分配),把每篇文档看成若干主题的混合,拿来对比的模型里就有 pLSI(Blei 等,2003)。

用向量表示词义,后来有了新一代的做法。Mikolov 等人 2013 年提出两种新的模型结构,从很大的语料里学出词的连续向量,在 16 亿词的数据上用不了一天就能学好(Mikolov 等,2013)。这类向量靠预测上下文学出来,LSA 则是先数、再降维。Baroni、Dinu 和 Kruszewski 2014 年把两类做法放在许多词汇语义任务上系统地比了一遍,结果连他们自己都意外,预测式模型大获全胜(Baroni 等,2014)。一年后 Levy、Goldberg 和 Dagan 重新算了这笔账,发现词向量多出来的效果,很大一部分来自一些设计选择和超参数(需要人事先定好的参数)的调校,算法本身倒在其次;把这些调整搬到传统的计数式模型上,也能得到差不多的提升,比下来没有哪一种方法全面占优(Levy 等,2015)。

年份谁留下了什么
1987Furnas 等同一样东西,不同的人叫法很少相同
1988Dumais 等用奇异值分解把词和文本压成几十上百个维度
1990Deerwester 等期刊论文,查询当作伪文档放进同一空间
1997Landauer 与 Dumais把 LSA 当作知识怎样习得和表示的理论
1998Landauer 等列出 LSA 和人的判断相吻合的证据
1999Hofmann有生成模型作基础的概率版 pLSI
2003Blei 等LDA 主题模型
2013Mikolov 等靠预测上下文学出的词向量
2015Levy 等参数调好以后,计数式和预测式差别不大

心理学、教育测评和别的领域怎样用它

压出来的维度可以有两种用法。Evangelopoulos、Zhang 和 Prybutok 2012 年在一篇方法文章里说,奇异值分解是主成分分析的推广;研究者关心文本的主题结构,就去解读这些维度,只想把文字变成数字,就把它们交给后面的聚类、分类和预测。文章讨论了动手前要定下的五个方法问题,并用《欧洲信息系统期刊》的论文摘要做了四个小研究来演示(Evangelopoulos 等,2012)。

教育测评用它给作文打分。Landauer 2003 年介绍了作文自动评分系统 Intelligent Essay Assessor(智能作文评估器),它主要建立在 LSA 上,拿一篇作文去和内容很相近、已经打过分的作文比。在题目和考生都很多样的多项验证研究里,它和人工评分员之间的相关,与评分员彼此之间的相关一样高(Landauer,2003)。连贯程度也能量。Foltz、Kintsch 和 Landauer 1998 年比较相邻两段文字的向量,重新分析了两项研究里的文本,发现这样算出的连贯程度能预测连贯对读者理解的影响,比单纯数两段共有多少词更有效(Foltz 等,1998)。

精神医学把同样的办法用到病人的话语上。Elvevåg 等人 2007 年请精神分裂症患者和健康志愿者做几种语言任务,把说的话转写下来,用 LSA 计算连贯程度。在词语联想和生成任务里,这个分数能反映出患者和对照组的差别,并和临床上的思维障碍评定相关;在说话样本里,它还能指出不连贯出现在造句的哪个环节(Elvevåg 等,2007)。

Sezgen、Mason 和 Mayer 2019 年用 LSA 读航空旅客的评论,材料是 TripAdvisor(一个旅行点评网站)上 50 家航空公司的五千多条点评。坐经济舱的人满不满意,关键在员工是否友善肯帮忙;坐高端舱位的人看重值不值,选廉价航空的人图的是低价;座椅舒适和腿部空间、行李和航班出的问题以及员工的言行,是各类乘客不满的主要原因(Sezgen 等,2019)。

也有人用它梳理一个领域的文献。Sehra、Singh 和 Rai 2017 年整理 OpenStreetMap(开放街道地图,众人协作绘制的地图)的研究,从 2007 到 2016 年的 485 篇论文摘要里归出五个核心研究领域和五十个研究趋势(Sehra 等,2017)。政治文本上,Valdez、Pickett 和 Goodson 2018 年分析了 2016 年美国总统候选人辩论的文字记录,归出的主题和当时网上搜索最多的政策话题相吻合,按候选人分开看,主题的变化也反映出两人各自的政策立场(Valdez 等,2018)。

想深入可以读这几篇

TATOOLS 里的 LSA

TATOOLS 里做这件事的是【LSA 潜在语义分析】,可以把访谈逐字稿、政策公文或文献笔记交给它。报告把压出来的几个维度当作主题,除了主题结构摘要,还列出每个主题的名称、权重最高的词和代表段落,以及各主题的方差贡献。主题归属不清的段落列在【跑偏段落提示】里,关键词重合较多的主题对列在【主题重叠诊断】里。段落和词还各画成一张散点图,能看出谁和谁靠得近。

相关工具

相关教程

← 全部教程