句子的语义相似度:用词不同,怎样看出意思相近
两句话没有一个共同的词,说的却是一回事;只差一个【不】字,意思又正相反。这篇讲程序怎样从数共同的词走到比较句向量,这个分数能信到什么程度,研究里怎么用,想深入该读哪几篇。
假设你在研究一条新开通的地铁线,收集了沿线居民的访谈和网上留言,想知道有多少人在说同一件事。【出站以后还要走很远才到家】和【最后一公里不方便】说的是一回事,两句却没有一个共同的词。反过来,【换乘很方便】和【换乘很不方便】只差一个字,意思却正相反。按字面去比,前一对得零分,后一对得分却很高。
semantic textual similarity(语义文本相似度)要让程序按意思打分。一种做法是用训练好的模型把每句话变成一长串数,叫 sentence embedding(句向量)。意思相近的句子,向量指向相近的方向。方向有多接近,用两个向量夹角的余弦来量。
余弦相似度 = (A₁×B₁ + A₂×B₂ + …) ÷ (A 的长度 × B 的长度)
A₁ 和 B₁ 是两个向量的第一个数,依此类推,分子是对应位置相乘再相加;一个向量的长度,是它的每个数平方后相加再开方。下面的数字是编的,每个向量只取三个数。A 是 (3, 4, 0),B 是 (4, 3, 0),分子是 24,两个长度都是 5,余弦是 24 ÷ 25 = 0.96,几乎同向。C 是 (0, 0, 5),和 A 对应位置相乘全是 0,余弦也是 0。方向完全相同得 1,向量的长短不影响结果。
从数共同的词到比较句向量
最直接的办法是数两句话有多少共同的词。程序比得准不准,要拿一批人工判断过的句子对来对照。Dolan 和 Brockett 2005 年写道,研究句子改写的一个障碍,是没有规模大又公开的标注语料。他们从按话题聚在一起的新闻里自动挑出可能互为改写的句子对,交给人判断,做成 5801 对的微软研究院改写语料库,人确认其中 67% 意思相同(Dolan 与 Brockett,2005)。
Li 等人 2006 年指出,当时算句子相似度的办法是从处理长文档的办法搬来的,要在维数很高的空间里处理句子。他们专门针对句子这么短的文本,用一部结构化的词汇数据库加上语料统计来算两句的语义相似度,也把词序算进去。在两组挑选出的句子对上,结果和人的直觉显著相关(Li 等,2006)。
2012 年,Agirre 等人在 SemEval(语义评测)里办了一次语义文本相似度的试点任务。人给句子对打分,0 分最不相似,5 分最相似。训练数据有 2000 对。组织者先自己试标,每人的打分和其余人平均分的相关在 87% 到 89%。35 支队伍交了 88 份结果,最好的相关超过 80%,只比较用词的简单基线只有 31%(Agirre 等,2012)。
词怎样变成向量,LSA 那一篇讲过。Le 和 Mikolov 2014 年指出,bag-of-words(词袋,只记每个词出现几次)丢了词序,也不管词义,在它眼里,近义的【powerful】【strong】和地名【Paris】彼此一样远。他们给每段文字学出一个稠密向量,训练它去预测这段文字里的词(Le 与 Mikolov,2014)。Kiros 等人 2015 年的 Skip-thought(一种句向量模型)拿书里前后相连的句子训练,让模型从一句话还原出它前后的句子,语义和句法相近的句子就得到相近的向量(Kiros 等,2015)。Conneau 等人 2017 年改用斯坦福自然语言推理数据集来训练,里面的句子对由人标为蕴含(后一句能从前一句推出)、矛盾或中立。这样得到的句向量在多种迁移任务(把句向量拿去做别的任务)上稳定胜过 Skip-thought 这类无监督的办法(Conneau 等,2017)。
BERT(一种预训练语言模型)判断两句像不像,要把两句一起读进去,大批句子两两比较时计算量极大,混合检索那一篇算过这笔账。Reimers 和 Gurevych 2019 年的 Sentence-BERT 用孪生网络,两句各自走同一个网络,每句单独得出一个向量,再用余弦比较,准确度保持在 BERT 的水平(Reimers 与 Gurevych,2019)。Gao、Yao 和 Chen 2021 年的 SimCSE 用对比学习训练。无监督的版本让模型在对比中认出句子自己,噪声只来自 dropout(训练时随机屏蔽一部分神经元);有监督的版本用推理数据,蕴含的句对当正例,矛盾的句对当难分的反例。用 BERT 的基础版时,两个版本在语义文本相似度任务上的斯皮尔曼相关平均是 76.3% 和 81.6%(Gao 等,2021)。
Muennighoff 等人 2023 年指出,在相似度任务上最好的向量能不能同样用于聚类和重排,并不清楚。他们发布的 MTEB(大规模文本向量评测)有 8 类任务,共 58 个数据集,涉及 112 种语言。测了 33 个模型,没有哪一种方法在所有任务上都领先(Muennighoff 等,2023)。中文有 Xiao 等人 2024 年的 C-MTEB,6 类任务、35 个数据集,同时发布的 BGE 系列模型,在这套评测上比发布时已有的中文向量模型高出 10% 以上(Xiao 等,2024)。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 2005 | Dolan 与 Brockett | 人工判断过的句子改写语料 |
| 2006 | Li 等 | 专为短句设计的语义相似度算法 |
| 2012 | Agirre 等 | 0 到 5 分的语义文本相似度评测 |
| 2014 | Le 与 Mikolov | 给整段文字学一个向量 |
| 2015 | Kiros 等 | 从前后句学出的句向量 |
| 2017 | Conneau 等 | 用推理数据训练句向量 |
| 2019 | Reimers 与 Gurevych | 能直接算余弦的 Sentence-BERT |
| 2021 | Gao 等 | 对比学习的 SimCSE |
| 2023 | Muennighoff 等 | 跨任务的文本向量评测 MTEB |
这个分数能信到什么程度
评测时拿模型的分数和人的打分算相关。用哪种指标算,Agirre 等人 2012 年就承认还没解决好。Reimers、Beyer 和 Gurevych 2016 年指出,只靠皮尔逊相关做这种评测可能误导人。在三种常见的、要用到相似度的任务里,它尤其挑不出最适合该任务的系统,别的评价办法合适得多(Reimers 等,2016)。
否定是一处漏洞。Anschütz、Miguel Lozano 和 Groh 2023 年指出,大语言模型低估了否定会把一句话的意思改变多少,以它们为基础的评价指标因此对否定不敏感。他们用规则把句子改成否定句,造出一个数据集,再拿它微调一个句向量模型,提高它对否定的敏感度(Anschütz 等,2023)。开头那对只差一个【不】字的句子,就属于这一类。
余弦本身也受到质疑。Steck、Ekanadham 和 Kallus 2024 年分析正则化线性模型学出的向量,推导出余弦相似度可能给出任意的、因而没有意义的相似度,有的模型里它甚至不唯一。他们提醒不要不加分辨地用余弦,并列出了替代的办法(Steck 等,2024)。
政策、酒店回复和问卷题目
公共政策研究里,Hu 和 Lin 2022 年比较住房和城乡建设部 2022 年印发的建筑节能与绿色建筑发展十四五规划和 16 个省级绿色建筑地方法规。他们用的是比较用词的办法,按词袋和 TF-IDF 算句子之间的余弦相似度。结果天津和上海的法规更贴合规划的要求;规划的重点任务、保障措施和实施要求这三大部署,平均相似度相差不大,地区之间差别却很大(Hu 与 Lin,2022)。
酒店研究里,Zhang 等人 2019 年研究纽约的 437 家酒店,数据取自 Expedia(一家在线旅行预订网站),有点评、管理方回复和实时预订量。他们拿三种常用的文本相似度算法衡量回复之间有多像。回复条数对预订没有显著影响;跟没有回复、只有一条回复或回复彼此不太像的相比,回复高度相似的酒店预订量明显更少(Zhang 等,2019)。
问卷的题目本身就是句子。Wulff 和 Mata 2025 年用语言模型把心理测量的题目、量表和构念名称都变成向量,在国际人格题库等数千道题、数百个量表上,向量能预测测量之间的实证关系,还能自动查出分类上的谬误(Wulff 与 Mata,2025)。Hommel 和 Arslan 同年微调的 SurveyBot3000 只看题目文字,推算题目之间的相关。在预注册的验证研究里,换上新题目,题目间相关的估计和实测值的吻合度是 0.59,量表信度和量表间相关都是 0.84;题目间相关的平均误差是 0.17,中等大小的相关误差更大(Hommel 与 Arslan,2025)。
想深入可以读这几篇
- Agirre、Cer、Diab 与 Gonzalez-Agirre(2012)SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity,作者说第一份语义文本相似度数据集就是为这次评测做的,文中附有给标注者的定义和说明。
- Reimers 与 Gurevych(2019)Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks,句向量怎样训练出来,又怎样直接拿来算余弦。
- Gao、Yao 与 Chen(2021)SimCSE: Simple Contrastive Learning of Sentence Embeddings,用对比学习训练句向量,分无监督和有监督两种做法。
- Chandrasekaran 与 Mago(2021)Evolution of Semantic Similarity—A Survey,综述,把各种办法按原理分成基于知识、基于语料、基于深度神经网络和混合四类,各讲长处和短处。
- Steck、Ekanadham 与 Kallus(2024)Is Cosine-Similarity of Embeddings Really About Similarity?,四页,讲余弦相似度在什么情况下靠不住。
TATOOLS 里的相似句查找
TATOOLS 的【相似句查找】按意思比较句子,换了说法的句子也会配成对。交给它的可以是访谈稿、游客评论或政策文件。报告列出相似句对和相似度,两句共有的词加了底色,没有共有词的标着【用词不同,意思相近】;还有相似程度的分布,以及互相相似的句子归成的组,每组标出代表句。报告也提醒,同一话题、观点相反的句子可能被判为相似。