leafiy教程

语料检索:换了说法的同义表达,检索时怎么归到一起?

在一批文档里按一句话找段落,按字面找会漏掉换了说法的段落,按意思找又会漏掉另一些。这篇讲两路检索各自的长短,两份结果怎样合并,为什么最后还要再排一遍,以及想深入该读哪几篇论文。

作者 Leafiy · 更新于 · 3966 字 · 约 14 分钟

语料检索:换了说法的同义表达,检索时怎么归到一起?(封面插图)

假设你在研究老旧小区改造,手上有一座城市十年来的两百多份政策文件、规划说明和会议纪要,想把谈到【加装电梯】的段落都找出来。按关键词搜,写着【加装电梯】的段落一条不落,写成【解决老人上下楼难】的段落却一条也找不到,字面上没有一个词对得上。换一种办法,让程序按意思去找,换了说法的段落能找回来,可它认少见的名字不如关键词灵敏,某个小区的名字、某份文件的文号,它可能对不上。

所谓 hybrid retrieval(混合检索),就是两条路都走。关键词那一路看字面上的重合,查询里的词在一段话里出现得越多、在整批文档里越少见,这段话得分越高。常用的打分办法叫 BM25,它的来历在 TF-IDF 那一篇里提过。语义那一路先把查询和每段话各自变成一串数字,叫向量,意思相近的文字,向量也靠得近,这一路叫 dense retrieval(稠密检索)。两路各交出一份名单,再合成一份。最后常常还有一步 rerank(重排),从合并后的名单里取排在前面的一批,交给一个更细也更慢的模型,把查询和每段话放在一起读,重新打分。

两条路是怎样走到一起的

把几次检索的结果合起来,九十年代初就有人做。Fox 和 Shaw 在 TREC(Text REtrieval Conference,文本检索会议)的第二届评测里,用两类不同的检索办法做了五次检索,再把每篇文档在五次里得到的相似度合起来。合的办法试了六种,其中 CombSUM 就是相加。论文的理由是,一种检索办法没把某篇相关文档排到前面,另一种办法很可能会把它排上去。在 50 个检索题目上,相加的结果和单独最好的那一次相比,有 46 个题目更好。论文也看到,只合两次的话,多数组合还不如两次里较好的那一次(Fox 与 Shaw,1993)。

关键词这一路的 BM25 也出自这个评测。Robertson 等人在 Okapi at TREC-3 里写道,上一届他们已经让词的权重把词在文档里出现几次、文档有多长都算进去,为第三届调试打分函数时,又把 BM11 和 BM15 两个函数合成一个,叫 BM25(Robertson 等,1994)。

几份名单怎样合,Cormack、Clarke 和 Büttcher 2009 年给了一个只看名次的办法,叫 reciprocal rank fusion(倒数名次融合,RRF)。一篇文档在每份名单里排第几,就取 60 与这个名次之和的倒数,各份名单的得数相加,按总数排序。论文说 60 接近最好,换别的值差别也不大。他们用 RRF 合并几组 TREC 实验的结果,合出来的名单几乎总比参与合并的最好那份还好,也胜过当时的标准办法 Condorcet Fuse(两两比较,按多数票定先后)(Cormack 等,2009)。举个例子,数字是假设的。一段话在关键词那路排第 1,在语义那路排第 9,得分是 1/61 加 1/69,约 0.0309;另一段两路都排第 4,得分是 2/64,即 0.03125,反倒略高。两路都看好的段落,容易排到只被一路看好的段落前面。

2019 年,Nogueira 和 Cho 把 BERT(一种预训练语言模型)改作段落重排。论文描述的流程是先用 BM25 这样的标准办法从语料里取出比如一千篇可能相关的文档,再用更费计算的办法逐篇打分、重新排序。BERT 读的时候,查询和段落拼在一起作为一个输入。在 MS MARCO(一个段落检索评测)上,这个做法当时排到了排行榜第一,MRR@10(看第一个相关段落排第几)比之前最好的结果相对提高了 27%(Nogueira 与 Cho,2019)。

两句话一起读,成绩好,代价是慢。Reimers 和 Gurevych 同年算过一笔账,用 BERT 在一万个句子里找出最相似的一对,要做约五千万次计算,大约 65 小时。他们的 Sentence-BERT 先把每个句子单独变成向量,再用余弦相似度比较,同样的事只要约 5 秒,准确度保持在 BERT 的水平(Reimers 与 Gurevych,2019)。句子怎样变成向量,句子的语义相似度那一篇专门讲。

2020 年,Karpukhin 等人的 DPR(dense passage retrieval,稠密段落检索)证明单靠稠密向量就能把检索做起来。论文开头说,开放领域问答要先找出候选段落,TF-IDF 或 BM25 这类稀疏向量的办法是事实上的标准做法。他们让问题和段落各由一个编码器变成向量,用不多的问题和段落就能训练出来。在多个开放领域问答数据集上,它前 20 段的检索准确率比一个很强的 BM25 系统高出 9 到 19 个百分点(Karpukhin 等,2020)。

2021 年,Sciavolino 等人编了一批围绕实体的简单问题,比如某个人出生在哪里,稠密检索的成绩远远落后于稀疏的关键词办法。他们发现稠密检索只对常见的实体管用,除非训练时见过这种问法(Sciavolino 等,2021)。Wang、Zhuang 和 Zuccon 同年研究把 BM25 的分数按比例掺进 BERT 类模型的分数。BERT 重排模型查询时计算量太大,当不了初筛,只能排 BM25 找出的候选。稠密检索避开了这笔开销,可以直接在整个语料里找,但它擅长抓强的相关信号,认不出弱的,掺进 BM25 才补得上,提升也显著(Wang 等,2021)。

同在 2021 年,Thakur 等人发布了 BEIR,收了 18 个公开数据集,任务和领域各不相同,测了 10 种检索系统在没训练过的领域里表现如何。BM25 是个稳健的基线(拿来比较的参照)。重排模型的平均成绩在最好之列,只是计算代价高;稠密检索这类计算省的模型,常常不如别的办法(Thakur 等,2021)。

到了 2024 年,两路可以由同一个模型给出。Chen 等人的 M3-Embedding 能同时做三种检索,稠密检索、多向量检索(一段话用多个向量表示)和稀疏检索,BM25 就属于稀疏这一类。训练时,三种检索给出的相关分数合在一起,当作教它的信号(Chen 等,2024)。

年份谁留下了什么
1993Fox 与 Shaw把几次检索的分数相加
1994Robertson 等关键词打分的 BM25
2009Cormack 等只看名次合并的 RRF
2019Nogueira 与 Cho用 BERT 给候选段落重排
2019Reimers 与 Gurevych用余弦相似度直接比较的句子向量
2020Karpukhin 等问答检索上,稠密检索胜过 BM25
2021Sciavolino 等,Wang 等稠密检索认不准少见的实体,要掺 BM25
2021Thakur 等换到新领域,BM25 稳,重排成绩好
2024Chen 等一个模型同时给出稠密和稀疏的分数

规划、出行和旅游研究里怎么用

检索也可以放在大语言模型前面,先找出相关段落,再让模型据此回答。这种做法叫检索增强生成(retrieval-augmented generation,RAG),Lewis 等人 2020 年提出时,把一个生成模型和维基百科的稠密向量索引接在一起(Lewis 等,2020)。

城市规划领域,Zhu 等人 2025 年介绍了 PlanGPT,一个专为城市和空间规划做的智能体框架。文章说通用大模型难以满足规划师的需要,检索相关信息就是难处之一。PlanGPT 是和专业规划师一起开发的。按正文的说明,它检索时按关键词相似度和语义相似度各找一批文档,再用关键词精确匹配和交叉注意力(把查询和文档放在一起读)的分数重排(Zhu 等,2025)。

Xu 和 Jiao 的题目来自交通规划,让大语言模型预测人们选什么出行方式。他们用普吉特湾地区 2023 年的家庭出行调查数据,比较了四种检索设置,其中两种在检索之后用交叉编码器(cross-encoder,把查询和候选放在一起读的模型)重排。加了检索,几种模型的预测准确率都大大提高。GPT-4o 这个模型配上均衡检索和交叉编码器重排,准确率最高,为 80.8%,超过了传统的统计模型和机器学习模型(Xu 与 Jiao,2026)。

旅游研究里,Farizi 等人用班尤马斯县 49 个旅游目的地的资料做问答机器人,比较了几种向量模型和几种大语言模型的搭配。多语言的向量模型在所有配置里检索都更准,选哪个向量模型,比换哪个大语言模型影响更大(Farizi 等,2026)。

做文献综述也用得上。医学的系统综述要把检索到的文献一篇篇筛过,Wang 等人 2022 年用几种预训练语言模型给这些文献排序,让最可能相关的先被看到。BERT 类的排序模型胜过了当时最好的筛选排序办法,论文还指出它和已有的办法可以互补,合起来用可能更好(Wang 等,2022)。

想深入可以读这几篇

TATOOLS 里的语料检索

TATOOLS 的【语料检索】走的是先按关键词初筛、再按语义重排的路子。交给它一批政策文件、访谈稿或游客评论,连同想找的几句话,报告按相关度列出每条查询最相关的片段,标出命中的词,还给出查询命中率、资料覆盖率和每份文件被命中的次数。

相关工具

相关教程

← 全部教程