leafiy教程

从文本构建知识图谱:文字里谁和谁有什么关系

一批政策文件或访谈里,哪个部门管哪件事,谁和谁有来往?知识图谱把这些关系抽成一张由点和箭头组成的图。这篇讲关系怎样从句子里抽出来,同一个东西的几种叫法怎样并到一起,这门技术怎么发展来的,有哪些研究在用,想深入读哪几篇。

作者 Leafiy · 更新于 · 3901 字 · 约 14 分钟

从文本构建知识图谱:文字里谁和谁有什么关系(封面插图)

假设你在研究一座城市的老旧小区改造,手上有市里和区里的三十份政策文件,还有一批居民和社区干部的访谈。你想弄清楚哪个部门发了哪份文件,文件把哪件事交给了谁,居民说的【加装电梯】又牵扯到哪些单位。读前几份时,可以在纸上画,一个名字画一个圈,两个圈之间连一条箭头,箭头上写【负责】或【审批】。读到第三十份,这张纸就画不下了,同一个部门还在不同文件里换着名字出现。

知识图谱就是把这张纸搬进电脑。文字里的人名、机构名和地名这类对象叫实体,是图上的点;两个实体之间的关系是一条带方向的边。一句话可以拆成三段,前面是主体,中间是关系,后面是客体,叫三元组,比如【区住建局,负责,加装电梯审批】。从文本构建知识图谱,就是让计算机把一批材料拆成许多三元组,再把指同一个东西的不同叫法并成一个点,比如【住建局】和【区住建局】。把实体从句子里找出来,另有命名实体识别一篇专门讲;知识图谱自己的难处在后两步,关系怎么抽,名字怎么并。

从找固定句式到让大模型读材料

用计算机从大量文字里抽关系,可以先找固定的说法。Hearst 1992 年研究怎样从不加限制的文本里自动获取上下位关系,也就是哪个词是哪个词的一种。论文找的是一批词汇句法模式(lexico-syntactic patterns,由词语和句法组成的固定格式),它们容易认,在各种文体里都常出现,而且一出现就确定表示这种关系。论文的例子是英文的 such as(比如),一句话写某种乐器 such as 另一个名字,多数英文读者即使没见过后面这个名字,也能推出它是前一种乐器的一种(Hearst,1992)。换成中文,从【江南古镇,比如周庄和乌镇】也能读出周庄和乌镇都是江南古镇。这个办法不需要事先编好的知识,论文还设想,别的词汇关系也能照这个路子去找。

另一批人在想怎样把知识写成机器能用的样子。Berners-Lee、Hendler 和 Lassila 2001 年在《科学美国人》上发表 The Semantic Web(语义网),文章提要说,网上会出现一种对计算机有意义的新内容,带来许多新的可能(Berners-Lee 等,2001)。随后出现了几个大型知识库。Auer 等人 2007 年介绍的 DBpedia 和同年的 YAGO 都从维基百科里取材。DBpedia 是一项社区工作,把抽出的结构化信息放到网上供人和机器使用(Auer 等,2007);YAGO 自动抽取事实后,再和英语词汇库 WordNet 统一起来,有超过一百万个实体和五百万条事实,评估下来准确率约 95%(Suchanek 等,2007)。Freebase 由众人合作编写和维护,收了超过 1.25 亿条元组,也就是一条条记录(Bollacker 等,2008)。

从自由文字里抽关系,过去的系统要人先说好抽什么。Banko 等人 2007 年指出,传统的信息抽取只回答事先定好的窄问题,换一个领域,用户就得重新指定要抽的关系,再给一批训练样例,关系有多少种,人工就跟着涨多少。他们提出开放式信息抽取(Open IE),系统把语料过一遍,不要人提供任何输入,就抽出大量关系元组。他们的系统 TextRunner 在 900 万个网页上做了实验,概率最高的 1100 万个元组里有 100 多万条具体事实(Banko 等,2007)。

还有一条路是监督学习,先由人在句子里标出实体和关系,再训练分类器。Mintz 等人 2009 年的论文说,人工标注的语料贵,所以量少,训练出的分类器还会偏向标注语料所在的领域。他们改用远程监督(distant supervision,拿已有的知识库代替人来标注)。凡是在 Freebase 里有某种关系的一对实体,他们就到大量没有标注的文本里找出同时提到这两个实体的句子,用这些句子训练关系分类器。模型抽出了 102 种关系的 1 万个实例,精确率 67.6%,也就是抽出的实例里约三分之二是对的(Mintz 等,2009)。

Knowledge Graph(知识图谱)这个叫法,文献里早有人用过,今天通行的意思来自 Google 2012 年发布的知识图谱(Hogan 等,2021)。Paulheim 2016 年的综述写道,公开的知识图谱里,DBpedia、YAGO 和 Freebase 属于最有名的几个。文章说,这些图常常从维基百科这样的半结构化知识里建起来,或者用统计和语言学方法从网上收集,结果要在完整和正确之间求一个折中;不管用哪种办法建,结果都不会完美(Paulheim,2016)。

开放式信息抽取得到的三元组里,同一个实体或同一种关系可能有好几种写法。Galárraga 等人 2014 年举的例子是,系统可能同时存下【Barack Obama,生于,Honolulu】和【Obama,出生地,Honolulu】,事实重复,意思也含糊。他们用机器学习把同义的名字和说法聚成一类,让这些三元组归一(Galárraga 等,2014)。

大语言模型出现后,Pan 等人 2024 年为它和知识图谱的结合画了一张路线图。文章说,大语言模型是黑箱,常常抓不住事实知识;知识图谱把事实明明白白地存着,却难建,也难更新。文章把结合的办法分成三类,其中一类是让大语言模型替知识图谱做事,包括构建图谱(Pan 等,2024)。Edge 等人同年提出 GraphRAG。普通的检索增强生成(RAG,先从文档里检索相关片段,再让模型作答)遇到【这批材料的主要主题是什么】这种针对整批材料的问题就答不好。GraphRAG 先让大语言模型从文档里抽出实体知识图谱,再给每一群联系紧密的实体预先写好摘要。对这类问题,在 100 万个词元(token,模型计算文字长度的单位)左右的数据上,这样得到的回答比普通 RAG 更全面,也更多样(Edge 等,2024)。Mo 等人 2025 年发布 KGGen,用语言模型从纯文本里抽图谱。他们认为自动抽出的图谱质量可疑,KGGen 和别的抽取工具不同,会把相关的实体聚到一起,让图谱不那么稀疏(Mo 等,2025)。

年份谁留下了什么
1992Hearst用固定句式从文本里抽上下位关系
2001Berners-Lee 等让网上内容对计算机有意义的语义网
2007–2008Auer 等,Suchanek 等,Bollacker 等从维基百科抽取的 DBpedia 和 YAGO,众人合编的 Freebase
2007Banko 等不预先指定关系的开放式信息抽取
2009Mintz 等用知识库代替人工标注的远程监督
2012Google发布知识图谱,这个叫法有了今天的意思
2014Galárraga 等把同义的名字和说法聚类归一
2024Pan 等,Edge 等大语言模型和知识图谱的结合,GraphRAG
2025Mo 等用语言模型抽图谱并聚合相关实体的 KGGen

城市、旅游和政策研究怎么用它

城市研究里,Hao 等人 2025 年想弄清城市里各种危机怎样相互牵连。他们收集了深圳的 1941 篇新闻报道,用大语言模型配合检索增强和反复的自我修正建出知识图谱,图上显出 13 类城市危机之间的联系和叠加方式(Hao 等,2025)。

Ren 等人 2025 年为内蒙古建了一张文化旅游知识图谱,用来反映当地的历史文化和民族特色。他们先设计好实体和关系的框架,再用一个同时抽实体和关系的模型从非结构化文本里抽出文旅三元组,又把文字里的实体和图片对应起来,最后做成一个面向游客的语义检索平台(Ren 等,2025)。

中国的政策文件也有人这样处理。Han、Li 和 Tang 2025 年的文章说,政策文件写得简练,语境却很丰富,层级逻辑和战略意图都是隐含的,传统的信息抽取方法难以处理跨句子的关联。他们用较小的大语言模型,结合领域本体(ontology,事先定好的一套概念和关系)、微调和提示设计,以招商引资政策为对象做实验,在实体识别和关系三元组抽取上都超过了作为底子的 Deepseek-R1-7B,和 GPT-4o(OpenAI 的大语言模型)相当。据此建成的招商引资政策知识图谱接上了 GraphRAG,用来回答政策问题(Han 等,2025)。

想深入可以读这几篇

在 TATOOLS 里从材料生成知识图谱

TATOOLS 的【知识图谱】可以处理政策文件和访谈稿,也可以处理文献或教材,抽取框架按这几类材料预设了实体类型和关系,也可以自己定。报告里有一张实体关系图谱,颜色分出主题板块;关系三元组表列出主体、关系谓词和客体,每条都附着支撑它的原文片段。写法不同、所指相同的实体可以并成一个,报告另列合并详情。关系带年份时,动态图谱能顺着时间轴看关系逐年出现。报告还给出网络结构指标和一份工作提纲。

相关工具

相关教程

← 全部教程