依存句法分析:词与词的支配关系是什么? 找主干、理清修饰、抽取语义关系
一句话里的词一个依附一个,连起来是一棵树。这篇讲这棵树怎么看,分析器怎样自动把它画出来,树的深度和依存距离为什么能衡量句子有多难读,各学科拿它做什么研究。
假设你在比较两份城市更新条例。两份的篇幅和用词都差不多,居民却说一份读得懂,另一份要读两遍。数词频看不出差别在哪。把难读的那份拿出来逐句看,主语后面常常要隔上三四十个字,才等到它的动词。
依存句法分析(dependency parsing)看的就是词和词之间的这种关系。按它的看法,一句话里有一个中心词,其余每个词都依附在另一个词上,被依附的叫支配词,依附的叫从属词。拿编出来的一句【年轻游客喜欢古镇夜景】来说,中心词是【喜欢】。【游客】和【夜景】依附它,一个是主语,一个是宾语。再往下,【年轻】修饰【游客】,【古镇】修饰【夜景】。把这些关系画成线,整句话就成了一棵树,【喜欢】是树根,这棵树叫依存树。
从树根往下数,【喜欢】在第一层,【游客】和【夜景】在第二层,【年轻】和【古镇】在第三层,这棵树的深度是 3。树上还能读出依存距离(dependency distance),指有依存关系的两个词在句子里隔了几个位置,挨着的算 1。这句话有四条关系,三条的距离是 1,【夜景】到【喜欢】是 2,平均 1.25。从句套得越多,树越深;有关系的词隔得越远,平均距离越大。条例里那种主语和动词隔着三四十个字的句子,量出来依存距离就很大。
从纸上的树到量难度的尺子
这套看法的底子是 Tesnière 用法语写的《结构句法基础》。书在作者去世后的 1959 年出版,里面用树状的图画句子的结构,今天叫作依存语法的这一路句法研究以它为基础(Tesnière,2015 年英译本)。
计算机画这棵树,一种办法是从例子里学。由人逐句标好句法结构的语料叫树库(treebank)。Eisner 1996 年为依存分析提出一个新算法,又给它设计了三种概率模型,用宾州树库(Penn Treebank)里的《华尔街日报》文本做了初步比较(Eisner,1996)。这个算法要的时间随句长的三次方增长。
Nivre 2003 年的论文开头说,依存语法在语言学里传统很久,在计算机句法分析里却到不久前还是配角。论文给出的算法每一步只做一个决定,做了不回头,分析一句话的时间和句长成正比。它用的是一套手写的语法,只有 126 条规则,在 257 句瑞典语上试下来,准确率超过 85%(Nivre,2003)。这一类办法叫基于转移的分析(transition-based parsing)。后来它和从树库学来的分类器合用,由分类器决定每一步怎么走(Nivre,2008)。
McDonald 等人 2005 年走了另一条路,给句中每两个词之间可能的连线打分,再找出总分最高的那棵树,这一类叫基于图的分析(graph-based parsing)。Eisner 1996 年和 Nivre 2003 年的算法画出的树,连线都不能交叉。捷克语那样词序灵活的语言里,连线交叉的句子更常见,新办法画得出这样的树,要的时间还只随句长的平方增长(McDonald 等,2005)。
那时除了英语,很少有人拿不同的分析器在完全相同的数据上比过。2006 年,计算自然语言学习会议(CoNLL)办了一次评测,把 13 种语言的树库转成同一种格式,其中有中文,参加的各家用同样的数据训练和测试。打分看有多少词既找对了支配词又标对了关系,成绩从土耳其语上最差的 37.8% 到日语上最好的 91.7%。组织者还提到,训练这类分析器要用几千到几万句的树库(Buchholz 与 Marsi,2006)。
Chen 和 Manning 2014 年指出,当时几乎所有的分析器都靠上百万条零碎的线索做判断,这些线索叫特征,光把它们算出来就很费时间。他们让神经网络来做每一步的决定,只用少量特征,分析器每秒能处理一千多句,在英语宾州树库上有 92.2% 的词找对了支配词(Chen 与 Manning,2014)。Dozat 和 Manning 2017 年的模型走的是给连线打分那条路,也用神经网络,在英语宾州树库上报告的这个数是 95.7%,连关系也标对的占 94.1%(Dozat 与 Manning,2017)。
各个树库的标注办法原先各不相同。Universal Dependencies(通用依存,简称 UD)是一个开放的社区项目,要让不同语言的树库用一致的办法标注。2016 年介绍它第一版规范的论文里,已有 33 种语言的树库(Nivre 等,2016);到 2021 年,用它标注过的语言超过一百种(de Marneffe 等,2021)。
句子为什么难读,是另一条线上的问题。Gibson 1998 年提出,读句子要占用记忆,一个预期中的成分等得越久,记着它的代价越大;新读到的词和它要接上的那个词隔得越远,接上去越费力(Gibson,1998)。2008 年,Haitao Liu 提出用平均依存距离衡量理解难度,拿 20 个语料库来检验,它们来自不同语言,都带依存标注。结果显示这个数有尽量变小的倾向,而且多数句子和文本的这个数都在一个门槛以下,门槛不到 3 个词(Haitao Liu,2008)。Futrell、Mahowald 和 Gibson 2015 年用 37 种语言的句法标注语料再查,每一种语言的依存距离总体上都比随机对照的短(Futrell 等,2015)。
树的深浅,Jing 和 Liu 2015 年给了一个量法,把一个词顺着依存关系走到树根要几步叫作层级距离,全句取平均。在一个人工标注的捷克语和英语平行树库上,句子越长,平均依存距离和平均层级距离往往越大(Jing 与 Liu,2015)。
Jiang 和 Liu 2015 年在一个英汉平行树库上按句长分组比较,中文的平均依存距离始终高于英文,作者由此认为中文比英文更占用工作记忆(Jiang 与 Liu,2015)。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 1959 | Tesnière | 用依附关系和树状图描写句子 |
| 1996 | Eisner | 从树库学出来的概率模型 |
| 2003 | Nivre | 一步一个决定的快速算法 |
| 2005 | McDonald 等 | 给连线打分,找总分最高的树 |
| 2006 | Buchholz 与 Marsi | 13 种语言同台评测 |
| 2008 | Haitao Liu | 拿平均依存距离当难度指标 |
| 2014 | Chen 与 Manning | 让神经网络做每一步的决定 |
| 2015 | Jing 与 Liu | 用层级距离量树的深浅 |
| 2016 | Nivre 等 | 跨语言一致的标注办法 UD |
谁在用这棵树,用来做什么
一类研究要的是树上的关系。Qiu 等人 2011 年研究商品评论,发现评价词和被评价的对象之间有几种句法关系,可以用依存分析器认出来。他们从一小批评价词出发,顺着这些关系找出更多的评价词和评价对象(Qiu 等,2011)。换成游客评论,【房间很干净】里的【干净】是评价词,【房间】是评价对象。
Stuhler 2022 年想让句法分析器为社会学研究所用,论文标题问的就是谁对谁做了什么。作者设计了一套规则,从依存分析器的输出里取出文本中某个人或事物做了什么、别人对它做了什么,以及它被怎样形容,并拿小说里的性别互动和美国总统参选人对集体身份的说法做了示范(Stuhler,2022)。把整批材料里的这类关系统计出来,是句法搭配与句式模式那一篇讲的事。
另一类研究要的是依存距离这个数。Lei 和 Wen 2020 年分析美国总统的国情咨文,时间跨两百多年,到 2017 年为止,发现这期间依存距离在变短(Lei 与 Wen,2020)。第二语言写作的研究也用它。Ouyang、Jiang 和 Liu 2022 年比较了各种衡量句法复杂度的指标,用的是 400 篇带句法标注的学习者作文,学习者从初级到高级分三个水平。平均依存距离能把相邻的两级都区分开,是他们考察的指标里最好的(Ouyang 等,2022)。
想深入可以读这几篇
- Kübler、McDonald 与 Nivre(2009)Dependency Parsing,专讲依存句法分析的一本小书,正文不到一百页,基于转移的分析和评测各有一章。
- Nivre(2008)Algorithms for Deterministic Incremental Dependency Parsing,把一步一个决定的那类算法放进一个统一的框架,在 13 种语言的数据上做了比较。
- de Marneffe、Manning、Nivre 与 Zeman(2021)Universal Dependencies,讲 UD 这套标注办法背后的语言学考虑。
- Haitao Liu(2008)Dependency Distance as a Metric of Language Comprehension Difficulty,提出拿平均依存距离当难度指标,并用 20 个语料库检验。
- Futrell、Mahowald 与 Gibson(2015)Large-scale evidence of dependency length minimization in 37 languages,六页,用 37 种语言的语料说明依存距离普遍偏短。
TATOOLS 里的依存句法分析
TATOOLS 的【依存句法分析】逐句分析中文材料,政策文件、访谈稿或者游客评论都可以交给它。报告把句子画成依存弧图,能看到每个词依附哪个词、构成什么关系,还统计各类依存关系的占比。它按依存树深度、句长和关系类型数给每句打一个复杂度分,分成简单、中等和复杂三档,并把树太深或者太长的句子单独列出来。也可以让它为复杂度最高的那些句子给出拆成短句的方案。几份材料一起交,报告会多一张逐份对比的表。