文体测量:两篇文章是不是一个文风
每个人写东西都带着几样自己不太留意的小习惯,比如【的】【了】【而】用得多还是少。这篇讲文体测量怎样把这些习惯数成数字来比,它怎样从一桩作者之争走到今天,各学科拿它研究什么,想深入该读哪几篇论文。
假设你在研究一个古镇的网络口碑,从点评网站上收集了几百条好评。读多了你起了疑心,有十几个账号名字各不相同,写出来的东西却像出自一个人,句子都短,爱用感叹号,【的】字用得特别少。这种感觉要说给别人听,最好能拿出数字。
文体测量(stylometry)做的就是这件事,把一个人的写作习惯数成数字,再看两篇文字的数字有多接近。它最看重的往往是【的】【了】【在】【而且】这样的小词。评论写小吃,【米粉】【排队】就多;写住宿,换成了【房间】【老板】,这些词跟着题目走。小词篇篇都要用,用多用少却各人不同,写的人自己也很少留意。把几十上百个小词在一篇里的出现率排成一串数字,两篇的数字越接近,笔法越像。
从一桩作者之争说起
现在的做法一般从 Mosteller 和 Wallace 对《联邦党人文集》的研究算起。文集里有 12 篇文章的作者有争议,可能是汉密尔顿(Hamilton),也可能是麦迪逊(Madison)。他们 1963 年的论文拿词的出现次数来区分两人,并且指出挑词要小心,因为题目对一个词用得多少影响很大。an、of 和 upon 这样的填充词,还有冠词、介词和连词,出现率相当稳定,war(战争)、executive(行政)和 legislature(立法机关)这类有实际意思的词就不稳定。他们用通常的判别函数和贝叶斯方法各分析了一遍,结论是这 12 篇都出自麦迪逊之手(Mosteller 与 Wallace,1963)。
Burrows 1987 年把目光放到一篇文字里最常见的那批词上。文章说,在许多英语文本里,最常见的 30 个词就占了全部词次的五分之二左右。把每篇文本里这些词的频率排成一份频率剖面,各篇两两求相关,再对相关矩阵做特征分析,就能把各篇的远近画成一张图,主成分分析用的也是这一步。比较几部叙事作品时,决定远近的主要是作者和写作年代(Burrows,1987)。
Burrows 2002 年完整介绍了 Delta,一种衡量两篇文本风格差多远的量度,用的仍是最常见词的相对频率。试验结果显示,文本长过 1500 词左右时,它为挑出最可能的作者添了一个简单而相对准确的办法;文本只有 100 词,它也能帮着缩小候选人的范围。体裁和作者平常写的不一样时,它表现最差(Burrows,2002)。Hoover 2004 年专门检验了 Delta,发现它用在散文上几乎和用在诗歌上一样好。用的高频词比 Burrows 试过的 150 个多得多,结果更准;去掉人称代词,再去掉大部分出现次数来自同一篇文本的词,准确率提高很多(Hoover,2004)。
机器学习的分类方法后来也用到了这里。Koppel、Schler 和 Argamon 2009 年指出,过去的研究大多假定候选作者只有一小群,每人又有几乎不限量的文字可供训练,现实中的问题很少这样理想。他们讨论了三种更难的情形,比如候选人成千上万,每人只有很少的文字,又比如只有一个嫌疑人,要判断这个人是不是作者(Koppel 等,2009)。Koppel 和 Winter 2014 年认为,几乎所有作者归属问题都能归结为一个基本问题,两篇文字(可能很短)是不是同一个人写的。他们的办法几乎用不着事先标好作者的样本,做法是反复抽取一部分特征,看拿其中一篇当线索,能不能从一批【冒充者】的文本里稳定地挑出另一篇(Koppel 与 Winter,2014)。
文本要多长才够,Eder 2015 年做了一组对照试验。要让结果不受随机噪声左右,最短的样本从拉丁文散文的 2500 词,到多数语料(包括几种语言的小说)的 5000 词上下不等,换用别的方法和特征,这个长度也差不多(Eder,2015)。开头那些游客评论,一条往往只有几十个字,离这个长度还远。
Evert 等人 2017 年把 Delta 拆成三步,挑哪些词,怎样把各个词的频率换到同一个尺度上,用哪种距离量两篇文本的差别,再把后两步换着组合,做了一系列对照试验。结果显示,能认出作者的信息主要在偏离的轮廓里,也就是一篇文本在整批高频词上哪些偏高、哪些偏低,偏多少倒在其次(Evert 等,2017)。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 1963 | Mosteller 与 Wallace | 用虚词的出现率判定《联邦党人文集》争议篇的作者 |
| 1987 | Burrows | 用最常见词的频率剖面给文本画远近图 |
| 2002 | Burrows | 比较风格差异的 Delta |
| 2004 | Hoover | 用更多高频词、去掉人称代词让 Delta 更准 |
| 2009 | Koppel、Schler 与 Argamon | 让机器学习应对更接近现实的几种情形 |
| 2014 | Koppel 与 Winter | 判断两篇文字是否出自同一人 |
| 2015 | Eder | 可靠判断所需的最短文本 |
| 2017 | Evert 等 | 讲清 Delta 为什么有效 |
为什么偏偏数虚词
Kestemont 2014 年回顾说,此前行家凭阅读印象挑出的风格标记多半是少见而显眼的写法,比如一个不常用的名词,这类写法常常跟着体裁和题材走,模仿的人也最先学走它们。Mosteller 和 Wallace 的新意,在于从少见的特征转向高频的特征,高频的又多半是虚词(function words,没有多少实在意思、主要用来搭句子的词)(Kestemont,2014)。做关键词时常被当成停用词去掉的,大多就是这类词。
这篇文章列了虚词的几样好处。同一种语言、同一个时期的作者用的是同一批虚词,比较起来有共同的底子;它们出现得多,可以观察的次数也多;用量不太受题目和体裁左右;写的时候似乎也不大受作者有意识的控制。文章同时提醒,虚词并不完全和内容无关,人称代词尤其如此,它们和体裁、叙述视角有关,也和作者的性别甚至文本的题目有关,所以不少研究先把人称代词删掉。
数虚词为什么能认出作者,Grieve 2023 年的论文说还没有公认的解释,并提出这是因为各人写作时所用的语体(register,按场合和用途区分的写法)有细微的差别。这篇论文对两位报纸专栏作家的文章,一边做文体测量,一边做多维度的语体分析,两种分析都把两人分开了,找出的语言变异模式也是同一套(Grieve,2023)。
现在谁在用,拿它做什么
政治人物的讲稿是谁执笔,也能这样查。里根(Reagan)在 1975 到 1979 年竞选总统期间做过 1000 多次电台广播,其中 600 多篇有直接证据证明是本人写的。还有 312 篇找不到直接证据,Airoldi 等人要判断它们的作者,试了多种现成的分类方法和完全贝叶斯模型,所用的特征既有和上下文无关的词,也有语义特征。结论是其中 167 篇由里根本人起草,另外 145 篇有人帮忙;最好的完全贝叶斯模型做交叉验证,准确率在各种情况下都超过 90%(Airoldi 等,2006)。
Rosenthal 和 Yoon 2011 年把它用到法院,统计美国最高法院大法官所写判决书中的虚词,找出哪几位的文风最多变,论文认为这可能说明他们写判决时更依赖法官助理(Rosenthal 与 Yoon,2011)。
中文古典小说的作者之争也用上了它。Hu、Wang 和 Wu 2014 年用支持向量机分析程高本《红楼梦》,得到前 80 回和后 40 回出自两位作者的有力证据,还意外地支持了第 67 回也不是曹雪芹所写的说法;同样的办法用到另外三部古典名著上,没有发现这种前后分界(Hu 等,2014)。Zhu、Lei 和 Craig 对《红楼梦》的散文部分做主成分分析,结果大体印证了两位作者的说法(Zhu 等,2021)。《平妖传》归在罗贯中名下,Yang 和 Lyu 2025 年取它的 20 回,再从体裁相近、确知出自罗贯中的另一部小说里取 60 回,两相比较,90 个最常用的汉字里有 64 个在两部书中的用量差异显著,主成分分析也显示两部书风格完全不同,由此推断《平妖传》的作者很可能不是罗贯中(Yang 与 Lyu,2025)。
想深入可以读这几篇
- Mosteller 与 Wallace(1963)Inference in an Authorship Problem,《联邦党人文集》研究的期刊版,摘要里就讲了为什么要挑虚词。
- Burrows(2002)'Delta': a Measure of Stylistic Difference and a Guide to Likely Authorship,专讲 Delta 的论文,附有大量试验结果。
- Stamatatos(2009)A survey of modern authorship attribution methods,综述,梳理各种自动方法,也讲怎样评估。
- Kestemont(2014)Function Words in Authorship Attribution. From Black Magic to Theory?,八页,专讲虚词为什么好用、用的时候要当心什么。
- Evert 等(2017)Understanding and explaining Delta measures for authorship attribution,想弄懂 Delta 的几种变体差在哪,读这篇。
- Eder、Rybicki 与 Kestemont(2016)Stylometry with R: A Package for Computational Text Analysis,介绍 R 软件包 stylo,它有图形界面,不会编程也能上手。
在 TATOOLS 里比较几篇文字的写法
TATOOLS 的【文体风格指纹】把写作习惯算成一组指标,句子这一层看句长和句型,词语这一层看词性和实词虚词的比例,另外还有标点和人称。交给它几篇想对照的文字,比如几位受访者的访谈稿,或者一个部门不同年份的政策文件。报告列出每篇的特征值和一句话画像,画出风格雷达,给出两两之间的相似度并写明哪两篇最接近;指定一篇作基准,能看出其余各篇每一项比它高还是低;长文还能看风格在文中的起伏。工具页写明,它衡量的是写法上的接近程度,不能用来判定作者是谁。