AI生成文本检测:文字是人写的还是哪个大模型写的
判断一段文字出自人手还是模型,有三条路:看用词好不好猜,训练分类器,在生成时埋下水印。这篇讲它们怎样走到今天,各自在哪里判错,研究里怎么用,想深入该读哪几篇论文。
假设你在做一项新地铁线沿线居民的问卷,委托一家在线样本公司发放,收回八百份。开放题【您对站点周边改造有什么建议】里,有几十份答案格外工整,都是三段,先肯定,再分点提建议,最后收一句总结。你怀疑有人把题目贴进了聊天机器人,再把回答抄了回来。这几十份要不要剔掉,得有个说法。
大语言模型生成文字,是一个词接一个词往下写,每一步按概率挑下一个词,越顺理成章的词越容易被挑中。所以模型写出的文字,让另一个模型来读,往往很好猜;人写的文字里,出乎意料的词多一些。检测的第一条路就是量这个好猜的程度。第二条路是收一大批人写的和模型写的文字,训练一个分类器去分辨,和情感分类是同一种做法。第三条路要靠运行模型的一方,在生成时就给用词加上一个看不见的统计记号,事后再查,这叫 watermark(水印)。三条路给出的都只是可能性,两个方向都会错,既会把人写的判成机器写的,也会把机器写的放过去。
三条路是怎么走出来的
2019 年,Zellers 等人做了一个能照着标题写完整篇新闻的模型 Grover,读者觉得它写的假新闻比人写的虚假信息更可信。他们发现,在有一定量训练数据的条件下,当时最好的判别器分辨模型写的假新闻和真人写的新闻,准确率是 73%;拿 Grover 自己来当判别器,准确率是 92%(Zellers 等,2019)。这走的是训练分类器的路子。
同一年,Gehrmann、Strobelt 和 Rush 发布的检测工具 GLTR 属于统计一路。它用几种简单的统计办法找出生成文字留下的痕迹,并做成可视化的标注给人看。在一项受试者实验里,借助这套标注,没受过训练的人认出假文字的比例从 54% 升到 72%(Gehrmann 等,2019)。
人和机器认假文字,靠的线索并不一样。Ippolito 等人 2020 年比较了三种常用的取词办法(解码策略),发现解码办法上的改进主要是在骗过人,代价是在文字里留下统计上的反常,反倒让机器容易认出来。即使给出好几句话,专家评审也有超过 30% 的时候会被骗(Ippolito 等,2020)。
2023 年,Mitchell 等人发现,把模型写的文字随手改几个词,模型给它算的概率多半会变低,人写的文字改过以后可高可低。论文说模型写的文字往往落在概率的【负曲率】区域,好比待在小山头上,周围的点平均都比它低。据此提出的 DetectGPT 不必另训分类器,只用两样东西,被检测的模型给文字算出的概率,和另一个通用模型对这段文字做的随机改动。检测 200 亿参数的 GPT-NeoX 写的假新闻,此前不用训练的办法里,最好的一个 AUROC(两类文字被分开的程度,1 是完全分开,0.5 等于瞎猜)是 0.81,DetectGPT 是 0.95(Mitchell 等,2023)。
Kirchenbauer 等人 2023 年提出的水印办法是,模型每生成一个词之前,先随机划出一组【绿色】的词,生成时稍稍偏向绿词。检测时用不着模型本身,用一个统计检验看文字里有没有这种偏向,给出 p 值(这么多绿词纯属巧合的可能性),一小段文字就能查出来(Kirchenbauer 等,2023)。2024 年,Dathathri 等人在《自然》上发表文本水印 SynthID-Text,它只改动取词这一步,不影响模型训练,检测时也不用原模型。他们做了一次线上实验,看近 2000 万条 Gemini 回答收到的反馈,文字质量没有受损,以此说明水印能在大规模的线上系统里用(Dathathri 等,2024)。水印只能由运行模型的一方在生成时加上,没加水印的模型写的东西,它查不了。
Krishna 等人 2023 年做了一个改写模型 DIPPER,把三个大语言模型写的文字改写一遍,就躲过了水印和 DetectGPT 等多种检测器;在只把 1% 的人写文字误判的条件下,DetectGPT 的检测准确率从 70.3% 掉到 4.6%(Krishna 等,2023)。Sadasivan 等人用反复改写去测各类检测器,检出率明显下降,文字质量在许多情况下只略有下降。他们还发现攻击者能推断出隐藏的水印记号,让人写的文字被判成 AI 写的,并从理论上论证,模型越会模仿人写的文字,最好的检测器表现也越差(Sadasivan 等,2023)。
Liang 等人 2023 年拿七个常用的检测器测了 91 篇来自一个中文论坛的托福作文和 88 篇美国八年级学生的作文。美国学生的作文判得很准,托福作文平均有 61.3% 被误判成 AI 写的,有 19.8% 被七个检测器一致误判。被一致误判的那些作文 perplexity(困惑度,模型猜下一个词有多吃力)明显更低。文章认为,多数检测器靠困惑度来判断,用词范围较窄的非母语写作者可能因此吃亏(Liang 等,2023)。Weber-Wulff 等人测了 12 个公开的检测工具和 Turnitin、PlagiarismCheck 两个商业系统,结论是这些工具既不准确也不可靠,而且偏向把文字判成人写的,对文字做混淆处理之后表现更差(Weber-Wulff 等,2023)。两项研究里工具错的方向正好相反。Liang 等人在文章里强烈告诫,别在评判和教学场合用这类检测器,评非母语者的作品时尤其如此。
2024 年,Dugan 等人发布了 RAID 基准,收了 600 多万条生成文字,来自 11 个模型和 8 个领域,还加进了 11 种攻击。不少商业和开源检测器自称准确率在 99% 以上,可是拿 RAID 测 8 个开源、4 个闭源的检测器,对抗攻击就能轻易骗过它们,换一种取词办法,或者换成它们没见过的生成模型,也是一样(Dugan 等,2024)。
Wu 等人 2025 年在《计算语言学》上发表的综述,把进展归到水印、基于统计和基于神经网络三类检测办法。它点出几处难处,碰上和训练材料不同的文字会出问题,可能遭到攻击,评测办法也不得力(Wu 等,2025)。
| 年份 | 谁 | 留下了什么 |
|---|---|---|
| 2019 | Zellers 等 | 用生成模型自己来认它写的假新闻 |
| 2019 | Gehrmann 等 | 用统计办法标出生成痕迹,帮人来认 |
| 2020 | Ippolito 等 | 骗得过人的文字,机器反倒容易认出 |
| 2023 | Mitchell 等 | 不必另训分类器的 DetectGPT |
| 2023 | Kirchenbauer 等 | 生成时偏向一组绿词的水印 |
| 2023 | Krishna 等、Sadasivan 等 | 把文字改写就能躲过检测 |
| 2023 | Liang 等、Weber-Wulff 等 | 检测器在真实写作上的错判 |
| 2024 | Dugan 等 | 600 多万条文字的 RAID 基准 |
| 2024 | Dathathri 等 | 能在大规模线上系统里用的水印 |
估一整批的比例,认酒店假评论
Liang 等人 2024 年提出的办法只估计一批文字里有多少经过大语言模型较大改动或直接生成,它拿专家写的和 AI 生成的参考文字作对照,算出最说得通的比例。他们用它看 ChatGPT 发布之后四个 AI 学术会议的审稿意见,估计 6.5% 到 16.9% 的审稿文字可能被大语言模型改过,改动超出了拼写检查和小修小补;自评信心低的、临近截止才交的审稿意见里,这个比例更高。文章还说,这类整批看得出的趋势,落到单篇上可能细微得查不出来(Liang 等,2024)。
Liang 等人 2025 年把这套办法搬到 2022 年 1 月到 2024 年 9 月的四类社会文字上。到 2024 年底,金融消费投诉约有 18% 用了大语言模型辅助写作,企业新闻稿是 24%,小企业的招聘启事接近 10%,联合国新闻稿是 14%。投诉按地区细分,城市化程度高的地区最后稳定在 18.2%,其余地区是 10.9%(Liang 等,2025)。Kobak 等人看的是生物医学文献库 PubMed 收录的 2010 到 2024 年的 1500 多万篇摘要,用的是词频统计的思路。大语言模型出现以后,一些文风词的频率突然上升,据此估计 2024 年的摘要至少有 13.5% 经过大语言模型处理,这个下限在一些子语料里达到 40%(Kobak 等,2025)。
旅游研究里,Santos 和 Antonio 2025 年指出,住客订房越来越依赖在线评论,AI 写的假评论对酒店是个实在的威胁。他们自建了一批 AI 生成的评论,把文本向量和一组文本特征合起来训练机器学习模型,加上文本特征以后,检出准确率明显提高(Santos 与 Antonio,2025)。Ignat、Xu 和 Mihalcea 2025 年公开了 MAiDE-up 数据集,一万条真实酒店评论和一万条 AI 生成的假评论在十种语言之间均衡分布。他们发现检出效果随评论的情感倾向和地点而变,也随语言而变(Ignat 等,2025)。
想深入可以读这几篇
- Wu 等(2025)A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions,综述,也评了现有数据集的不足。
- Mitchell 等(2023)DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature,统计这条路上不必另训分类器的做法。
- Kirchenbauer 等(2023)A Watermark for Large Language Models,水印怎么加、怎么查。
- Liang 等(2023)GPT detectors are biased against non-native English writers,讲检测器怎样冤枉非母语写作者。
在 TATOOLS 里看一篇中文的 AI 味
TATOOLS 的【AIGC写作痕迹检测】检查中文文章,交给它的可以是评论和报道,也可以是学术论文、公文或小说散文。报告先给一个 0 到 100 的 AI 味指数,人写的文章一般在 25 分上下,AI 写的一般在 75 分上下。三项分数分别来自写法检查、句子和用词统计以及检测模型;报告还列出查到的 AI 味写法,在原文里用红字标出来,并把每项统计和人写、AI 写的一般水平并排对照。报告自己写明,分数只说明写法更像哪一边,不能证明文章是 AI 写的。