leafiy教程

文本脱敏:分析前先移除隐私信息

访谈稿里夹着手机号和身份证号,交出去之前得先找出来换掉。这篇讲按格式找和让模型学这两条路怎么来的,号码换掉以后人为什么还可能被认出来,法律怎样区分去标识化和匿名化,想深入该读哪几篇。

作者 Leafiy · 更新于 · 3901 字 · 约 14 分钟

文本脱敏:分析前先移除隐私信息(封面插图)

假设你在做一个老旧小区改造的课题,访谈了四十位居民,转写稿要交给合作的设计院,也想存进学校的数据平台。翻一遍就会发现,稿子里有居民顺口报出的手机号和身份证号,有【我住 3 号楼 502】,也有【我在社区管低保那块】这样的话。这些字句交出去之前得先处理。

这一步俗称脱敏,英文叫 de-identification(去标识化),做法是在文字里找出能指认一个人的字串,换成类别标签、星号或假名。找的办法有两条。一条按格式找,手机号、身份证号都有固定的位数和写法,写成规则就能一条条匹配出来。另一条交给统计模型,先由人在一批文字里标出人名、地名这类没有固定格式的信息,让模型从例子里学着认。号码全换掉以后还剩一个问题,【社区里管低保的那位】这样的描述,对熟悉小区的人来说和写出名字差不多。

规则、模型和换完以后的风险

1996 年,Sweeney 介绍了一个叫 Scrub 的系统,在病历里找出能指认个人的信息并替换掉。在作者的样本数据里,直接全局查找替换最多只找到 30% 到 60%,Scrub 检测时用上了模板,也用上了人名、地址这类信息各长什么样的专门知识,找到了 99% 到 100%(Sweeney,1996)。

Sweeney 2002 年问的是另一个问题。医院或银行要把一份分好栏目的个人数据交给研究者,怎样有把握让数据里的人不被重新认出来,数据又还有用?文章提出 k-anonymity(k-匿名),指发布出去的数据里,每个人的信息都至少和另外 k−1 个人的分不开(Sweeney,2002)。

Uzuner 等人在医学信息学项目 i2b2 里办了一次自动脱敏评测,2007 年发表了总结。评测的材料是出院小结,真实的个人信息事先换成了合成的替身。为了不让各队只靠查词典,组织者特意掺进一批编造的人名。七个队伍参加,最好的系统在各类信息上的 F 值(把查得全和查得准合成的一个分数)都超过 98%。编造的人名大多认得准,难认的是数据里另一些和医学用语同形的个人信息(Uzuner 等,2007)。同年,Wellner 等人为参加一次脱敏评测,拿两个现成的命名实体识别工具包来改,其中一个只调了四个小时,F 值就到了 0.9664(Wellner 等,2007)。

按格式和词表找的办法也有人接着做。Neamatullah 等人 2008 年公开了一套脱敏软件,靠词表查找、正则表达式(regular expression,描述字符串格式的写法)和几条简单的经验规则找信息。在 1836 篇开发时没用过的护理记录上,估计召回率(该找的找到了几成)是 0.943。论文说,单看召回率,它胜过一个人手工脱敏(0.81),至少和两人合议的结果(0.94)一样好,但这样的准确度大概还不够把医疗数据公开发布(Neamatullah 等,2008)。

Meystre 等人 2010 年从两百多篇检索结果里挑出 18 篇讲文本自动脱敏的论文细读。这些系统大体分成模式匹配和机器学习两类,不少系统两样都用,不同种类的信息用不同的办法,多数却只靠模式匹配、规则和词典。词典类办法对很少出现的那类信息效果更好,但难推广;机器学习一般更好,对词典里没有的信息尤其如此(Meystre 等,2010)。

人工和自动的办法都会漏掉一些个人信息。Carrell 等人 2013 年提出把找到的信息换成逼真的假信息,这样漏网的真信息混在假信息中间就难以分辨。他们拿 81 篇肿瘤科和家庭医学的病程记录做试点,在个人信息中等和较密的文字里,约九成漏网的信息能这样藏住(Carrell 等,2013)。

2014 年的 i2b2/UTHealth 评测换成了纵向病历,也就是同一位病人前后多份的记录。几份病历里各自无害的细节,合起来就可能认出病人,所以这次要找的信息比美国医疗隐私法规 HIPAA 规定的更广。十个队伍里有三个系统的 F 值超过 0.90,最成功的系统把条件随机场(一种给一串词逐个贴标签的统计模型)和手写规则结合起来。文章的结论是,自动系统在这件事上可以很有效,但脱敏还不是已经解决的问题(Stubbs 等,2015)。Dernoncourt 等人 2017 年改用神经网络,不用手工设计的特征和规则,在这次评测的数据上 F 值达到 97.85%(Dernoncourt 等,2017)。

去掉了直接的标识,人也可能被认出来。de Montjoye 等人 2013 年分析了 150 万人 15 个月的手机通话位置数据,位置按小时记、精度是基站的覆盖范围,四个时间地点就足以唯一认出 95% 的人,把时间和地点放粗,匿名的效果也很有限(de Montjoye 等,2013)。换成人口统计属性也一样,Rocher 等人 2019 年估计,用 15 项这样的属性,99.98% 的美国人在任何数据集里都会被正确认出(Rocher 等,2019)。回到文本上,2021 年 Lison 等人的文章指出,文本匿名化的方法分在自然语言处理和隐私保护数据发布两个领域里做,彼此往来很少,主张不要停在序列标注(给每个词贴上是不是个人信息的标签),要把泄露风险明确算进去(Lison 等,2021)。

法律把去标识化和匿名化分成两件事。2021 年通过的《中华人民共和国个人信息保护法》第七十三条说,去标识化是个人信息经过处理,使其在不借助额外信息的情况下无法识别特定自然人的过程,匿名化是经过处理无法识别特定自然人且不能复原的过程;第四条规定个人信息不包括匿名化处理后的信息(个人信息保护法)。欧盟 2016 年的《通用数据保护条例》第四条有个相近的词,叫 pseudonymisation(假名化),指个人数据经过处理,不借助额外信息就对不上具体的人,额外信息要另行保管;序言第 26 条说假名化后的数据仍算可识别的人的信息(GDPR)。国家标准 GB/T 37964-2019《信息安全技术 个人信息去标识化指南》2020 年 3 月起实施,到 2026 年 11 月仍标为现行(全国标准信息公共服务平台)。

年份谁留下了什么
1996Sweeney按模板找出病历里的个人信息
2002Sweeneyk-匿名,每个人至少和 k−1 人分不开
2007Uzuner 等统一数据、统一打分的脱敏评测
2008Neamatullah 等公开的规则脱敏软件
2010Meystre 等综述模式匹配和机器学习两条路
2013Carrell 等换成逼真的假信息,让漏网的混进去
2015Stubbs 等条件随机场加手写规则效果最好
2017Dernoncourt 等不用手工特征的神经网络
2021Lison 等把泄露风险算进文本匿名化

现在谁在用,拿它做什么

Saunders、Kitzinger 和 Kitzinger 2015 年讲了给一批质性研究的深度访谈做匿名处理的经过,受访的是植物状态和微意识状态病人的家属。作者想尽量保护受访者不被认出,又要保住材料的完整,最后摸索出一套看上下文而定的细致做法,能留的细节尽量留下(Saunders 等,2015)。

中文病历的脱敏,Jian 等人 2017 年做过。他们说英文病历已有不少脱敏系统,中文却缺少必要的词汇资源,病历里的个人信息也很稀疏。他们的流程把规则和机器学习结合起来,能先构建一份个人信息密集的数据集,给后面的监督学习(拿人工标好的例子训练模型)省下标注时间。在 3000 份各类临床文档上,标注效率提高了 60% 以上,F 值超过 90%(Jian 等,2017)。

法律文书也要脱敏。Pilán 等人 2022 年发布了文本匿名化基准 TAB,收入 1268 件欧洲人权法院的英文案例。传统的去标识化只找事先定好的几类信息,TAB 进一步标出了哪些片段应当遮掉,才能藏住要保护的那个人的身份(Pilán 等,2022)。

想深入可以读这几篇

在 TATOOLS 里给材料脱敏

TATOOLS 的【敏感信息脱敏】找的是有固定格式的个人信息,身份证号和手机号这类共十一类,也可以自己补充规则,覆盖工号、合同号这类内部编号。交给它的可以是访谈转写稿、问卷开放题的回答或热线工单。找到的信息可以换成带编号的占位符并另附对照表,也可以只保留前后几位、中间打星号,或者直接删掉;报告页上打开的就是脱敏后的文件。人名和自由描述的地址不在它的识别范围内。

相关工具

相关教程

← 全部教程