处罚日期:2024-07-12
罚款:CNY 800,000.00
深圳某AI公司使用“匿名化”医疗影像数据训练AI诊断模型但数据可被逆向还原人脸信息案(深圳市网信办,2024年7月)
处罚单位
深圳市互联网信息办公室
被处罚单位
某AI医疗科技公司
处罚措施:责令改正,罚款80万元,删除涉事AI模型
【案件背景】
某AI医疗科技公司(以下简称“涉案公司”)是一家专注于AI辅助医学影像诊断的创业公司,主打产品为一款基于深度学习的肺结节CT影像辅助诊断系统。为提高模型精度,涉案公司与全国20余家三甲医院签订了数据合作协议,从医院获取了超过50万份胸部CT影像数据和对应的诊断报告,用于AI模型训练。涉案公司声称已对CT影像数据进行了“匿名化处理”——抹去了DICOM(医学数字成像和通信标准)标签中的患者姓名、病案号和身份证号。但2024年4月,有安全研究人员发现,通过AI模型逆向攻击(Model Inversion Attack),可以从训练好的模型中重建出与原始训练数据中特定个体高度相似的面部三维模型,进而结合CT影像中附带的面部软组织轮廓实现人像识别。
【违法事实】
经调查查明:
(1)涉案公司对CT影像的“匿名化处理”仅删除了DICOM标签中的直接标识符,但CT影像本身是三维体数据,头部CT自然包含了患者完整的面部骨骼和软组织三维形态信息——这些生物特征本身即构成《个人信息保护法》第二十八条定义的“生物识别信息”。去除标签中的姓名和ID并未改变影像数据中的生物识别特征,因此不构成有效的匿名化。
(2)涉案公司使用上述数据训练了AI辅助诊断模型,该模型以CT影像为输入,输出病灶检测结果。研究人员的实验证明,通过多次精心构造的查询(即输入经特殊处理的CT影像),可以从模型输出中逆向推断训练数据中个体的面部特征、性别、年龄等信息。这种模型逆向攻击在学术界已被广泛验证,涉案公司作为AI企业未进行此类安全风险评估。
(3)涉案公司与20余家医院的数据合作协议中,均使用“匿名化医疗数据”的表述,声称根据《个人信息保护法》第四条其获取的已是匿名化数据,不再受《个人信息保护法》约束。但CT影像中包含的人脸三维生物特征的唯一性,使其在法律上仍属于个人信息——特别是生物识别信息。
(4)涉案公司的AI模型训练服务器未实施严格的访问控制,公司内部超过50名工程师和数据标注员均可访问完整的训练数据集,且操作日志不完整。
(5)涉案公司将训练好的AI模型通过SaaS接口对外提供服务,任何注册用户均可上传CT影像获取AI诊断结果。但模型本身可能包含训练数据的记忆(Memorization),在极端情况下可能泄漏训练数据中的患者信息。
【处罚决定】
深圳市互联网信息办公室依据《个人信息保护法》第六十六条,作出以下行政处罚:
(一)责令改正违法行为,删除使用未经有效匿名化的CT影像训练的AI模型;
(二)处人民币80万元罚款;
(三)对直接负责的首席技术官处人民币8万元罚款;
(四)要求涉案公司与所有合作医院重新签订数据处理协议,明确使用符合法律要求的匿名化或隐私保护技术。
国家卫健委相关部门对涉案的20余家合作医院下达了整改通知,要求规范医疗数据对外提供的安全管理。
【典型意义】
本案是AI模型训练场景中因“匿名化”医疗影像数据而受处罚的标杆案例,连接了隐私保护和AI治理两个前沿领域:
第一,CT、MRI等医学影像中天然包含人脸三维生物特征信息,不能仅凭删除DICOM标签就认定为匿名化。本案从技术角度确立了“影像内容(非标签)本身可能构成个人信息”的认定标准,对医疗AI行业的合规实践产生深远影响。
第二,模型逆向攻击的威胁被监管机构正式认可为数据安全风险,并要求企业进行评估。AI模型本身可能成为个人信息泄露的渠道——这一认知将推动AI行业将隐私保护技术(如差分隐私训练、联邦学习等)从“可选优化”提升为“合规必备”。
第三,本案揭示了AI企业以“匿名化数据”为由规避个人信息保护义务的合规漏洞,将促使企业建立更严格的个人信息去标识化和匿名化评估流程。
第四,生物识别信息的处理特别严格——《个人信息保护法》第二十八条要求“具有特定的目的和充分的必要性”且“采取严格保护措施”,CT影像中的面部特征即使被声称“匿名化”,其处理仍须满足更高标准。
某AI医疗科技公司(以下简称“涉案公司”)是一家专注于AI辅助医学影像诊断的创业公司,主打产品为一款基于深度学习的肺结节CT影像辅助诊断系统。为提高模型精度,涉案公司与全国20余家三甲医院签订了数据合作协议,从医院获取了超过50万份胸部CT影像数据和对应的诊断报告,用于AI模型训练。涉案公司声称已对CT影像数据进行了“匿名化处理”——抹去了DICOM(医学数字成像和通信标准)标签中的患者姓名、病案号和身份证号。但2024年4月,有安全研究人员发现,通过AI模型逆向攻击(Model Inversion Attack),可以从训练好的模型中重建出与原始训练数据中特定个体高度相似的面部三维模型,进而结合CT影像中附带的面部软组织轮廓实现人像识别。
【违法事实】
经调查查明:
(1)涉案公司对CT影像的“匿名化处理”仅删除了DICOM标签中的直接标识符,但CT影像本身是三维体数据,头部CT自然包含了患者完整的面部骨骼和软组织三维形态信息——这些生物特征本身即构成《个人信息保护法》第二十八条定义的“生物识别信息”。去除标签中的姓名和ID并未改变影像数据中的生物识别特征,因此不构成有效的匿名化。
(2)涉案公司使用上述数据训练了AI辅助诊断模型,该模型以CT影像为输入,输出病灶检测结果。研究人员的实验证明,通过多次精心构造的查询(即输入经特殊处理的CT影像),可以从模型输出中逆向推断训练数据中个体的面部特征、性别、年龄等信息。这种模型逆向攻击在学术界已被广泛验证,涉案公司作为AI企业未进行此类安全风险评估。
(3)涉案公司与20余家医院的数据合作协议中,均使用“匿名化医疗数据”的表述,声称根据《个人信息保护法》第四条其获取的已是匿名化数据,不再受《个人信息保护法》约束。但CT影像中包含的人脸三维生物特征的唯一性,使其在法律上仍属于个人信息——特别是生物识别信息。
(4)涉案公司的AI模型训练服务器未实施严格的访问控制,公司内部超过50名工程师和数据标注员均可访问完整的训练数据集,且操作日志不完整。
(5)涉案公司将训练好的AI模型通过SaaS接口对外提供服务,任何注册用户均可上传CT影像获取AI诊断结果。但模型本身可能包含训练数据的记忆(Memorization),在极端情况下可能泄漏训练数据中的患者信息。
【处罚决定】
深圳市互联网信息办公室依据《个人信息保护法》第六十六条,作出以下行政处罚:
(一)责令改正违法行为,删除使用未经有效匿名化的CT影像训练的AI模型;
(二)处人民币80万元罚款;
(三)对直接负责的首席技术官处人民币8万元罚款;
(四)要求涉案公司与所有合作医院重新签订数据处理协议,明确使用符合法律要求的匿名化或隐私保护技术。
国家卫健委相关部门对涉案的20余家合作医院下达了整改通知,要求规范医疗数据对外提供的安全管理。
【典型意义】
本案是AI模型训练场景中因“匿名化”医疗影像数据而受处罚的标杆案例,连接了隐私保护和AI治理两个前沿领域:
第一,CT、MRI等医学影像中天然包含人脸三维生物特征信息,不能仅凭删除DICOM标签就认定为匿名化。本案从技术角度确立了“影像内容(非标签)本身可能构成个人信息”的认定标准,对医疗AI行业的合规实践产生深远影响。
第二,模型逆向攻击的威胁被监管机构正式认可为数据安全风险,并要求企业进行评估。AI模型本身可能成为个人信息泄露的渠道——这一认知将推动AI行业将隐私保护技术(如差分隐私训练、联邦学习等)从“可选优化”提升为“合规必备”。
第三,本案揭示了AI企业以“匿名化数据”为由规避个人信息保护义务的合规漏洞,将促使企业建立更严格的个人信息去标识化和匿名化评估流程。
第四,生物识别信息的处理特别严格——《个人信息保护法》第二十八条要求“具有特定的目的和充分的必要性”且“采取严格保护措施”,CT影像中的面部特征即使被声称“匿名化”,其处理仍须满足更高标准。