某AI大模型因训练数据中包含大量未经同意的个人信息且未通过安全评估即上线服务被国家网信办责令下架案（2024年8月）

【案件背景】
某AI大模型开发运营公司（以下简称“涉案公司”）是一家专注于通用人工智能（AGI）研究的科技创业公司，于2024年5月公开推出了其自研的大语言模型和配套的对话式AI助手产品。该公司在宣传中强调其模型具有“中文理解能力全球领先”和“千亿级参数”，吸引了大量用户注册。然而，有安全研究者在与模型的交互测试中发现，通过特定的提示词攻击（Prompt Injection），可以诱导模型输出包含具体个人信息的训练数据片段——包括完整的姓名、手机号码、身份证号、家庭住址、工作单位等。研究者将这一发现上报国家网信办。2024年7月，网信办启动专项调查。

【违法事实】
经调查查明：
（1）涉案公司AI大模型的训练数据来源广泛且未经充分清洗。调查发现，训练数据集包含从中国互联网公开来源抓取的超过10TB文本数据，包括：论坛帖子（含用户发布时未隐藏的手机号、QQ号）、政府公开的行政处罚决定书和裁判文书（虽为公开信息但含有大量公民个人信息）、电商网站的公开商品评价（含收货人信息的截图文字转写）、招聘网站的公开简历（含求职者的姓名、电话、工作经历）以及可能从数据黑市获得的非公开数据集。涉案公司未对训练数据进行个人信息清洗和去标识化处理。
（2）由于训练数据中包含了大量未脱敏的个人信息，AI模型在训练过程中“记忆”了这些信息。测试表明，通过构造特定的提示词（如“请列出2023年某省高校毕业生名单”），模型会输出从训练数据中记忆的具体姓名和手机号。在控制测试中，模型从100条测试提示词中成功输出了23条包含至少一个完整可验证的个人信息（姓名+身份证号或姓名+手机号）的响应。
（3）涉案公司在2024年5月向公众开放服务前，未按照《生成式人工智能服务管理暂行办法》的规定完成安全评估和算法备案。安全评估是上线前置必要条件，但涉案公司以“保持技术领先性需快速迭代”为由先行上线，称评估正在进行中。调查时，评估材料仍不完整。
（4）涉案公司未建立训练数据的来源合法性和个人信息保护合规档案。调查时，公司无法提供训练数据来源的完整清单、数据清洗和脱敏的详细记录、以及训练数据中的个人信息影响评估报告。
（5）涉案公司的AI助手产品在收到用户输入的个人信息后，将这些信息记录和保存（用于反馈模型改进），但未在隐私政策中明确告知用户该行为，更未获得用户的单独同意。

【处罚决定】
国家互联网信息办公室依据《网络安全法》、《数据安全法》、《个人信息保护法》第六十六条以及《生成式人工智能服务管理暂行办法》，于2024年8月5日作出以下处理：
（一）责令立即下架AI助手服务，在所有渠道停止新用户注册；
（二）处人民币80万元罚款，对直接负责的CEO（兼首席科学家）处人民币10万元罚款；
（三）要求涉案公司在完成以下整改后方可申请恢复服务：对训练数据进行全面的个人信息清洗和去标识化处理、通过安全评估并完成算法备案、重建不含个人信息的AI模型、建立训练数据合规管理体系；
（四）向所有已注册用户发送数据安全通知，告知训练数据中可能包含其个人信息的情况。

【典型意义】
本案是生成式AI因训练数据包含未经同意的大量个人信息而被责令下架服务的执法首案：
第一，“模型记忆”（Memorization）被正式确认为个人信息泄露的合规风险。AI模型不仅能学习模式和规律，还可能逐字复述训练数据中的个人信息，这构成了《个人信息保护法》意义上的“个人信息处理”，要求企业在训练阶段即采取有效的清洗和去标识化措施。
第二，训练数据合规不是“可选优化”而是“上线前置条件”。本案中网信办强调了安全评估和算法备案是强制的前置程序，“先行上线、边用边评”的模式违反了法规。
第三，本案揭示了公共数据（如政府公开的裁判文书、行政处罚决定书）在AI训练中的合规困境：虽然这些数据是“公开”的，但其中包含的公民个人信息（如姓名、身份证号、住址）的批量抓取和用于AI训练，是否构成对个人信息的二次处理，有待进一步的法律和制度回应。
第四，本案直接影响了国内AI大模型行业的训练数据管理实践：多家AI公司在事件后加速了训练数据合规体系的建设，包括数据来源合法性审查、个人信息识别与清洗、以及模型输出安全测试。