浙江某科技公司AI换脸App未按规定进行安全评估即上线运营案

【案件背景】
2025年9月，国家网信办发布执法典型案例。浙江某科技有限责任公司运营一款深度合成类App，提供视频换脸、图片换脸、照片舞动配音等AI图像处理功能，用户可对上传图片、视频中的人物进行换脸操作。该App上线运营前未履行法定的安全评估义务。

【违法事实】
经网信部门调查认定：一是未按规定开展安全评估——该App属于深度合成类服务产品，提供AI换脸功能，属于具有舆论属性或社会动员能力的信息服务，上线运营前应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》进行安全评估，但企业未落实该要求即直接上线运营；二是深度合成内容未作显著标识——用户使用换脸功能生成的图片、视频未标注深度合成标识，违反了《互联网信息服务深度合成管理规定》关于应在生成内容上添加不影响用户使用的标识的要求；三是该行为违反了《生成式人工智能服务管理暂行办法》《互联网信息服务算法推荐管理规定》等多项法规，存在较高的安全风险。

【处罚决定】
网信部门依法责令移动应用程序分发平台依规依约对该App予以下架处置。属地网信办同时要求企业完成安全评估并报备后方可重新申请上架。

【典型意义】
本案是AI深度合成类应用安全评估制度的标志性执法案例。一是明确了安全评估是AI生成服务上线的前置条件而非可选事项——即便功能在技术上已经成熟，未完成评估即不得上线运营；二是体现了深合标识义务的刚性——深度合成内容的标识不仅是技术建议，更是法律义务，目的是防止AI换脸技术被滥用于制造虚假信息或实施诈骗；三是在生成式AI快速发展的背景下，本案为AI企业划定了清晰的红线——技术创新不能以牺牲安全和合规为代价，安全评估是企业人工智能治理的第一道防线。