处罚日期:2024-06-10
罚款:RMB 3,000,000.00
某招聘平台AI简历筛选算法隐性性别和年龄歧视且拒绝对自动化决策提供说明案
处罚单位
北京市互联网信息办公室
被处罚单位
某招聘平台运营公司
处罚措施:罚款+算法整改+人工复核机制+第三方审计
【案件背景】
2024年4月,多名女性求职者向北京市网信办投诉,称在某大型招聘平台上投递简历后,系统频繁将其推荐至低薪、行政类岗位,而同资历的男性求职者则被推荐至高薪技术岗。后续调查发现该平台AI简历筛选算法存在系统性的性别和年龄歧视。
【违法事实】
一是自动化决策结果存在系统性歧视——《个人信息保护法》第24条要求自动化决策应保证公平公正,但调查发现该算法在训练数据中学习到了历史招聘中的性别偏见,对女性简历自动降低薪酬预期评分和岗位匹配等级,构成算法性别歧视;二是算法歧视因缺乏透明度和可解释性而难以被发现——平台一直以'商业机密'为由拒绝向求职者说明算法推荐逻辑,求职者被算法'判低分'却无从知晓原因,无从申诉;三是未提供针对自动化决策结果的人工复核渠道——根据《个人信息保护法》第24条,个人认为自动化决策对其权益有重大影响时,有权要求处理者予以说明并拒绝仅通过自动化决策作出决定,但平台未建立此类机制。
【处罚决定】
北京市网信办依据《个人信息保护法》第66条,处以人民币300万元罚款,责令整改AI简历筛选算法的训练数据和评估标准以消除歧视性偏差,建立自动化决策的人工复核和申诉机制,定期接受第三方算法公平性审计。
【典型意义】
一是AI招聘歧视是国内算法公平性执法的前沿领域——算法可能通过学习历史数据中的偏见,将社会不平等固化为'数学事实';二是算法的'黑箱'不能成为拒绝说明和拒绝问责的挡箭牌——《个人信息保护法》第24条赋予了个人的算法解释请求权;三是自动化决策的合规不仅需要输入端的公平性审计,还需要输出端的人工复核通道。
2024年4月,多名女性求职者向北京市网信办投诉,称在某大型招聘平台上投递简历后,系统频繁将其推荐至低薪、行政类岗位,而同资历的男性求职者则被推荐至高薪技术岗。后续调查发现该平台AI简历筛选算法存在系统性的性别和年龄歧视。
【违法事实】
一是自动化决策结果存在系统性歧视——《个人信息保护法》第24条要求自动化决策应保证公平公正,但调查发现该算法在训练数据中学习到了历史招聘中的性别偏见,对女性简历自动降低薪酬预期评分和岗位匹配等级,构成算法性别歧视;二是算法歧视因缺乏透明度和可解释性而难以被发现——平台一直以'商业机密'为由拒绝向求职者说明算法推荐逻辑,求职者被算法'判低分'却无从知晓原因,无从申诉;三是未提供针对自动化决策结果的人工复核渠道——根据《个人信息保护法》第24条,个人认为自动化决策对其权益有重大影响时,有权要求处理者予以说明并拒绝仅通过自动化决策作出决定,但平台未建立此类机制。
【处罚决定】
北京市网信办依据《个人信息保护法》第66条,处以人民币300万元罚款,责令整改AI简历筛选算法的训练数据和评估标准以消除歧视性偏差,建立自动化决策的人工复核和申诉机制,定期接受第三方算法公平性审计。
【典型意义】
一是AI招聘歧视是国内算法公平性执法的前沿领域——算法可能通过学习历史数据中的偏见,将社会不平等固化为'数学事实';二是算法的'黑箱'不能成为拒绝说明和拒绝问责的挡箭牌——《个人信息保护法》第24条赋予了个人的算法解释请求权;三是自动化决策的合规不仅需要输入端的公平性审计,还需要输出端的人工复核通道。