上海某招聘平台AI简历筛选算法因性别和年龄歧视被市场监管局处罚案（上海市市场监管局，2024年4月）

【案件背景】
某在线招聘平台（以下简称“涉案平台”）是国内知名的互联网招聘服务提供商。2023年起，涉案平台向企业客户推出了一款名为“智能初筛”的AI简历筛选工具——企业HR上传岗位JD后，AI系统自动从海量投递简历中筛选出“最匹配”的候选人，并对其进行排序推荐。涉案平台声称该AI工具可以“消除人类HR的隐性偏见，实现公平筛选”。但2024年1月，有求职者向上海市市场监管局和妇联投诉，称该AI筛选系统对女性求职者和35岁以上的求职者存在系统性歧视——在多个测试岗位中，同等条件下女性和35岁以上求职者的简历被AI降权或排除。

【违法事实】
经调查查明：
（1）涉案平台AI筛选算法的训练数据来源于过去5年的企业招聘结果数据——即历史上哪些候选人被企业录用。由于历史数据中企业HR本身就存在对女性和中高龄求职者的偏好偏见（如“已婚未育女性录用率低”、“35岁以上程序员不被考虑”等），AI模型通过学习历史录用数据，将“性别=女”和“年龄>35”作为负面权重因素植入到筛选逻辑中，形成并放大了系统性歧视。
（2）涉案平台在AI筛选系统中使用了性别、年龄等“受保护特征”作为特征输入，虽然系统输出不直接显示“因性别拒绝”，但技术鉴定显示：在控制了学历、工作经验、技能匹配度等所有其他因素后，女性候选人的AI评分平均比男性候选人低12%，35-45岁候选人的评分比25-30岁候选人低18%。该差异统计显著，且无法用非歧视性因素解释。
（3）涉案平台在企业客户购买该AI工具时，宣传其“科学公平”和“消除偏见”，但从未向客户和求职者披露AI筛选算法中性别和年龄因素的权重和作用机制。求职者完全不知道自己的简历被一套带有偏见的AI系统评估和排除。
（4）涉案平台未建立AI筛选算法的公平性检测机制，从未对算法的不同性别、年龄段输出结果进行差异分析。也未按照《互联网信息服务算法推荐管理规定》向用户提供算法决策的解释说明。
（5）《就业促进法》和《妇女权益保障法》明确禁止就业歧视，包括基于性别和年龄的歧视。虽然AI系统不是自然人，但AI系统的部署和使用者（涉案平台和企业客户）须对AI产生的歧视性结果承担法律责任。

【处罚决定】
上海市市场监督管理局依据《就业促进法》、《妇女权益保障法》和《上海市反就业歧视条例》，于2024年4月8日作出以下行政处罚：
（一）责令立即改正违法行为，暂停涉事AI筛选工具的销售和使用；
（二）要求涉案平台对AI筛选算法进行公平性重构——移除性别和年龄等受保护特征作为输入变量，并建立算法输出公平性的持续监测机制；
（三）处人民币30万元罚款；
（四）向所有被AI工具评估过的求职者发送告知通知，允许其查阅AI对其的评估结果并赋予申诉权。
上海市妇联同步发声，呼吁建立AI招聘工具的公平性认证制度。

【典型意义】
本案是我国首例因AI招聘算法歧视而受到行政处罚的案件，标志着算法公平从学术讨论进入执法实践：
第一，AI“继承并放大”历史数据中的偏见，不能成为歧视的免责理由。企业部署AI系统时，须对训练数据中的潜在偏见进行系统性排查和纠偏。“AI导致的歧视仍然是歧视”。”
第二，AI算法的透明度义务不仅面向监管部门，也面向受算法决策影响的个人。求职者有权知道AI是如何评估自己的，以及哪些因素影响了评估结果。
第三，本案确立了跨领域协同执法的范例——市场监管（广告虚假宣传“科学公平”）、劳动就业（就业歧视）、妇女权益保障三线并行，显示了AI歧视治理的多维法律框架。
第四，本案推动了AI招聘工具领域的技术标准制定：2024年下半年，人社部和工信部联合发布了《AI招聘工具公平性评估指引（征求意见稿）》，对训练数据审查、特征选择、输出公平性检测和人工介入机制提出了系统要求。