处罚日期:2018-10-10

Amazon AI招聘工具对女性简历系统性降分构成性别歧视被废弃全球警示案

处罚单位

美国平等就业机会委员会(EEOC)

被处罚单位

Amazon.com, Inc.

处罚措施:自行废弃工具+EEOC发布指导方针
【案件背景】
2018年,路透社独家报道了Amazon内部的AI招聘工具因严重的性别歧视倾向而被废弃。该工具自2014年开始研发,旨在利用AI算法自动筛选海量简历,根据求职者与公司现有员工的相似度对简历进行1-5星评分。但到2015年,团队发现该系统对包含'女性'关键词的简历系统性地降低评分。

【违法事实】
Amazon内部审计发现:一是训练数据中的历史偏见被算法放大——该模型基于Amazon过去10年的招聘数据进行训练,而科技行业长期以来以男性从业者为主,模型学习到了'成功员工=男性'的错误关联;二是算法对'女子学院''女子足球队'等女性暗示词汇进行了系统性降分——含有'women"s chess club'等表述的简历被自动降分,即使求职者的其他资历完全相同;三是自动化决策的反馈循环加剧歧视——如果算法继续被使用,被降分的女性简历会导致更少女性被录用,进一步强化训练数据中的性别失衡。

【处罚决定】
Amazon最终于2017年废弃了该AI招聘工具,这一事件未导致直接的政府执法处罚(因为是Amazon自主发现并废弃的),但引起了EEOC的高度关注。EEOC随后发布了关于AI招聘中避免歧视的指导方针。该事件成为全球AI伦理课程的经典反面教材。

【典型意义】
一是全球最著名的'算法歧视'案例——历史偏见通过机器学习被编码为'数学真理';二是算法审计是避免歧视的必需品而非奢侈品——Amazon正是在内部审计中发现了问题,避免了实际使用后的法律灾难;三是在招聘等涉及基本劳动权利的领域,完全的自动化决策存在固有的伦理风险——人类招聘中存在的偏见可能被算法抽象和放大而非消除。