处罚日期:2023-12-19 罚款:USD 0.00

美国FTC对Rite Aid因未经同意使用AI面部识别技术并误判消费者为入店行窃者处以五年禁令案(2023年12月)

处罚单位

美国联邦贸易委员会(FTC)

被处罚单位

Rite Aid Corporation

处罚措施:五年禁令,禁止使用面部识别技术,要求删除所有已收集数据
【案件背景】
Rite Aid是美国第三大连锁药店,在全美拥有超过2,000家门店。2012年至2020年间,Rite Aid在数百家门店部署了AI面部识别系统,与面部图像数据库公司合作,使用AI算法将店内摄像头捕获的顾客面部图像与数据库中“有入店行窃前科或其他可疑行为的人”进行实时比对。Rite Aid声称该系统是为了减少零售损失。但FTC经调查发现,该AI系统存在严重的种族偏见和误判问题,导致大量无辜消费者(尤其是有色人种和女性)被错误标记、公开羞辱甚至遭到警方质询。2023年12月,FTC发布了一项历史性的执法决定。

【违法事实】
经调查查明:
(1)AI面部识别系统存在严重的准确性问题和高误报率。调查发现,系统使用的面部图像数据库包含了数千张低质量的图像(包括闭路电视截图、手机照片等),许多图像来自非入店行窃的“可疑行为”记录。FTC指出,Rite Aid从未测试该AI系统输出的准确性、误报率或种族偏见的程度,尽管这些技术评估是该系统的供应商所提供的。
(2)严重的种族和性别偏见。FTC的调查发现,该AI系统在黑人、拉丁裔、亚裔和女性消费者中的误报率显著高于白人男性——但Rite Aid在其部署的数百家门店中,均未对AI系统的输出是否对不同族裔和性别存在偏见进行任何测试。
(3)缺乏透明度和消费者告知。Rite Aid在所有部署了AI面部识别的门店中,均未通过标识或其他方式告知消费者其面部正在被采集、分析和与“可疑行为数据库”比对。消费者在完全不知情的情况下被纳入了一套高风险AI监视系统。
(4)AI系统的输出被不当地用于公开羞辱消费者。投诉中描述,当AI系统标记某人为“可能的问题人物”时,Rite Aid员工会当众接近该消费者,对其进行搜查或要求其离开门店,有时还会报警。调查记录了大量消费者(包括一名11岁女孩、多名年长者和一位被误认为是其有入店行窃记录的孪生姐妹的个人)因AI误判而在公共场合遭受羞辱的实例。
(5)数据安全管理不善。消费者面部图像和数据被上传至Rite Aid和第三方数据库,但Rite Aid未实施充分的安全措施来保护这些生物识别数据,也未制定数据删除政策。

【处罚决定】
2023年12月19日,FTC作出以下决定:
(一)对Rite Aid实施五年禁令,禁止其在美国任何门店部署或使用任何面部识别或面部分析技术用于安全或监控目的;
(二)要求Rite Aid删除其AI面部识别系统在八年内收集的所有消费者图像、照片和生物识别数据;
(三)要求Rite Aid通知所有其面部数据被录入监控系统的消费者(尽管在实践中这几乎不可能实现);
(四)命令Rite Aid实施全面的数据安全计划,并由独立第三方进行定期审计。
FTC的禁令标志着美国联邦层面首次针对零售业AI面部识别的系统性和族偏见采取执法行动。

【典型意义】
本案是AI伦理治理(特别是在种族偏见和高风险应用场景中)的标志性案例:
第一,五年的全面禁令是FTC对零售业AI监视系统最强硬的执法措施——不仅禁止继续使用现有系统,还禁止部署任何新的面部识别系统。这确立了“先证明安全、后部署”的AI监管原则。
第二,AI系统的偏见测试不是“最佳实践”而是“法律义务”。Rite Aid部署了数百套AI面部识别系统,但从未测试过其种族偏见,这被FTC认定为重大过失。
第三,缺乏透明度的AI监控系统被FTC严厉批评。消费者有权知道自己的生物识别数据正在被收集和使用于高风险决策。
第四,本案提醒零售行业:AI防损(Loss Prevention)技术虽然可能降低经济损失,但如果以侵害消费者隐私和导致歧视性后果为代价,监管机构将采取零容忍态度。