处罚日期:2021-03-23
Apple Card与Goldman Sachs算法信用额度审批被控性别歧视引发监管调查案
处罚单位
纽约州金融服务局(NYDFS)
被处罚单位
Goldman Sachs Bank USA / Apple Inc.
处罚措施:调查结束+算法全面审查+消除歧视+人工复核
【案件背景】
2019年11月,包括苹果公司联合创始人Steve Wozniak在内的多名用户在社交媒体上公开投诉Apple Card的信用额度审批存在性别歧视——Wozniak表示他的信用额度是他妻子的10倍,尽管两人共享所有资产和账户。该事件迅速发酵成为全球头条新闻,引发了监管机构的调查。
【违法事实】
纽约州金融服务局(NYDFS)调查发现:一是Apple Card的信用额度审批算法可能包含性别偏见——Goldman Sachs使用的信用评估算法考虑了'信用历史长度''收入水平'等因素,这些因素在统计上可能因历史性的性别薪酬差距和女性更晚进入信用体系而呈现性别差异,导致女性申请者获得系统性偏低的信用额度;二是Goldman Sachs无法向申请者充分解释信用额度决定的理由——当被问及为何Wozniak夫妇的信用额度差距如此之大时,银行仅表示这是算法的结果,无法给出有说服力的解释;三是完全依赖自动化决策做出信用审批——在收到投诉前,被拒绝的申请者没有有效的人工复核渠道。
【处罚决定】
NYDFS于2021年3月结束调查,虽然未对Goldman Sachs处以罚款,但要求其对信用评估算法进行全面审查,消除可能的性别歧视因素,并确保申请人有权对算法决定提出异议并寻求人工复核。该事件直接推动了美国金融监管机构对AI信贷审批算法的公平性审查框架的建设。
【典型意义】
一是Apple Card事件使算法公平性从学术和专业讨论走向大众视线——一位科技界偶像级人物的投诉赋予了算法歧视问题空前的影响力;二是'算法即借口'的时代正在结束——将问题归结为'这是算法决定的'不再被接受为充分的解释;三是金融算法的性别偏见往往源于历史数据中的社会偏见——解决算法歧视不仅需要技术调整,更需要对历史社会不公的认知和纠正。
2019年11月,包括苹果公司联合创始人Steve Wozniak在内的多名用户在社交媒体上公开投诉Apple Card的信用额度审批存在性别歧视——Wozniak表示他的信用额度是他妻子的10倍,尽管两人共享所有资产和账户。该事件迅速发酵成为全球头条新闻,引发了监管机构的调查。
【违法事实】
纽约州金融服务局(NYDFS)调查发现:一是Apple Card的信用额度审批算法可能包含性别偏见——Goldman Sachs使用的信用评估算法考虑了'信用历史长度''收入水平'等因素,这些因素在统计上可能因历史性的性别薪酬差距和女性更晚进入信用体系而呈现性别差异,导致女性申请者获得系统性偏低的信用额度;二是Goldman Sachs无法向申请者充分解释信用额度决定的理由——当被问及为何Wozniak夫妇的信用额度差距如此之大时,银行仅表示这是算法的结果,无法给出有说服力的解释;三是完全依赖自动化决策做出信用审批——在收到投诉前,被拒绝的申请者没有有效的人工复核渠道。
【处罚决定】
NYDFS于2021年3月结束调查,虽然未对Goldman Sachs处以罚款,但要求其对信用评估算法进行全面审查,消除可能的性别歧视因素,并确保申请人有权对算法决定提出异议并寻求人工复核。该事件直接推动了美国金融监管机构对AI信贷审批算法的公平性审查框架的建设。
【典型意义】
一是Apple Card事件使算法公平性从学术和专业讨论走向大众视线——一位科技界偶像级人物的投诉赋予了算法歧视问题空前的影响力;二是'算法即借口'的时代正在结束——将问题归结为'这是算法决定的'不再被接受为充分的解释;三是金融算法的性别偏见往往源于历史数据中的社会偏见——解决算法歧视不仅需要技术调整,更需要对历史社会不公的认知和纠正。