高科技红线：人工智能正在悄然升级种族主义

【猎云网（微信号：）】11月26日报道（编译：福尔摩望）

大萧条时期，美国联邦政府成立了Home Owners’ Loan Corporation（HOLC）来提供低息房屋贷款，联邦住房管理局（FHA）为私人银行的抵押贷款提供担保。由于HOLC的运营人员不了解当地贷款者的情况，所以他们构建了“住宅安全地图”，将街区按A到D等级进行分级，D等级的街区采用红色标记，表示这一区域属于不良高风险等级。这些“红线”地图也被FHA和私人企业所使用，并逐渐蔓延至银行、保险公司和零售商店，从而导致了服务受限和街区恶化的恶性循环。

许多私人银行都有自己的红线地图。例如，在加州，Security First National Bank创建了洛杉矶街区评级系统。洛杉矶市中心的大多数街区都被标有红线，通常还会有关于“日本人和黑人集中地”的明确标记。Boyle Heights被标记为“充满了各种颠覆分子的蜂巢”。Watts也被标记为红色，因为它不仅是黑人和日本人的聚集地，德国人、希腊人、意大利人和苏格兰人都集中在这一区域。

1968年的《公平住房法》禁止了红线划分行为。然而，在大数据时代，就业、保险和贷款申请越来越多地受到数据挖掘模型的评估，这些模型并不公开，但却可能产生更为有害的影响，因为它们不受地理边界的限制，而且公众也无法得知其内部原理。

即使是编写代码的程序员，也无法确切知道黑盒算法是如何进行评估的， 但是几乎可以肯定的是，这些算法直接或间接地考虑了性别、种族和性取向等因素，这就是我们所称的高科技红线 。因为一个人具有黑盒算法发现的与行为统计相关的群体特征，就对他进行惩罚，是不道德的。

许多评估求职者的算法会识别当前员工特征的统计模式。一家公司的首席科学家承认其软件选择的一些因素是没有意义的。例如，该软件发现其数据库中有几个优秀的 程序员 经常访问一个特定的日本漫画网站，所以它认定访问这个网站的人可能是优秀的程序员。这名首席科学家说，“显然，这不是因果关系”，但他认为这仍然有用，因为这一结果具有很强的统计相关性。这是一个令人感到痛苦的例子，向我们展示了一种没有根据的想法，即使是那些应该更了解统计模式的人，也会认为统计模式比常识更为重要。

这家公司的首席执行官还表示，公司的算法考虑了几十个因素，并且随着相关性的不断变化，不断改变被认为重要的变量。她认为不断变化的变量列表显示了模型的强大和灵活性。她还提出了一个似乎更令人信服的解释，即该算法捕捉了短暂存在的巧合相关，即是这些相关没有什么价值。如果存在因果关系，它们是不会短暂存在的，它们会持续存在且有用。一种利用巧合的相关性来评估求职者的算法几乎肯定是有偏见的。如果一名墨西哥裔美国女性并不喜欢受白人男性软件工程师欢迎的日本漫画网站，那她还是否会被判定为优秀的程序员？

同样，亚马逊最近放弃了开发定制算法来评估申请人简历的尝试。 在过去十年里，亚马逊利用求职者简历对这些算法进行了训练，结果显示算法更偏向亚马逊过去雇佣的求职者（其中大多数都是男性）。 来自女子学院的申请人会被降级，因为在亚马逊工作的男性没有去过这些学院。来自女性运动队的申请人也会遇到同样的情况。

一种评估贷款申请的中国算法着重关注手机使用情况，例如来话和去话的应答频率，以及用户是否保持手机满电。但问题是，这些指标中哪一个可以成为电话用户信用风险良好的标志？你所能感受到的不确定性都表明了这些标记存在任意性。

这些巧合关联都是暂时和无意义的，但却可能存在歧视。当这种信用评级系统首次在中国披露时，接听所有来电被认为是一种良好信用风险的信号。但这很可能也有偏见，比如某些宗教会规定不应该在某天或某个时间段接听电话。

社交媒体平台上收集的数据为公司提供了一种新的可疑定性见解。英国最大的汽车保险公司Admiral Insurance曾计划推出第一次汽车报价服务，该报价将基于对申请人Facebook帖子的计算分析。例如词汇选择，以及他喜欢迈克尔·乔丹还是伦纳德·科恩。然后，像其他黑盒算法一样，它们会隐藏在黑盒中进行分析。Facebook帖子中肯定存在偏见。一个黑人男性喜欢迈克尔·乔丹，而一个白人女性喜欢伦纳德·科恩，这之间的公平如何决定？如果Facebook上与性别、种族、族裔或性取向相关的词汇选择碰巧与汽车保险索赔相关呢？

在审前保释决定、审后判决和定罪后假释决定中，算法审判越来越普遍。一名开发人员写道，“这种方法完全就是黑箱操作，也没有人为此负责。”为了表示严重程度，他举了一个令人震惊的例子：“如果我选用不同大小的预测值，它会给出你没有预料到的结果。”我们无法预料到的事情是没有意义的，但它们却巧合相关了。

一些预测因素很可能代表了性别、种族、性取向和其他不应该考虑的参数。人们不应该因为性别、种族或性取向而被重罚保释金，或被判不合理的徒刑，或被拒绝假释。

算法问题可能导致的未来可以在中国看到，中国政府正在实施一个全国性的社会信用评分系统，旨在跟踪人们买什么、去哪里、做什么，以及其他任何可能表明一个人不值得信任的事情。该国的安全部门也在大力投资人脸识别技术，从而给信用评分类 工具 带来新的数据。两位中国研究人员最近报告说，他们可以通过将计算算法应用于扫描的面部照片，以89.5%的准确率预测一个人是否是罪犯。他们的项目发现了一些用于预测犯罪的鉴别性结构特征，如嘴唇曲率、眼睛内角距离和所谓的鼻口角度。

如果他们只是把那些看起来像罪犯的人关进拘留所呢？这会有什么害处？他们将不得不呆在那里，直到他们通过长期的康复项目。但是有些人会是无辜的，那么从长远来看，这将如何对他们产生不利影响？

我们能做些什么来监管这些系统？可以通过法律要求提高透明度。公民应该能够检查算法使用数据的准确性，并且应该能够获得足够的信息来测试算法是否有非法的不同影响。

幸运的是，人们越来越认识到算法对我们生活的影响。皮尤研究中心上周公布的一项调查显示，许多美国人担心当计算机用数学来做决定时会存在偏见和不公平，比如分配个人财务数字，进行犯罪风险评估，或者筛选求职者的简历和面试。皮尤的调查还发现公众对人工智能评分的关注在很大程度上取决于环境：大约30%的人认为公司可以根据顾客的个人和行为数据提供交易和折扣。但是大约50%的人认为刑事司法系统可以使用算法来预测假释犯是否会犯下另一项罪行。

我们对计算机的信心是如此地盲目，以至于我们愿意让算法来拒绝工作申请和贷款申请，设定保险费率，决定刑期，并把人关进拘留所？只因他们碰巧具有算法选择的不相关特征，就偏袒一些人，却虐待其他人。这根本不是进步，这是过去那个存在不合理歧视时代的回归。

AD：12月7-8日，北京望京凯悦酒店！猎云网邀您共赴创投盛宴“ 聚势谋远 创变未来—2018年度CEO峰会暨猎云网创投颁奖盛典 ” 24大奖项 330榜单 3000+企业参选 奖项投票已开启 邀您参与！