六巨头成立的AI机构发布报告：美国刑事司法风险评估工具可能存在算法偏见！反对执法单位使用AI

执法部门是否应该使用 AI，美国科技巨头的答案是“不”。

由美国大型科技公司携手成立的组织 The Partnership on AI（PAI）刚发布一份报告指出， 目前的算法旨在帮助警方确定谁可以获准保释、假释或缓刑，并帮助法官作出判决决定， 但这些算法可能存在偏见、不透明，甚至可能无效。

PAI 是由六大科技公司： 苹果、亚马逊、谷歌（以及 DeepMind）、Facebook、IBM 和微软在 2016 年成立，旨在支持人工智能技术的研究及分享，确保技术以有益和负责任的方式为公众服务，目前由曾任白宫科技政策办公室（OSTP）美国首席技术官的政策顾问 Terah Lyons 所领导。 去年 10 月百度正式加入 PAI，成为首位中国会员，目前 PAI 成员超过 80 个机构单位，像是 OpneAI、英特尔、英伟达、香港科技大学也在其中。

图｜（来源： PAI）

加利福尼亚州 SB10 号法案引发争议

有越来越多的国家机构对 AI 跃跃欲试，例如警察、国防部门，引起争议的还有司法机关。

去年 9 月，美国加利福尼亚州通过一项 SB10 号法案，取消了保释金制度，改为使用风险评估算法工具来替代现金保释制度，因此强制法院购买和使用统计和机器学习的风险评估工具，进行被告的“审前拘留”决定。

简单来说，就是根据这些工具做出的结果，来决定被告在候审期间可以被释放、或是被关押。

PAI 表示，该报告收集了多个学科对于人工智能和机器学习的研究、以及伦理学界的观点，并发现美国刑事司法系统使用的风险评估算法工具，存在严重的缺陷。 因此，PAI 建议，“政策制定者要不就抛弃这些评估工具，要不就得制定解决上述问题的标准。 ”

PAI 指出，风险评估工具是用来预测特定未来结果概率的统计模型，虽然刑事司法的风险评估工具通常比许多现代 AI 系统使用的深层神经网络更简单，但仍是人工智能的基本形式，而且是自动化 AI 决策制定可能为社会带来高风险和道德影响的重要范例。

PAI 研究主管 Peter Eckersley 指出，目前法院用于审前量刑决策的大部分软件都是基于较旧的数据分析技术，而不是尖端的机器学习，但是，无论是旧的还是新的数据处理技术，都存在潜在的缺陷，可能导致有偏见的结果。

PAI 也指出，要实施“负责任的”刑事司法风险评估工具，必须最少达到 10 项基本要求： 有效性、数据抽样偏差、统计预测偏差、选择适合的预测目标、人机交互问题、使用者培训、政策与治理、透明度和审查、可重复性及过程和记录保存、以及部署后的评估。

参与此报告的 Upturn 高级政策分析师 Logan Koepke 就指出，“据我们所知，美国没有任何一个司法管辖区能够满足这里部署风险评估工具的十项最低要求。 ”因此，在刑事司法系统进一步使用风险评估工具之前，应权衡并解决这 10 项要求的问题。

该报告也详述使用这些工具的挑战大致有以下 3 类：

一、工具本身准确性、偏见和有效性的疑虑：

希望使用这些工具，有一部分原因是认为能减少现有刑事司法系统中的人为错误，但本报告表明，把仅仅基于数据的工具视为是客观或中立的，其实是很严重的误解。

二、工具与人交互的问题：

除了技术问题之外，这些工具必须遵循高标准的可解释性和可解释性，以确保用户包括法官、律师等，能够理解工具是如何进行预测，并根据这些预测做出合理的决策。

三、治理、透明度和问责制的问题：

如果这些系统适用于做出改变生活的决策，那么，授权和部署这些工具的决策者，也必须符合高标准的透明度和问责制。

美司法机构已广泛使用算法来预测

不少科学家或行业人士认为，大多数 AI 基于大量数据所训练，数据样本在现实的代表性、使用的数据是否本身就存在偏差、数据搜集的过程是否严谨等问题，都会影响最终的 AI 表现。

尽管社会大众对于这些希望用来帮助法律机构做出监禁决策的算法，仍有一些疑虑，比如公平性和有效性等，但 PAI 指出，这种系统工具其实已经在美国广泛使用，甚至有一些地区的立法机构更开始强制要求使用，如上述的加利福尼亚州。

Bloomberg 报道，在过去算法工具就曾被质疑有问题，最著名的案例是 Equivant 公司的算法——COMPAS。

2016 年，专门进行公众利益调查性报道的非营利媒体机构 ProPublica 就发现，该算法错误标记黑人被告的可能性是白人的 2 倍。 虽然 Equivant 对此调查结果提出异议，但后续有学术研究发现，该算法的表现并没有比未经训练的人来得好。 尽管如此，该算法仍在美国许多地方使用。

即便是最优的算法也会面临挑战，将其用于司法实务是尤其应该警惕算法偏见。 在缺乏直接答案和完美解决方案的情况下，PAI 报告建议或停止使用，或修改算法，也许是最合适的选择。

参考来源：

https://www.partnershiponai.org/artificial-intelligence-research-and-ethics-community-calls-for-standards-in-criminal-justice-risk-assessment-tools/

https://www.partnershiponai.org/report-on-machine-learning-in-risk-assessment-tools-in-the-u-s-criminal-justice-system/

https://www.bloomberg.com/news/articles/2019-04-26/major-tech-firms-come-out-against-police-use-of-ai-algorithms

http://fortune.com/2019/04/26/artificial-intelligence-criminal-justice/

-End-

  DeepTech 招聘 :  科技编辑/记者，实习生  

坐标：北京·国贸

联系方式：hr@mittrchina.com

请随简历附上3篇往期作品（实习生除外）

点击阅读原文了解题跋派 ↓↓↓