揭开隐藏算法的神秘面纱

【猎云网（微信号：）】1月31日报道（编译：罗彬杰）

在缺乏算法规则的情况下，活动人士、律师和技术人员正在通过其他方式提高算法的透明度。

2012年，新奥尔良警察局与数据挖掘公司Palantir悄悄合作，实施了一套预测性的警务系统，帮助识别可能的罪犯和受害者。六年来，市议会和法院都没有被告知该系统正在挖掘市民的数据，以生成警方的“目标名单”，并对个人进行逐一调查。关于程序的适当性、合法性或价值的问题从未得到妥善解决。去年，时任纽约市警察局长的Ron Serpas透露这个项目时，他对记者说：“对我来说，这个系统的实施当然需要听取各方观点，并接受审察。”

今年3月，新奥尔良的官员表示，他们与Palantir的合同将不会续签，但这依然暴露出人们对政府如何使用算法和数据更广泛的担忧。新的软件正在进入政府部门，帮助识别罪犯、为学生与学校进行配对、指导刑事判决，并帮助确定政府福利。但几乎没有市民知道这些技术的存在，以及它们是如何被使用的。如果公众知情，商业秘密和保密协议仍然会阻止公众对这些技术运作方式的深入分析。

加州大学戴维斯分校研究监控行业的宪法学教授Elizabeth Joh 表示：“这些公司的行为是出于个人利益，但它们的决定对公众有相当大的影响，这种私人影响的危害包括曲解《第四修正案》，蓄意破坏问责制，侵蚀透明度准则等。”

加州大学伯克利分校法律与技术中心联席主任Sonia Katyal在即将发表的一篇论文中表示，保护政府采购软件的知识产权法正在悄然超越对公民个人权利。她写道:“在人工智能的背景下，我们看到了一个知识产权原则有时会阻碍公民权利充分应对技术挑战的世界，从而使新一代公民权利的发展完全停滞不前。”

纽约大学法学院技术法律与政策诊所的临床教学研究员Amanda Levendowski说，在透明度缺失的情况下，维权人士、律师和技术人员正转向使用越来越多的策略来对算法和其他技术进行更多的监督。

她说:“如果我们不知道人工智能系统被用来监视我们，或者我们根本不知道技术的存在，公众就不可能参与讨论人工智能系统是公平的、负责任的、透明的，还是合乎道德的。”

新的法规

美国缺乏透明度的一个重大障碍是1984年制定的《计算机欺诈与滥用法案》，该法案旨在保护政府机构的计算机系统免受黑客攻击。美国公民自由联盟华盛顿分部的技术与自由项目主任Shankar Narayan说，由于存在偏见或其他缺陷，私营企业能够通过声称审计是一种未经授权的访问来避免外部审计。《计算机欺诈与滥用法案》的改革可能有助于为独立审计各政府机构使用的算法系统做好准备。

联邦通过立法来要求信息透明，无论这种可能性有多大，都将是对抗隐藏数据技术的强大支撑。和美国食品和药物管理局的性质相同，这可能包括建立一个新的监管机构，以监督软件和算法。

媒体学者Dan Greene和数据科学家Genevieve Patterson最近在《IEEE Spectrum》杂志上撰文指出:“FDA成立于20世纪初，是为了应对有毒或贴错标签的食品和药品。该机构的部分职责是防止制药公司通过销售相当于万灵油的欺骗性产品获利。同样，出售影响人们健康、安全和自由的产品和服务的人工智能供应商，可能也会被要求向一家新的监管机构提供他们的代码来接受监管。”

在AI Now去年12月发布的一份报告中，一组研究人员呼应了这一观点，他们举出了美国联邦航空管理局和美国国家公路交通安全管理局等机构的例子。他们还呼吁为政府提供人工智能和自动决策系统的供应商和开发商放弃商业机密或其他“妨碍对其软件进行全面审计和理解”的法律主张。

由于缺乏有效监管算法的州法律和联邦法律，一些市政当局正在对公共部门的算法实施他们自己的透明规则。2017年，纽约市议会通过了一项算法问责法，成立了一个工作组，就城市公共机构应如何共享与自动决策系统相关的信息，以及这些机构将如何处理他们损害他人的情况，提出建议。

在该法案的听证会上，Levendowski说：“发起人James Vacca甚至不知道每个使用算法的机构，也不知道它们是如何使用这些算法的，”过去5年，他一直在追踪监控技术的采购情况。他发现，这些机构的一些代表自己也不知道。“如果这些人都不知道，公众将更难弄明白了。”

加州的一些城市已经通过了监管监控政府技术采购的一些最严格的法令。圣克拉拉县在2016年通过了一项监督条例，要求每个政府机构制定一项政策，公开“可收集的信息或数据、数据访问、数据保护、数据保留、公共访问、第三方数据共享、培训和监督机制”。

去年，伯克利市通过了一项法律，为购买快速增长的监控设备(如面部识别设备、Stingray蜂窝基站模拟器、社交媒体分析软件和车牌读卡器等)创造了一个更加透明的流程。奥克兰紧随其后。西雅图和马萨诸塞州的坎布里奇等其他几个城市也通过了相关监控条例。

Narayan说，华盛顿州可能在2019年推出一项算法决策法案。他表示:“我们将大力反对商业秘密和其他破坏透明度的方式，因为我们认为，这些隐藏算法代表着政府机构做出的决策可能不符合宪法。”

Levendowski说，有70年历史的联邦法律也要让位于一个令人惊讶的透明工具:联邦商标注册。联邦商标注册的官方名称是“商标电子搜索系统”，它是一个免费且很容易访问的数据库，包含数百万还未过审、已注册、被取消、过期或废弃的商标。这些商标备案文件可以公开，而且与监管备案文件或专利申请中的公开文件不同，搜索这些文件(使用“人工智能”、“防御”或“监视”等关键词)几乎不需要法律或技术专长。

将算法告上法庭

当对透明度的礼貌请求没有成功时，律师和活动人士换用了另一种更为直接的方式，他们辩称：商业秘密和保密协议侵犯了个人享有法定诉讼程序的权利。一般来说，法定诉讼程序权利允许人们捍卫美国法律赋予他们的权利，并可以对政府的行动计划提出异议。

在一个案例中，爱达荷州美国公民自由联盟的K.W. v. Armstrong认为，该州针对发育障碍成年人的医疗补助评估算法侵犯了他们的法定诉讼程序权利。法院同意这一观点，认为算法公式是如此的错误——为大量的人产生随机的结果——这是违反宪法的。美国公民自由联盟在一篇博客文章中写道，法官下令对该系统进行全面检查，包括“定期测试、定期更新和使用高质量数据”。

透明度 工具 中的其他法律手段还包括《信息自由法》的要求，以及在必要时通过诉讼来强制让其遵守。

2016年6月，纽约大学法学院布伦南司法中心向纽约警察局提交了一份《信息自由法》，请求“得到与获取、测试和使用预测性警务技术相关的记录”。 在纽约警察局以商业机密和警方机密为由拒绝了信息自由法的请求后，布伦南中心于2017年9月提起诉讼，指出纽约市已经在Palantir开发的预测性警务软件上花费了近250万美元。

该诉讼还披露，司法部还测试了KeyStat Inc.和PredPol两家公司的另外两个预测性警务平台。与此同时，纽约警察局的文件显示，该机构在使用预测性警务软件方面没有严格的隐私政策，也无法提供显示其进行过强制性审计的记录。

2017年12月，一名法官驳回了纽约警察局的指控。尽管法院拒绝了布伦南中心要求提供用于培训预测性警务算法的数据的请求，但法院命令警察局提供与供应商的电子邮件通信、测试输出的数据，以及纽约市警察局数据分析助理局长的记录笔记。

布伦南中心的律师Rachel Levinson-Waldman写道，“公民有权了解执法机构管理社区的工具、成本和执行标准。”，“在这起案件中，我们花了一年半的时间打了一场官司，才最终获得了部分本应在一开始就向公众公开的信息。”

上周，纽约警察局在数据保密战中又输了一场。一群参与“Black Lives Matter”活动的群众起诉了警察局在2014年的一次抗议活动中，拒绝证明或否认曾对他们进行监控和干扰他们的手机。纽约警察局声称，即使确认了记录也会泄露商业机密或损害公共安全，但法院驳回了这一说法。该裁决要求纽约警察局公开其使用社交媒体监控软件包Dataminr的相关记录，以及用于中断手机服务的技术记录。

曼哈顿最高法院法官Arlene Bluth写道：“本院承认被告无须公开其进行刑事调查的方式。但这并不是刑事调查或反情报行动，这是由于有报道称，抗议者声称他们的手机在抗议过程中突然无法使用。这种可能性，即被告干扰抗议者相互沟通的能力，是为实行《信息自由法》做准备的严重担忧。”

从内部做出改变

伯克利大学的教授Katyal认为，由于围绕新技术的关键民权问题属于私人范畴，而非公共部门，“如果我们只指望国家来解决算法问责制的问题，那我们就找错了地方。”

她说，软件透明度的潜在强大力量一定来自于软件公司内部。去年，科技行业的员工们纷纷开始发出自己的声音，很多维权活动都集中在政府合同上。在许多员工签名的联名信中，员工们提到了对算法的偏见和使用算法的整体道德担忧，在某些情况下，他们还要求自己的公司完全退出政府合同。

今年春天，3100名谷歌员工抗议该公司竞标五角大楼的Maven项目，该项目将利用人工智能分析无人机视频。该公司表示，将放弃赢得合同的机会，并制定了一套人工智能原则，其中明确规定，谷歌不会制造会造成或强化偏见的产品，不会制造会造成伤害的技术，也不会构建用于监控目的的信息系统。

受到谷歌员工的启发，微软员工也呼吁其公司形成人工智能原则，提高产品开发和销售流程的透明度。员工们写道：“首先建立和维持这些服务的工作人员，将如何知道我们的工作是否被用来帮助进行分析、监视或杀戮呢?”

在最近的一份报告中，AI Now的研究人员强调，鉴于许多工程技术人员“拥有相当大的议价能力，而且处于能够要求雇主做出改变的独特地位”，技术人员在要求透明度方面的重要性正在逐渐显现。

报告呼吁科技公司在董事会中提供员工代表的席位，并要求公司建立外部道德咨询委员会，以及独立的第三方监督机构和透明度实施办法。微软、谷歌和Facebook宣布了旨在评估其软件的社会影响力的内部道德项目，去年，body camera和眩晕枪制造商Axon成立了一个道德委员会。委员会由外部顾问组成，包括伦理学家、警察和一名坚决反对公司人脸识别计划的律师，但委员会对公司的建议不具有约束力。

事实证明，举报者在曝光极具争议的技术方面也起到了关键作用，包括谷歌的“蜻蜓计划”。该计划试图将其经过审查的服务版本引入中国。据报道，在员工于8月向《拦截报》披露该项目后，员工的广泛抗议和公众的强烈抗议导致该公司实际上已经暂停了该项目的实施。

不过，该公司高管尚未公开表示他们将停止“蜻蜓计划”的进行。1月3日，著名的谷歌工程师Liz Fong-Jones，一位直言不讳地批评Dragonfly和Project Maven的人，说她将在这家互联网巨头工作11年后辞职，因为她对公司的发展方向不满，而且认为其公司“缺乏责任感和监督”。

展望未来，员工在确保透明度和问责制方面的价值可能会持续增长。除了鼓励举报人道出实情之外，最大的挑战将是，在科技行业盛行的保密文化背景下，如何通过政府法律或企业政策为这些举报人提供保护。

“幸运的是，我们开始看到研究人员、活动分子、律师、相关技术人员和民间社会组织之间形成了新的联盟，以支持对人工智能系统的监督、问责和持续监控。”AI Now的报告中写到。