算法偏见就怪数据集?MIT纠偏算法自动识别「弱势群体」

栏目: 编程工具 · 发布时间: 5年前

内容简介:长久以来,我们都将注意力放在了算法性能上,而对于算法偏见,我们并没有很完善的研究。通常直观的想法就是修正数据集,以构建类别平衡的训练集,但是这又额外地引入了工作量。在 MIT 的 AAAI 2019 新研究中,作者借助算法中的偏见可能比你想象得还要普遍。发表于 2012 年的《Face Recognition Performance: Role of Demographic Information》一文表明,Cognitec 的人脸识别系统对非裔美国人的识别准确率比白人低 5 到 10 个百分点,《An o

长久以来,我们都将注意力放在了算法性能上,而对于算法偏见,我们并没有很完善的研究。通常直观的想法就是修正数据集,以构建类别平衡的训练集,但是这又额外地引入了工作量。在 MIT 的 AAAI 2019 新研究中,作者借助  VAE 学习训练数据的潜在结构,并以学到的潜在分布给数据点加权从而解决算法偏见问题。

算法中的偏见可能比你想象得还要普遍。发表于 2012 年的《Face Recognition Performance: Role of Demographic Information》一文表明,Cognitec 的人脸识别系统对非裔美国人的识别准确率比白人低 5 到 10 个百分点,《An other-race effect for face recognition algorithms》一文发现,中国、日本和韩国开发的模型不太容易区分白种人和东亚人。最近的一份研究表明,谷歌和亚马逊的语音助手在理解非美国口音方面的准确率要低 30%。《Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings》一文发现,Google News 文章中的词嵌入存在对于男性和女性的刻板印象。

这是一个问题。但幸运的是,MIT 的研究者已经探索出了解决之道。

在论文《Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure》中,MIT CSAIL 的科学家们展示了一种可以通过重新采样来自动消除数据偏见的 AI 系统。他们表示,在专门测试 计算机视觉 系统中偏见的数据集上,该系统显示出优异的性能,分类偏见也得以降低。该论文将在本周举办的 AAAI 大会上作为 Poster 论文进行展示。

人脸识别 通常被视为一个已经得到解决的问题,尽管很明显,人们使用的数据并未得到适当审查,」上述论文一作之一 Alexander Amini 说道。「矫正这些问题至关重要,因为这类算法已经用在了安全、执法及其他领域。」

这不是 MIT CSAIL 第一次解决该问题,在 2018 年的一篇论文里,David Sontag 教授及其同事描述了一种在不降低预测结果准确性的前提下减少 AI 偏见的方法。但本文提出的方法是一种新颖的、半监督的端到端深度学习算法,它同时学习所需任务和数据结构,如面部检测任务和训练数据的潜在结构。后者使其能够揭开训练数据中隐藏或隐含的偏见,并能够在训练期间自动去除这些偏见,而无需数据预处理或注释。

去除偏见的原理

研究人员所设计的人工智能系统核心是一个变分自编码器(VAE),这是一种常见的无监督神经网络,与 GAN 一样经常用于图像生成任务。与自编码器一样,变分自编码器主要包含编码器和解码器。其中编码器将原始输入映射到特征表示中,而解码器将特征表示作为输入,利用它们进行预测并生成输出。最后模型会对比编码器的输入与解码器输出之间的差别,并将它们作为损失函数而执行训练。

在本文所提出的 VAE 下,即去偏见 VAE(DB-VAE),编码器部分在给定数据点的情况下学习隐变量真实分布的近似值,而解码器则期望基于潜在空间重构输入数据。解码重构使得在训练期间能够以无监督的方式学习隐变量。

为了验证该去偏见算法在现实问题上具有「重要的社会影响」,研究人员在包含 40 万张图像的数据集上训练 DB-VAE 模型,分别将其中 80% 的图像作为训练集,20% 的图像作为验证集。然后他们在 PPB 测试数据集上评估该模型,该数据集包含 1270 张来自非洲和欧洲不同国家国会议员的图像。

结果很不错,据研究人员表示 DB-VAE 不仅学习面部特征(如肤色、头发),还学习诸如性别和年龄等其它特征。将在个体人口统计学(种族/性别)和整个 PPB 数据集上训练的去偏见模型与普通模型相比,去偏见模型的分类准确率明显增加,且针对种族和性别的分类偏见明显下降。该研究团队表示,这是朝着公平和无偏见 AI 系统发展的重要一步。

「公平系统的开发和部署对于防止意外的歧视以及确保这些算法被长期接纳至关重要。我们希望该算法能够促进现代人工智能系统算法的公平性。」合著者表示。

取得进步

过去十多年有很多失误都描述了 AI 潜在的偏见,但这并不意味着我们没有在更准确、偏见更少的系统方面取得进展。

去年 6 月份,微软与致力于人工智能公平性的专家通力合作,修正和扩展了用于训练 Face API 的数据集。Face API 是微软Azure 中的一个 API,它提供预训练算法以检测、识别和分析人脸图像中的属性。新数据通过调整肤色、性别和年龄等所占的比例,能够将肤色较深的男性和女性之间的识别错误率降低 20 倍,单单女性的识别误差率就能降低 9 倍。

与此同时,一大类新兴的算法纠偏 工具 有望实现更加公正的人工智能。

去年 5 月,Facebook 发布了 Fairness Flow。如果一个算法因为人类的种族、性别、和年龄等因素做出不公平的判断,Fairness Flow 会自动预警以提醒开发者。初创公司 Pymetrics 同样开源了他们用于检测偏见的工具 Audit AI;Accenture 发布了一个工具包以自动检测 AI 算法中的偏见,并帮助数据科学家缓解这些偏见。此外在去年 9 月份,谷歌推出了新工具 What-If,这是TensorBoard中用于检测偏见的工具,也表明机器学习框架TensorFlow开始关注这种算法的偏见。

论文:Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure

算法偏见就怪数据集?MIT纠偏算法自动识别「弱势群体」

论文链接:http://www.aies-conference.com/wp-content/papers/main/AIES-19_paper_220.pdf

摘要:最近的研究揭示了基于现代机器学习的系统容易产生偏见,尤其是对于训练数据中缺乏代表性的社会群体。在本文中,我们开发了一种新的、可调的算法来减少训练数据中隐藏的潜在偏见。我们的算法将原始的学习任务和变分自编码器相融合,以学习训练数据中的潜在结构,然后在训练时自适应地使用学到的潜在分布给特定数据点的重要性重新加权。虽然我们的方法可以泛化到不同的数据模式和学习任务上,但在本研究中我们主要用该算法来解决面部检测系统中的种族和性别偏见问题。我们在 Pilot Parliaments Benchmark(PPB)数据集上评估了该算法,这是一个专为评估计算机视觉系统中的偏见而设计的数据集。评估结果表明,我们的去偏见方法提高了整体性能,降低了分类偏见。

原文链接:https://venturebeat.com/2019/01/26/mit-csail-researchers-propose-automated-method-for-debiasing-ai-algorithms/


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

ACM国际大学生程序设计竞赛题解

ACM国际大学生程序设计竞赛题解

赵端阳//袁鹤 / 电子工业 / 2010-6 / 38.00元

《ACM国际大学生程序设计竞赛题解(1)》可以作为高等院校有关专业的本科和大专学生参加国际大学生程序设计竞赛的辅导教材,或者作为高等院校数据结构、C/C++程序设计或算法设计与分析等相关课程的教学参考书。随着各大专院校参加ACM/ICPC热情的高涨,迫切需要有关介绍ACM国际大学生程序设计竞赛题解的书籍。《ACM国际大学生程序设计竞赛题解(1)》根据浙江大学在线题库的前80题,进行了解答(个别特别......一起来看看 《ACM国际大学生程序设计竞赛题解》 这本书的介绍吧!

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

MD5 加密
MD5 加密

MD5 加密工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器