ML社区八大「毒瘤」：盲目崇拜、相互攻讦、重SOTA轻实效……

俗话说，有人的地方就有江湖，就会充斥着各种立场和利益纠纷。科研领域亦如此，机器学习社区近来掀起来的一系列关于种族偏见的热议就是鲜活的例证。我们先回顾一下这件事情的来龙去脉：

大约一周前，杜克大学提出了一种将高糊人脸照片转换成清晰面部图像的  PULSE 方法 ，但意外的是，研究中的一张生成图像掀起了众议，人们纷纷指责该方法存在种族偏见。

输出后的奥巴马变成了「白人小伙」。

之后，图灵奖得主、Facebook 首席 AI 科学家 Yann Lecun 也因自己对此事的评价而遭到网友的口诛笔伐，最后不得不宣布 退出推特 。

那么问题来了，此次事件是否反映了机器学习社区对技术或数据持有明显的偏向性态度呢？除此之外，机器学习社区还存在着哪些痼疾以及新出现的坏现象呢？

今日，reddit 用户 yusuf-bengio 发帖总结了当前机器学习社区存在的 8 大「毒瘤」，内容涉及同行评审、盲目学术崇拜、 多样性、过度重视顶会论文发表以及学术攻讦等，引发了网友的热议。

我们先来看下这些问题的具体内容。

ML 社区的 8 大「毒瘤」

首先，同行评审的规则被打破。有四分之一的 NeurIPS 提交论文都被放到了 arXiv 上。DeepMind 的研究者公开质疑批评他们提交论文至 ICLR 的审稿人。最重要的是，尽管审稿人认为应该拒收论文，放在 arXiv 上的知名机构提交的论文还是被顶会接收了。相较之下，AC 却否决了一些评分很高的论文。

第二点，存在复现危机。在测试集上调整超参数似乎是目前的实践标准了。没有打破当前 SOTA 纪录的论文没有机会被较好的学术会议接收。因此很多研究只是对超参数进行调整以及提出一些细微的技巧，使其看起来存在性能增益，但实际上并没有。

第三点，存在盲目的学术崇拜。与斯坦福、DeepMind 这些顶级机构有关的论文都会得到高度赞誉，即使并没有什么重大突破。比如，BERT 被引用的次数是 ULMfit 的 7 倍。谷歌的从属关系为论文提供了如此多的信誉和曝光度。每次 ICML 会议，无论研究内容是什么，DeepMind 的 poster 都会吸引很多人。同样的事情还发生在 ICLR 2020 在 Zoom 上举办的虚拟会议上。

此外，即使都是机器学习顶会，但 NeurIPS 2020 的论文提交量却是 ICML 的两倍。为什么会如此？为什么 “neural” 这个词如此受欢迎？还有，Bengio、Hinton 和 LeCun 确实是深度学习的先驱，但是称呼他们为 AI“教父”就太疯狂了。这实在是种过度崇拜。

第四点，虽然 Yann LeCun 谈论偏见和公平性的方式显得有点事不关己，但他遭受的口诛笔伐也超出了合理的范畴。让 LeCun 或者其他人闭嘴解决不了任何问题。

第五点，机器学习和计算机科学社区普遍存在着严重的「多样性」问题，其中最明显的就是教授和学生中的男女比例问题。女性在博士或博士后期间休育婴假常常意味着其学术生涯的结束。并且，这种「多样性」的缺乏又经常被滥用，成为某些人免受任何批评的借口。将学术探讨中的每个负面评论归咎于种族和性别会营造不良的学术氛围。人们越来越害怕被他人看作「种族主义者」或「性别歧视者」，这反过来又加剧了这种「多样性」问题。

第六点，为其他人随意扣上道德伦理丧失的帽子。近期以来，美国国内的政治和种族抗议活动主导了一切学术讨论。

第七点，社区存在着一种残酷的「不发表，就发臭」的心态。如果你每年不能发表 NeurIPS 或 ICML 等学术会议论文，就会被称为「失败者」。此外，研究团队的规模变得越来越大，有时 PI 甚至叫不全手底下博士生的名字。有的研究者痴迷于投顶会论文，每年甚至提交数十篇论文。这太可怕了。写论文的唯一目标变成了在简历上添加一笔顶会接收论文的经历，所有的一切都变得很功利。在提交论文时，质量是次要的，想法设法通过同行评审成为了主要目的。

第八点，学术探讨变得粗暴无礼。举例来说，Schmidhuber 称 Hinton 为「小偷」，Gebru 称 LeCun 为「白人至上主义者」，Anandkumar 称 Marcus 为「性别歧视者」。大佬之间尚且相互攻讦，这终归不利于构建健康和谐的机器学习环境。

所以，我们是否可以停止妖魔化持有不同观点的人，允许不同观点的存在，不要吹毛求疵。如果我们仅仅因为观点不同而强迫他们闭嘴，那恐怕也宣告了科学和社会进步的终结吧！

不止 ML 社区，其他领域亦是如此

上文提到的这些「毒瘤」的确存在，也不可避免地对机器学习社区的学术氛围产生了负面的影响。网友对这些问题持什么态度呢？点赞最多的便是第三点的学术盲目崇拜现象。

网友表示，一些不知名学者的有趣研究虽能引起注意，但评论的人却少之又少；与之相比，机器学习名人的一篇推特却能有数百条评论。这种现象恐怕不利于新研究或技术的推广和持续发展。

还有网友提到了其他社区，如物理社区，称这类社区或许不像机器学习社区那样充斥着攻讦和分裂。他表示，机器学习固然存在着广泛的社会影响，但人们将他们的政治理念强加在自身的研究上是多么的荒谬。

但这位网友的观点遭到了其他人的反驳，表示物理、数学、逻辑和哲学等其他领域恐怕亦是如此。

对此，你有什么看法？

参考链接：https://www.reddit.com/r/MachineLearning/comments/hiv3vf/d_the_machine_learning_community_has_a_toxicity/

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• 低代码真的是 “行业毒瘤”？
• 给不得不用的毒瘤应用找个好去处，轻量、易用的 Windows 沙盒工具：Sandboxie

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。