负起责任、审慎对待论文创新和性能指数，ACM Fellow罗杰波教授分享他的审稿经验

如何客观地审阅 AI 领域的论文，以及如何确保审阅出来的论文足够公正并使论文作者没有异议呢？对于这个话题，每个研究者想必都有自己的理念和方法。

在近期举办的视觉与学习青年学者研讨会（VALSE Webinar）上，IEEE 多媒体汇刊 TMM 总编、CVPR 2012 程序委员会主席、美国罗切斯特大学计算机科学系教授罗杰波分享了《如何做一个 AI 领域审稿人》的主题报告。

机器之心对此报告的主要内容进行了整理。

首先，罗杰波教授分析了当前学术会议在审稿方面的一些普遍现象，表现在三个方面：

首先，AI 领域目前正在爆炸性地发展，许多会议的论文提交量都接近一万篇，因此需要大量的审稿人。如果一个会议有 7000 篇提交论文，每篇论文需要写 3 个 reviews，假设每个审稿人平均能够写 7 个 reviews，那么将需要 3000 个审稿人。

其次，在审稿人需求量剧增的形势下，许多新的经验不足的审稿人就加入到这个行列中，包括博士生、硕士生、本科生以及其他领域的研究人员。这也造成了一些问题，比如审稿人缺乏系统的训练，往往都是从个人经验中进行 “无监督学习”，而个人经验（往往是不愉快的论文被拒的经验）与优秀的系统经验相差甚远。

最后，有些研究者对好的 reviews 印象不深，对不好的 reviews 却耿耿于怀且如法炮制。这就造成了社区中公认的一个问题：冤冤相报何时了。而一个领域的健康发展在很大程度上都依赖于高质量的同行评审。

针对学术会议存在的这些审稿问题，罗杰波教授首先列出了一些有经验的研究者，并介绍了他们对于 review 质量的见解。同时，罗杰波教授也给出了他对提高评审质量的建议，包括以下六个方面：

• 己所不欲，勿施于人。

• 社区是由每一个人组成的。

• 寻找接收论文的理由。

• 论文写作是很重要的。

• 审稿的首要目标是好论文被顶级会议 / 期刊接收。

• 如果你不熟悉该领域要怎么办。

接下来，我们具体来看这几方面内容。

审稿人应负起责任，维护社区学术环境

罗杰波教授强调了社区的重要作用，指出审稿人应该遵循的一些理念。

我们都需要保护而不是破坏社区的学术环境，因为每个人都身在其中。你如何对待别人，别人就会如何对待你。维护良好的社区氛围需要每一位成员的共同努力。对于审稿人来说，要及时回复。迟交或不交的 review 会伤害所有参与的人，当然也包括你自己（因为别人也会如此对待你的论文）。

另外，审稿人要负起责任。如果时间和精力允许，资深研究人员应该审查学生做的 reviews。

就论文本身而言，审稿人应做到以下两个方面：

其一，不要强迫投稿者引用你自己的论文（如果无关的话）。请勿遗漏重要的引用资料（不夹带私货，但也要杜绝恶意不引用），还要指出抄袭 / 重复提交的情况。

其二，不要强迫作者引用未发表的论文（比如 arXiv），这是因为未发表的论文没有经过同行评审。另外未发表的论文中可能包含一些错误和虚假的信息（有些可能是恶意的， 比如占坑或误导）。

审稿人应坚持哪些原则？

罗杰波教授分析了审稿人在审稿过程中应秉持的 7 大原则，只要这样才能力求审稿的客观公正。

首先，准时提交审稿意见，这是审稿人所应具备的基本素养。迟交在期刊更为严重（会议有审稿 deadline）。然后在审稿过程中，一定要花费足够的时间来理解论文。对于没有充分阅读并理解论文即给出评审意见的审稿人，想必投稿人会疯吧。还有，提出的评审意见要有建设性。

另外，审稿时要着眼于论文整体思路和创新之处，不要以一些细枝末节、无关紧要的借口来拒稿。更不要轻易地下结论，武断地称论文缺乏 / 没有创新之处，或者实验不充分。

最后，不要强迫投稿人做大量的新实验。还有值得关注的一点是，审稿人要保持开放的学术态度，听取其他审稿人的意见，认真对待作者花了大量心血的 rebuttal。

审慎对待论文创新、性能

接着，罗杰波教授指出，审稿人通常基于以下几个方面来决定是否接收论文：论文是否有创新、性能如何、论文新颖的同时是否存在缺陷、论文的实际效用等。但是，这些标准本身是否必须遵循，能不能有所变通呢？他就这些问题展开了具体分析。

正确对待论文的创新

罗教授首先抛出了一个问题：论文的创新是否一定成为接收或拒稿的唯一标准？

他表示，「审稿人当然不想看到一味重复、毫无创新点的论文，但需记住：很少有论文是真正、完全创新的。」有些好论文要么是计算机视觉领域框架创新（比如 MRF， Alex net， GAN），要么是算法创新或其他科研领域的思路、方法迁移（比如 ResNet）。此外，还有些好论文是将已知方法的巧妙工程实现（比如 SIFT， VGG），以及已知技术的全新应用等。

所以，正确意义上的创新按降序应包括：其他研究者未曾提过的新问题、已知问题的新的技术解决方案、更好的分析和理解、以及更佳的实验结果等。

罗杰波教授列举出了他所理解的论文创新的等级，指出在计算机视觉文献中，基于已知组件进行别出心裁的工程应用本身就很少见了，重大的扩展、算法的创新以及计算机视觉领域的新概念就更加罕见了，那么对世界上所有人来说都是全新的概念就从来没有出现过了。

相反，计算机视觉文献中频繁出现的只是有用的小更新、新任务的应用、以及原有方法的改进和相关评估基准的建立等。

所以，审稿人在给评审意见时，最好不要轻易地以「创新不足」为由拒稿。

不要痴迷于性能

除了要审慎对待论文的创新之外，罗杰波教授还分析了论文种的性能问题。他表示，「任务新事物的出现都不是完善的，可能并没有达到别人的标准，但也许用了更少的样本，计算的速度或许比别人快，所以虽然现在没有达到 SOTA，并不代表以后不会。」一只没见过的小鸟，初展幼翼， 安知将来会飞多高远？

他认为，如果论文本身具备创新点，那么就不要过度地纠结性能。

一方面，仅仅性能良好并不能代表该论文就具备创新之处。性能表现良好或许只是因为采用了一种新方法，或者投入的工程量或数据量大，亦或者是因为过拟合。

另一方面，注意对增量扩展（incremental extension）的偏见。已知技术的整合并非总是显而易见的， 往往需要解决一些技术关键。

顶级会议 / 期刊的作用

顶级会议 / 期刊应该发挥去粕取精的作用，确保优秀的论文能够被发表。千里马常有，而伯乐不常有。当论文的研究内容非常重要或者非常优秀时，审稿人一定要慧眼识珠，选出应发表的优秀论文。而一些糟糕的论文 “水货”，即使发表也不会得到称赞，会渐渐流失， 不必太在意。

此外，罗教授指出时间才是检验好论文的唯一标准，oral 论文未必比 poster 论文更好。目前已经有很多学术会议设立了时间检验奖。获得时间检验奖的论文或许才应该是最佳论文（反之不一定）。作为一个优秀的审稿人，应该发掘出有潜力的论文，让时间进一步检验论文的质量。

不同级别的学术会议 / 期刊等的标准自然也是不同的，审稿人也应该了解各个学术会议的级别，以确定审查论文的标准。

如果对论文涉及的领域不是很了解怎么办

首先要保持开放的思维。当你对一个领域比较陌生时，恰恰是个学习新知识的好机会。你可能需要学习该领域的相关知识，有时还会收获意外的启发。何乐而不为呢？同时要尽最大努力研读该论文，需要时可以查阅相关引用资料。

要注意的是：不要被个人喜好所影响，例如有些研究者在数据驱动和模型驱动二者之间有所偏好，这可能会影响你对论文的判断。一定要仔细研究论文本身，考虑其是否值得在社区中推广。

还要意识到你作为一个非该领域专家的评价是非常重要的。在任何涉及利益冲突的情况下，都是当局者迷，旁观者清。而作为非该领域审稿人的你，应该是最公平的，比基于论文匹配算法选出的审稿人更能保持公平公正（因为匹配算法选出的审稿人常常非友即敌， 都是 conflict of interest）。

最后，罗杰波教授给审稿人提供了一个 review 流程图。审稿人可以遵循下图中的流程来提高审稿质量。

在问答阶段，罗杰波教授回答了一个审稿中切实的问题：如何对待数据或代码不能开源的论文？开源带来了领域的高速发展， 这毋庸置疑。以至于很多人认为开源天经地义，否则就是罪过。但是有的情况下，数据集不能公开（医疗，隐私等等原因），这是情有可原的。有时代码也有某种原因不能（马上）公开（比如涉及公司产品）。审稿人不能一概而论， 一概抹杀。审稿人有责任根据对论文的理解做出判断。毕竟我们的研究成果是思路方法，不是代码！复现别人算法也是一个研究者份内工作。很多初入领域的人动不动就索要别人代码，甚至在别人论文正式发表之前。这都是对别人的工作和知识产权不尊重的表现。已经有一些学术不端的案例， 把别人的代码数据拿去之后，稍加改动抢先发表。