如何做好论文评审工作?CVPR 2019程序委员会有话说

栏目: 编程工具 · 发布时间: 5年前

内容简介:地址:https://www.dropbox.com/s/725p60wcajbb8xh/How%20to%20Review%20for%20CVPR.pptx该教程主要介绍了:因为评审任务都指望评审人呀!首先领域主席(Area Chair)在论文接收或拒绝决策上需要有合适的准则,因此他们需要根据评审人的反馈做适当的调整。其次每一个论文作者需要公平对待,每一条有建设性的反馈都需要认真对待,这些都需要依赖于评审人的工作。最后,研究社区希望确保每一篇接收论文都能做出特定的贡献,因此评审人是新思想的守门者。

地址:https://www.dropbox.com/s/725p60wcajbb8xh/How%20to%20Review%20for%20CVPR.pptx

该教程主要介绍了:

  • 为什么评审人的工作如此重要

  • 论文决策流程

  • 如何写好论文评审,以及正反例

  • 给评审人的小贴士

为什么评审人的工作如此重要?

因为评审任务都指望评审人呀!首先领域主席(Area Chair)在论文接收或拒绝决策上需要有合适的准则,因此他们需要根据评审人的反馈做适当的调整。其次每一个论文作者需要公平对待,每一条有建设性的反馈都需要认真对待,这些都需要依赖于评审人的工作。最后,研究社区希望确保每一篇接收论文都能做出特定的贡献,因此评审人是新思想的守门者。

如何做好论文评审工作?CVPR 2019程序委员会有话说

那么如何写好论文评审呢?

  • 了解论文决策流程;

  • 学习好的评审意见的结构;

  • 努力理解每一篇论文、相关文献,然后写出清晰的评审意见。

论文决策流程

首先,我们来看论文决策流程(此处应指 CVPR 的流程),如下图所示:

如何做好论文评审工作?CVPR 2019程序委员会有话说

具体来说:

  1. 程序委员会主席(PC)将论文分配给领域主席(AC),通常给每位领域主席约分配 35 篇论文。

  2. 领域主席为每篇论文指定大约 8 名评审人员。

  3. 使用优化算法将论文分配给评审人员(每篇论文 3 名评审),该分配考虑到领域主席的建议、冲突约束等因素。

  4. 评审人提交初始评审结果,通常每人评审 6-12 篇论文。

  5. AC 和 PC 检查评审是否完整、是否存在明显疏漏。

  6. 作者拿到评审结果(几家欢喜几家愁……),对论文和评审结果进行思考和阅读,然后提交反驳信(rebuttal)。

  7. 评审人和 AC 基于论文、所有评审意见和 rebuttal 进行讨论。评审人更新评分和理由。

  8. AC 做出初步决策(通常是易于决策的论文,比如所有评审全都接收或拒绝的论文)。

  9. 领域主席会议上完成 所有论文接收和拒绝决策。AC 需要在更大谈论组进行检验,且该小组内不能有冲突。

  10. PC 最终决定 poster/spotlight/oral 论文,主要基于 AC 的推荐,但也要考虑时间约束、空间约束和主题多样性。

如何写好论文评审

  • Summary:解释论文的主要想法、贡献及意义,即对论文的摘要总结。该总结将帮助领域主席了解你的评审意见的其他内容,并确保你作为评审人员确实读懂了论文。

  • Strengths:描述论文的价值所在,比如经过实验验证的有趣想法、对相关研究的新颖组织、新 工具 、优秀的结果。最重要的是,对该论文主题感兴趣的人能从中学到什么。

  • Weaknesses:描述论文的缺陷,比如缺少受控实验来验证结论、出现误导性的论断或技术错误、阅读论文能否帮助读者理解(及完美复现)方法和实验设置。

  • Rating and Justification:谨慎解释该论文被接收或拒绝的原因,这部分应该明确你认为最显著的优缺点。

以下评审示例是 ICLR 的已公开评审结果。ICLR 的评审意见是一个整体,CVPR 是分成若干部分,形式虽然不同,但评审标准一致。

我们着重看一下这些示例的形式,而不是内容的准确度。(内容的准确度当然很重要,不过需要更强的专业知识和时间来分析。)

如何做好论文评审工作?CVPR 2019程序委员会有话说

该评审意见质量不错。虽然缺少了对论文贡献的总结,但该评审意见明确解释了论文的接收原因。

  • 首先评论明确地解释了论文的接收原因,这是一个加分项。

  • Review 部分的第一段是减分项,没有总结论文的贡献或新颖之处。

  • Review 部分的第二段是加分项,表明评审人尝试思考论文的缺点,提出了对作者有用的反馈。

如何做好论文评审工作?CVPR 2019程序委员会有话说

该评审意见的质量:尚可。解释了该论文决策的原因,提供了详细的反馈,但没有充分解释论文的优缺点。

  • Summary 部分强调了论文的主要想法和贡献,但没有涉及实验设置和论文贡献的意义。

  • 优缺点部分分条写出了论文的优缺点,但没有提供足够的细节,如论文的原创点、评估的缺陷等。

  • Evaluation 部分是加分项,提出了澄清问题的建设性反馈意见。

  • Minor Points 部分是加分项,明确了这部分内容不是论文决策的重要影响因素。

  • Final remarks 部分写明了评分的关键积极因素,缺点是没有解释缺点对评分影响不大的原因。

如何做好论文评审工作?CVPR 2019程序委员会有话说

该评审意见的质量:很差。只列出了缺点和澄清问题,但没有论文内容总结和决策判断。因此,该评审对作者或领域主席来说都是不明确的,因为缺少主要的评分依据。

  • 评审的第一点优点是指明了论文哪些部分使这篇论文「不够新颖」。缺点是没有说明这些方法的相关性,因此不明确这些技术是否类似。

  • 第二点的内容不够清晰,是因为该贡献没有被实验证明,还是收敛速度不同。

  • 其余几点可能有助于作者改进论文,但是没有明确指出它们是否是评分的重要影响因素。

该评审的主要问题在于:

  • 领域主席在不读论文的情况下无法有效利用该评审,因为该评审没有总结/判断。

  • 没有列出优点,这可能表明评审人只是找理由拒绝接收该论文。

  • 作者和领域主席不知道列出的哪些点是拒绝接收该论文的重要影响因素。

给评审人的小贴士

领域主席是你的主要观众。确保评审意见完整,明确阐述你的观点和评分。好的评审意见应该用没读过原论文的人也能明白的方式介绍论文的主要想法和优缺点。

花时间做好评审工作。很多有经验的评审人一篇论文只用 2-4 个小时。如果你初次接触评审工作(比如你还是研究生),至少每篇论文花上 4 个小时,用这些时间读两遍论文、思考相关研究、查找不熟悉的技术等。

意识到自己的偏见。我们都倾向于把与自己的研究方向相关的论文给高分。尝试忽略「主题的有趣性」,关注论文能够带给感兴趣的读者哪些新东西。


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

代码之髓

代码之髓

[日] 西尾泰和 / 曾一鸣 / 人民邮电出版社 / 2014-8 / 45.00元

《代码之髓:编程语言核心概念》作者从编程语言设计的角度出发,围绕语言中共通或特有的核心概念,通过语言演变过程中的纵向比较和在多门语言中的横向比较,清晰地呈现了程序设计语言中函数、类型、作用域、类、继承等核心知识。本书旨在帮助读者更好地理解各种概念是因何而起,并在此基础上更好地判断为何使用、何时使用及怎样使用。同时,在阅读本书后,读者对今后不断出现的新概念的理解能力也将得到提升。 《代码之髓:......一起来看看 《代码之髓》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

SHA 加密
SHA 加密

SHA 加密工具