论文被拒，LeCun喊冤？我虽大肆宣传，但不影响双盲审公正

　　来源：网络
　　编辑：好困小咸鱼【新智元导读】LeCun最近在推特上表示，他的一篇文章已被NeurIPS2021拒绝，但他依然非常自豪：问题不在于NeurIPS，而在于新兴领域顶会的筛选做法。尽管LeCun表达了他对双盲评审的认可，关于双盲评审是否是一件好事的讨论仍在继续。
　　要说最近什么话题热度高，那肯定少不了图灵奖得主YannAndreLeCun的文章被NeurIPS2021拒稿了。
　　在论文上传到arXiv之后，LeCun便去Twitter和Facebook做了宣传，在拒稿之后更是Twitter、Facebook、LinkedIn齐发。LeCun表示，因为是双盲的原因，所以审稿人并不知道论文的作者。
　　当然了，网友们对这个说法似乎并不买账。
　　Twitter
　　Facebook
　　Linkedin
　　这篇题为：VICReg：VarianceInvarianceCovarianceRegularizationforSelfSupervisedLearning的论文，自5月以来已收到12次引用。
　　https：arxiv。orgpdf2105。04906。pdf
　　NeurIPS给出的拒稿理由是VICReg与发表在ICML2021上的BarlowTwins差异不大。
　　https：arxiv。orgpdf2103。03230。pdf
　　然而LeCun认为，相比而言，VICReg引入了方差正则化，使其可以适用于更广泛的架构。
　　不过，VICReg精心设计的3项损失函数中，除了方差项是创新以外，不变项是经典约束项，协方差项则借鉴了自己之前的论文BarlowTwins。
　　众所周知，YannLeCun是纽约大学Courant数学科学研究所的教授，也是Facebook的副总裁、首席人工智能科学家，美国国家科学和工程院以及国家工程院的成员。
　　作为公认的卷积网络（CNN）之父，LeCun在人工智能、机器学习、深度学习、计算机视觉、智能数据分析、数据挖掘、数据压缩和机器人等方面具有着丰富的学术和工业经验。
　　此外，LeCun也是DjVu图像压缩技术和Lush编程语言的共同创造者。
　　自然，这样一位人物的论文被拒确实有些出乎意料，也让学术界和人工智能领域的不少人感到震惊。
　　双盲的胜利？
　　对于LeCun被拒稿，有网友表示不解：考虑到YannLeCun在AI界的成就，NeurIPS2021的审稿人有可能拒绝LeCun教授写的论文吗？
　　LeCun则表示：这些年我有许多论文都被NeurIPS拒了。NeurIPS的评审是以双盲的方式进行的，这意味着评审员不知道作者的身份。这是件好事，一篇论文不应该仅仅因为其中一位作者的名气而被接受。此外，对于写论文的学生来说，接受审稿人的意见是非常有益的。不过，在被拒绝的文章中，有一些是我认为非常好、非常吸引人的，例如这一篇。
　　虽然NeurIPS采用双盲审的机制，但是网友犀利地指出，LeCun发的这条推文得到了很多人的点赞和转发。在此声称这是一个适当的双盲审过程实在有点牵强。
　　双盲同行评审，即作者和审稿人双方都保持匿名，只有编辑才知道各方的身份。
　　但如果通过媒体大肆宣扬你的工作，那就让盲审失去了本来的意义！
　　为啥呢？如果你作为评审人接触到了一个拥有大量追随者和资源，并同时进行社交媒体推广的作者的作品，你会不由自主被影响那么多人觉得这是一个好工作，这应该不会太差吧，这样一来，对追随者较少或不参加此类社交推广活动的作者自然是不公平。
　　今年的CVPR2021的PAMITC会议上提出了一条动议，主要内容是：
　　在审查期间，禁止在社交媒体上宣传论文。被排除在这一禁令之外的是arXiv自动发布的新预印本。
　　LeCun立刻就提出了反对：限制交流会阻碍学术进步，而且违背道德规范。CVPR的这项新政策疯了！
　　那么这次LeCun的论文被拒稿，到底是不是评审人成功地遵守了双盲的原则呢？
　　最近正好有一篇由谷歌和剑桥大学的研究人员撰写的关于NeurIPS2014同行评审结果的研究。
　　https：arxiv。orgpdf2109。09774。pdf
　　论文重新审视了2014年的NeurIPS，结果表明评审员质量分数的变化有50是主观因素造成的。
　　作者发现在过去的七年中，对于被接受的论文来说，质量分数和论文的影响力之间没有任何关联；而对于被拒绝的论文来说，二者之间则存在关联。
　　简而言之，从NeurIPS2014的结果来看，会议的评审过程有利于差论文的识别，但不利于发现好论文。
　　LeCun对此表示，问题不在于NeurIPS，而是在高速成长的领域中，有高选择标准的会议的审查习惯所带来的的一个普遍问题。
　　于是，问题似乎又回到了原点。一边是在社交媒体大肆宣传自己的论文，一边是难以判断优质论文的主观评审。
　　引用多！好论文
　　LeCun的推特下有人评论道：即使这篇论文被拒，但这篇论文也因为YannLeCun论文被拒这一消息得到了比大多数NeurlPS论文都要多的关注机会。
　　LeCun认为这篇文章是值得阅读的，因为它已经得到了比大多数NeurlPS论文都多的引用次数。
　　针对引用次数是否能代表论文质量这一问题，Reddit的网友也展开了激烈的讨论，有博主认为一篇文章已经被引用了12次，然而在得到官方发表的时候还是十分艰难，这说明传统的会议和发表流程周期实在太长了，这个非常值得关注的问题。
　　但是反驳的声音并不少：
　　质量不高的论文引用数比高质量论文多这种事也经常发生，倒不是说LeCun这篇不行，只是12次引用这种东西其实并不能说明太多问题。
　　在一个新论文层出不穷的领域，你觉得作者在引用他人文章前会把这篇文章好好看再细细品吗？当然不会。
　　LeCun可能产出垃圾文章但是收获一堆引用，如果一个无名小卒的论文得到了很多引用，却没有发表机会，这就完全是另一码事了。
　　原博主认同引用数和论文质量不挂钩，他想强调的是实际研究进展是比论文发表要快的，所以出版和审查系统需要改进，不能总是让论文在发表前被引用这种事发生。
　　下方的回答也指出了引用未审阅的工作是真正的问题，但仍然坚持尽管审阅发表的流程是挺慢的，但是审阅的过程是无可替代的。
　　论文概述
　　VICReg是一种非常简单有效的联合嵌入体系结构（JointEmbeddingArchitectures，JEA）自监督训练图像表征学习方法，它将问题分解为三个不同的原则：用不变项学习对不同视图的不变性，用方差正则项避免表征的崩溃，用协方差正则项将信息分散到表征的不同维度。
　　联合嵌入体系结构（JEA）由2个可训练模型Gx（x）和Gx（x）组成，用成对的兼容输入（x，x）训练。例如：x和x是同一个图像的变形版本。
　　该工作解决的主要问题是模型训练时的崩溃，VICReg是为联合嵌入体系结构（JEA）精心设计的损失函数，由3项组成：
　　方差项：采用铰链损失，以维持Gx（x）和Gx（x）的每个组成部分的标准偏差维持在一个边界以上，这是该论文的创新之处。不变项：即Gx（x）Gx（x）2，这是经典的约束项。协方差项：即Gx（x）和Gx（x）的协方差矩阵的偏离项的平方和，此项借鉴了BarlowTwins中的思想。
　　在几个下游任务中，VICReg获得了与最新技术水平相当的结果，扩展了非对照性自监督学习的前沿。
　　每个处理批次的协方差矩阵的计算决定了VICReg的计算和内存成本，而协方差矩阵的计算在投影向量的维度上是二次方的。实验表明，提高投影的维度可以显著提高性能，这表明需要有不依赖协方差矩阵的全部计算的替代性冗余减少方法。
　　VICReg使用线性分类器头在ImageNet上，在低数据状态下的半监督ImageNet上，还有在下游任务的迁移学习上，都取得了有竞争力的结果。
　　当与SimSiam等方法一起使用时，方差铰链项可以防止崩溃，还可以减少对批处理范数或预测器的需求。
　　在ImageNet上的评估结果
　　在下游任务上的迁移学习结果
　　在不同架构中加入方差和协方差正则化的效果
　　总结下来，VICReg的主要特点为：采用简单的方差铰链损失，很好地控制模型训练时的崩溃（见PyTorch伪代码）不需要批标准化或通道标准化（尽管这有点帮助）两个分支之间无需共享权重（尽管在实验中权重是共享的）不需要平均移动权重、梯度停止、预测器、负样本挖掘，存储体，最近邻和种种量化蒸馏手段
　　参考资料：
　　analyticsindiamag。comyannlecunpaperrejected
　　arxiv。orgpdf2105。04906。pdf
　　arxiv。orgpdf2109。09774。pdf
　　facebook。comstory。php？storyfbid10157921242067143id722677142
　　linkedin。compostsyannlecun0b999yannlecunactivity6850419687931592704tWKo
　　reddit。comrcomputersciencecommentsq0j4vhyannlecunspapergetsrejectedfromneurips2021hf8nvvv
　　twitter。comylecunstatus1392493077999325191
　　twitter。comylecunstatus1409393630310248452
　　twitter。comylecunstatus1443133393986748421
　　zhuanlan。zhihu。comp385382149