ChatGPT封杀潮，AI顶会特意改规则，LeCun要不咱把

　　机器之心报道
　　编辑：陈萍、小舟
　　狂欢之后，事情的走向开始进入封杀这一过程。
　　要问近段时间AI界最出圈的模型是哪个，十人中得有九个人会投ChatGPT一票，没办法，这个模型实在是太火，只因它会的东西太多了。很多人形容它是一个真正的六边形战士：不仅能拿来聊天、搜索、做翻译，还能写故事、写代码、debug，甚至开发小游戏、参加美国高考有人戏称，从此以后人工智能模型只有两类ChatGPT和其他。
　　一方面ChatGPT能力过于惊艳深受大众喜欢，另一方面，也是麻烦事不断，遭到不同机构的封禁。前段时间就有StackOverflow封禁ChatGPT的消息满天飞，原因无他，官方表示暂时封禁ChatGPT是因为它生成的答案正确率太低，发布由ChatGPT创建的答案对网站和查询正确答案的用户来说是非常有害的。
　　这一次风波过去没多久，顶级人工智能会议也开始禁止使用ChatGPT和AI工具撰写的学术论文。具体是怎么回事，我们往下看。
　　ICML禁止使用大型语言模型写论文
　　前几天，国际机器学习会议ICML宣布：禁止征稿使用大型语言模型（LLM，如ChatGPT）生成的论文，除非生成的文本是作为论文实验分析的一部分呈现。
　　文件地址：https：icml。ccConferences2023llmpolicy
　　根据ICML的说法，ChatGPT等这类语言模型虽然代表了一种未来发展趋势，但随之而来的是一些意想不到的后果以及难以解决的问题。ICML表示，ChatGPT接受公共数据的训练，这些数据通常是在未经同意的情况下收集的，出了问题谁负责。
　　还有就是作者身份问题，是谁写的论文：机器还是人类？考虑到ICML仅禁止AI完全生成的文本，这一点尤为重要。会议组织者表示，他们并不禁止使用ChatGPT等工具编辑或润色作者撰写的文本，并指出许多作者已经使用语法校正软件Grammarly等半自动编辑工具来润色文章。
　　不过此消息一出，在社交媒体上还是引发了一次大讨论，YannLeCun转发并评论道：大型语言模型不能用，那么中型和小型语言模型是不是还可以用。
　　微软研究院ML基础团队的负责人SebastianBubeck则称该规则是目光短浅，并在推特上写道：ChatGPT及其变体是未来技术发展的一部分。禁止绝对不是最优的答案。
　　ICML表示，明年将重新评估对AI生成文本的禁令。
　　一直以来，人们对人工智能生成文本的有害影响都有不同的担忧。最常见的问题之一是这些系统的输出结果根本不可靠。
　　人工智能模型经过训练可以预测任何给定句子中的下一个单词，但它们没有硬编码的事实数据库可供借鉴，因此模型的生成结果经常出现似是而非的情况。很多时候，生成的语句符合语法逻辑，却不符合客观现实。
　　还有一个问题也非常棘手我们难以区分文本是由AI润色编辑的，还是完全由AI生成的。这个问题对于论文来说就非常严重，如果作者用AI模型基于论文生成简洁的摘要，这算是编辑文本还是从头生成文本？
　　当然，使用ChatGPT这样的AI工具并非只有弊端。例如在同行评审中，流畅的英文表达往往会收获更高的评价，AI模型就可以帮助非英语母语的论文作者生成更流畅的英文文本。这将为研究人员节省时间，并为学术领域创造更公平的竞争环境。
　　但需要注意的是，ChatGPT是大型语言模型（LLM），和Grammarly等简单的语法校正软件有很大的区别。LLM本身的主要功能也不是调整已编写文本的结构和语言，而是生成一些新的文本。
　　实际上，几乎不会有论文作者会真的使用AI语言模型来生成学术论文。因为学术论文的要求是非常严谨的，一般在发表前作者都会反复核对论文内容。如果使用AI生成的论文出现错误，所有署名的论文作者的声誉都会受到严重影响，关系到论文作者的整个职业生涯。
　　从论文评审的角度讲，人们需要一个快速有效的检测工具，以分辨一篇文章是AI生成的还是人工撰写的。近期就有开发者发布了一个名为GPTZero的新应用程序，具备这种检测功能。
　　GPTZero是由普林斯顿大学计算机科学专业学生EdwardTian开发的，其中使用两种不同的指标来评估文本是否由AI模型编写：困惑度（perplexity）和突发性（burstiness）。这可能就是用模型打败模型吧。
　　纽约市学校禁止访问ChatGPT
　　几乎同一时间，ChatGPT遭到学校的封禁。由于担心AI工具会破坏教育，纽约市教育部已经在其网络和设备上阻止对ChatGPT的访问。
　　该部门的发言人JennaLyle表示：此条禁令主要是担心ChatGPT对学生的学习产生潜在负面影响，以及对ChatGPT生成内容的安全性和准确性有所担忧。虽然该工具可以提供快速简单的答案，但它无法培养批判性思维和解决问题的能力，而这对于学生的学业和终身成功至关重要。
　　除此以外，ChatGPT也存在其他语言模型所存在的问题。因为其训练数据来自互联网，所以它经常在答案中重复和放大性别歧视和种族偏见等。这类语言模型还倾向于编造信息，从历史日期到科学规律，但别人一般发现不了它在胡编乱造。
　　正是这些事实性错误，让教育工作者特别担心这个工具。许多老师表示，像ChatGPT这样的软件基本上不可能起到测试学生写论文的能力。如果ChatGPT可以在几秒钟内帮助学生完成写作，他们就不愿花心思去写了。
　　然而，另一些人认为，教育系统将不得不适应这种技术的出现就像它适应早期的颠覆性技术，如谷歌搜索和维基百科一样。但大家对ChatGPT适应，显然还需要点时间。
　　无论是人为制定和执行文本编写规范，还是使用一些方法分辨文本是否为AI生成，都说明人们意识到急需规范ChatGPT等文本生成模型的使用。ChatGPT的使用场景和价值仍有待定义。