GoogleAI负责人JeffDean访谈：2020年机器。

　　GoogleAI负责人JeffDean图片来源：KhariJohnsonVentureBeat
　　在加拿大温哥华举行的神经信息处理系统（NeurIPS）会议上，机器学习成为焦点，13，000名研究人员探索了诸如神经科学，如何解释神经网络输出以及AI如何帮助解决现实世界中的重大问题之类的事物。
　　由于已接受1，400多种作品的出版，必须统筹安排时间。对于GoogleAI负责人JeffDean而言，这意味着在研讨会上进行演讲，讨论机器学习如何帮助应对气候变化带来的威胁以及机器学习如何重塑系统和半导体。VentureBeat周四与Dean谈到了谷歌在使用ML创建机器学习半导体方面的早期工作，谷歌的BERT对会话式AI的影响以及2020年值得关注的机器学习趋势。
　　为简洁明了起见，对本采访进行了编辑。
　　VentureBeat：您将在周六的“通过机器学习应对气候变化”研讨会上进行演讲。您可以在演讲前分享什么吗？
　　杰夫迪恩（JeffDean）：这显然是一个非常广阔的领域，使用机器学习来帮助解决与气候变化相关的话题或减轻某些影响的潜力很大。因此，我们对此感到非常兴奋。我认为Google和整个〔AI〕社区都感到非常兴奋，因为这是一个严重的问题，而且这背后有很多技术问题。就像，我们如何才能将机器学习实际应用于其中一些子问题？
　　VentureBeat：您可以完成〔NeurIPS〕上的工作吗？我的意思是，我想您并未筛选所有项目，但是在Google展示的内容之外，您是否有其他感兴趣的内容？
　　院长：嗯，可能不是所有的项目，但是我们对人们看到的有趣的事情进行了内部讨论。而且我认为，如今机器学习领域整体而言在其研究成果中相当多产，因此很难跟上发展的步伐，但是其中一种方法是对人们认为重要的事情有很多集体意见。
　　我昨天才到，所以我自己的眼睛还没看很多东西，但是我知道其他人对很多其他东西都感兴趣。
　　VentureBeat：我上个月在arXiv上看到了您关于机器学习硬件发展的评论，您将在下个月的ISSCC上进行扩展。您认为在后摩尔定律世界中人们需要牢记哪些事情？
　　迪恩：嗯，我认为已证明非常有效的一件事是芯片的专门化，以执行你想要做的并非完全通用的某些类型的计算，例如通用CPU。因此，我们已经从更严格的计算模型（例如GPU甚至TPU）中受益匪浅，这些模型虽然更为严格，但实际上是根据ML计算需要做的事情设计的。相对于通用CPU，这实际上为你带来了相当多的性能优势。这样一来，你就无法获得我们过去通常会在总体制造过程中获得的大幅增长，从而大大改善了你的年同比增长率。但是我们通过专业化获得了巨大的架构优势。
　　VentureBeat：您还了解了使用机器学习来创建机器学习硬件的知识。您能谈谈更多吗？
　　院长：是的，我星期六要讲的另一个话题是在MLforSystems研讨会上。因此，我要谈论的一件事是〔如何〕我们已经在ASIC芯片设计的机器学习中进行了一些早期工作，特别是布局和布线。因此，你有一个芯片设计，然后有很多晶体管以及它们的连接方式。
　　基本上，目前在设计过程中，你拥有可以帮助进行某些布局的设计工具，但是你却拥有人工布局和布线专家，可以使用这些设计工具进行多次重复的迭代。从想要的设计开始，到实际上将其物理布局在芯片上，并在面积，功率和导线长度方面有适当的限制，并满足所有设计角色或您正在执行的任何制造过程，这是一个数周的过程。
　　事实证明，我们在某些工作中拥有早期证据，可以使用机器学习来进行更多自动化的布局和布线。而且，我们基本上可以拥有一个机器学习模型，该模型可以学习为特定芯片玩ASIC的游戏。
　　VentureBeat：太酷了。
　　院长：是的，我们在尝试的一些内部芯片上都取得了不错的结果。
　　VentureBeat：关于气候变化问题，出现了一件事：我最近与英特尔AI总经理NaveenRao交谈，他提到了〔每瓦〕计算应该成为一个例如标准基准的测试，这里的一些组织者正在谈论人们必须分享他们在此处提交的培训模型的碳足迹的概念。
　　院长：是的，我们对此感到很兴奋，因为我们在Google数据中心培训的所有内容碳足迹为零。因为基本上，我们所有的能源使用都来自可再生能源。所以那太好了。我认为其他人可能不会那么兴奋。
　　VentureBeat：我猜想对大型模型（如XLNet）或此类模型的批评是制造和部署它们所需的能量。我想如果它在Google数据中心中将是碳中和的，但是如果有人使用大型模型，那将是碳中和
　　院长：是的，我认为有一个普遍的观点，即这些大型模型中的一些模型是计算密集型的，并且在能源使用方面相当昂贵。因此，我认为对于社区而言，重要的是要研究可以使用哪些更有效的算法技术，以使我们希望通过更少的计算和更少的能量输入就可以实现特定的模型或结果。
　　我认为诸如多任务学习和转移学习之类的东西实际上是我们可以改善能源使用的相当有效的算法工具，因为您可以训练一个模型，然后对其进行微调，或者针对相对较少的示例进行多任务学习。您想擅长的新任务。这比每次都从头开始要好得多，这几乎是当前的惯例。
　　VentureBeat：我想知道您最感兴趣的事情是确保来自非洲或亚洲的旅行签证有问题的研究人员能够做到这一点，而且组织者之前对此进行了讨论。但我正在与本周早些时候仍无法到达这里的人交谈，他建议在开放边界类型的国家中至少召开一次主要会议（如ICML或CVPR）的想法，与获得签证有关。您对该想法有何看法？
　　院长：我认为我们确实希望更多的人可以参加这些会议。我认为有时会出现问题无论您在哪里召开会议，总是会有一些限制。例如，有时在美国学习的学生很难离开美国参加会议。因此，如果将它放在美国以外的特定地方，有时会带来麻烦。
　　不同的国家地区有不同的政策，但我认为让大型会议在举行会议的地方轮流召开是一件很明智的事情，因此并非每个人都面临着来自同一地点的相同签证问题。而且，我认为〔我们需要〕帮助政府了解科学交流为何如此重要以及为什么他们愿意让人们参加科学会议一周或其他时间。
　　VentureBeat：对于BERT来说，这是重要的一年。到处都是BERT，以及各种BERT。人们接下来应该看到的BERT会有哪些变化，或者即将出现？
　　院长：BERT之所以有趣，是因为它建立在其他研究成果不断发展的基础上。因此，BERT的种类取决于一年前完成的Transformer工作。变压器工作确实是在解决与基于LSTM的早期序列模型相同的问题。而且，我认为整个研究线程在实际产生机器学习模型方面非常富有成果，〔现在〕完成的机器学习模型比过去更复杂。对在一堆文本（任意文本）上进行预训练的BERT的微调，然后对你关心的特定NLP任务进行微调，对于许多我们希望能够解决的NLP问题来说，这是一个很好的范例。因此，在Google内部，我们正在研究产品中许多不同类型的应用程序。你知道我们只是在搜索堆栈中推出一些内容以提高搜索质量。
　　我想你也在更广泛的社区中也看到了这一点。我们仍然希望能够执行更多上下文相关的模型。像现在这样，BERT和其他模型可以很好地处理数百个单词，但不能作为上下文的10，000个单词。因此，这是一个〔有趣的方向〕。我认为多模式模型非常有趣例如你可以通过有趣的方式将文本与图像，音频或视频相结合吗？我们已经做了一些工作，社区的其他成员也做了一些工作，但是我认为这在将来将变得越来越重要。而且我敢肯定，人们会发现BERT所采用的基本方法有所改进。我们有一些小的甚至是重大的改进。
　　因此，基础研究的重点将继续。无论是在Google内部还是外部，使用我们现在知道如何做的事情将继续是一组很好的应用程序。我们很兴奋。
　　VentureBeat：是的，我遵循了很多类似的MTDNN，RoBERTta。
　　院长：是的，每个人的名字都很可爱。很难让它们保持笔直并确切地记住这里或那里的皱纹。我确实认为，在社区中有点过分强调要在某些问题上取得略微更好的最新技术成果，而对于完全不同的问题解决方法却有点不了解也许没有得到最先进的技术，因为它实际上是非常困难的，并且是一个非常漂亮的探索区域。
　　VentureBeat：喜欢稳健性吗？
　　院长：是的，或者就像“解决我们认为重要的问题并表现出希望的完全不同的方法是什么？”然后，如果人们遵循了这些粗糙的方向，那将很有趣。
　　VentureBeat：不是试图登上GLUE排行榜的榜首？
　　院长：是的。
　　VentureBeat：您觉得来年Google面临哪些技术或道德挑战？
　　院长：就AI或ML而言，我们已经完成了一个相当合理的工作，以建立一个流程，通过该流程，我们可以了解如何在与AI原理相一致的不同产品应用和领域中使用机器学习。该过程已经得到了更好的调整，并通过模型卡之类的东西进行了润色。我真的很高兴看到这些事情。因此，我认为这些很好，并象征着我们作为社区应该做的事情。
　　然后，我认为在许多原则领域中，存在真正的开放研究方向。就像，我们有一种最公知的实践，可以帮助我们解决公平和偏见以及机器学习模型或安全性或隐私问题。但是，这些绝不是解决的问题，因此我们需要继续在这些领域中进行长期研究，以提高技术水平，同时我们目前将最著名的最新技术应用于我们的工作中。应用的设置。
　　VentureBeat：您预计会出现哪些趋势，或者您认为在2020年AI可能会超越哪些里程碑？
　　迪恩：我认为我们将看到比以前解决的更大的多任务学习和多模式学习。我认为那会很有趣。而且我认为，将有一种持续的趋势，那就是使更有趣的设备上模型（或诸如电话之类的消费类设备）更有效地工作。
　　我认为与AI相关的原理相关工作显然很重要。我们是一个足够大的研究机构，实际上我们正在做许多不同的工作，因此很难一一列举。但我认为，总的来说，我们将〔发展〕最先进的技术，进行基础研究，以提高我们正在关注的许多重要领域的能力，例如NLP或语言模型或视觉或多模式事物。但同时，还要与我们的同事和产品团队合作，进行一些准备用于产品应用的研究，以使他们能够构建有趣的功能和产品。〔我们将〕做一些Google目前没有产品的新事物，但它们是ML的有趣应用，例如我们一直在进行的芯片设计工作。
　　VentureBeat：喜欢日常的机器人吗？
　　院长：是的，我们进行了大量的机器人研究工作。我认为机器人技术是一个非常棘手的问题，要使机器人能够在任意环境中运行，例如一个有椅子和东西的大会议室。但是，你知道，最近几年我们进行了大量的研究工作，并且在这方面也取得了相当大的进步，我认为这也是一个有趣的研究方向。