5年后AI所需算力超100万倍！智能计算的最新进展挑战和未来

　　点击上方蓝字，关注我们吧！
　　【导读】AI模型所需算力每100天就要翻一倍，远超摩尔定律的1824个月，智能计算能破局这种算力困境吗？
　　编辑：Chris
　　正文5380字，1015分钟
　　人工智能就是一个拼财力的行业，如果没有高性能计算设备，别说开发基础模型，就连微调模型都做不到。
　　但如果只靠拼硬件，单靠当前计算性能的发展速度，迟早有一天无法满足日益膨胀的需求，所以还需要配套的软件来协调统筹计算能力，这时候就需要用到智能计算技术。
　　最近，来自之江实验室、中国工程院、国防科技大学、浙江大学等多达十二个国内外研究机构共同发表了一篇论文，首次对智能计算领域进行了全面的调研，涵盖了理论基础、智能与计算的技术融合、重要应用、挑战和未来前景。
　　论文链接：https：spj。science。orgdoi10。34133icomputing。0006
　　这也是第一篇正式提出智能计算的定义及其统一理论框架的评论文章。
　　全文结构如下：
　　01AI开启大规模算力时代
　　人类社会正在从信息社会进入智能社会，计算已经成为规范和推动社会发展的关键因素。在万物互联的数字文明新时代，传统的数据计算远远不能满足人类对更高智能水平的日益增长的需求。
　　人们对智能计算的兴趣日益浓厚，加上计算科学的发展，对物理世界的智能感知，以及对人类意识认知机制的理解，共同提升了计算的智能水平，加速了知识的发现和创造。
　　近年来，计算和信息技术快速发展，由于深度学习的空前普及和成功，人工智能（AI）已被确立为人类探索机器智能的前沿领域，并在此基础上取得了一系列突破性的研究成果，包括：
　　YannLeCun提出的卷积神经网络（CNN）；YoshuaBengio在深度学习的因果推理领域的贡献；GeoffreyHinton，人工智能的先驱之一，在2006年提出了深度置信网络（DeepBriefNetwork）模型和反向传播优化算法。
　　JurgenSchmidhuber提出了广为使用的循环神经网络（RNN）和长短期记忆（LSTM），并成功用于处理序列数据，如语音、视频和时序数据。
　　2016年3月，DeepMind推出的人工智能围棋程序AlphaGo与世界顶级人类围棋大师李世石展开对战，引起了全世界前所未有的关注，这场划时代的人机大战以人工智能的压倒性胜利而告终，并成为将人工智能的浪潮推向一个全新的高度的催化剂。
　　人工智能的另一个重要推动者是大型预训练模型的出现，这些模型已经开始广泛用于自然语言和图像处理，在迁移学习的帮助下处理各种各样的应用。其中最具代表性的是自然语言处理模型GPT3，已经证明具有高度结构复杂性和大量参数的大模型可以提高深度学习的性能。
　　02智能和计算
　　计算能力是支撑智能计算的重要因素之一。面对信息社会中庞大的数据源、异构的硬件配置和不断变化的计算需求，智能计算主要通过垂直和水平架构来满足智能任务的计算能力要求。
　　垂直架构（verticalarchitectures）的特点是同质化的计算基础设施，主要通过应用智能方法提高资源利用效率来提升计算能力。
　　相比之下，水平架构（horizontalarchitecture）协调和安排异构和广域（widearea）计算资源以最大限度地提高协作计算的效率。
　　例如，2020年4月，为了应对全球COVID19研究的计算需求，Foldinghome在三周内联合40万名计算志愿者实现了2。5Exaflops的计算量，比世界上任何一台超级计算机的计算能力都要强。
　　尽管在智能和计算方面已经取得了巨大的成功，但这两个领域仍然面临着一些难题。
　　03智能方面的挑战
　　使用深度学习的AI目前在可解释性、通用性、可进化性和自主性方面面临着重大挑战。
　　与人类智能相比，当前大多数AI技术的作用都很弱，而且只能在特定领域或任务中发挥良好作用。
　　从基于数据的智能升级到更多样化的智能形式，包括感知智能、认知智能、自主智能和人机融合智能等，也存在重大的理论和技术挑战。
　　04计算方面的挑战
　　数字化浪潮带来了前所未有的应用、连接、终端和用户的增长，以及产生的数据量，都需要巨大的计算能力。
　　例如，人工智能所需的计算能力每100天翻一番，也就是说，预计在未来五年内将增加超过100万倍。
　　随着摩尔定律逐渐失效，要跟上如此快速增长的计算能力要求变得很有挑战性。
　　图：摩尔定律集成电路上可容纳的晶体管数目，约每隔两年便会增加一倍
　　智能社会中的巨型任务依赖于各种特定计算资源的高效组合。此外，传统的硬件模式不能很好地适应智能算法，制约了软件的发展。
　　05何为智能计算？
　　迄今为止，智能计算还没有一个被普遍接受的定义。
　　一些研究人员将智能计算视为人工智能和计算技术的结合，但这种观点将智能计算的定义限制在人工智能领域内，同时忽略了人工智能固有的局限性以及人类、机器和事物之间三元互动的重要作用。
　　另一个学派将智能计算（intelligentcomputing）视为计算智能（computationalintelligence），模仿人类或生物智能来实现解决特定问题的最优算法，并将智能计算主要视为一种算法创新。
　　在这篇论文中，研究人员考虑到世界的三个基本空间，即人类社会空间、物理空间和信息空间日益紧密融合，从解决复杂的科学和社会问题的角度提出了智能计算的新定义：
　　IntelligentComputing的定义
　　智能计算是支撑万物互联的数字文明时代新的计算理论方法、架构体系和技术能力的总称。智能计算根据具体的实际需求，以最小的代价完成计算任务，匹配足够的计算能力，调用最好的算法，获得最优的结果。
　　智能计算以人为本，追求高计算能力、高能效、高智能、高安全。
　　其目标是提供普遍、高效、安全、自主、可靠和透明的计算服务，以支持大规模复杂的计算任务。下图显示了智能计算的总体理论框架，它体现了支持人类物理信息整合的各种计算范例。
　　图：基于人类社会空间、物理空间、信息空间融合的智能计算总览
　　首先，智能计算既不是现有计算机、云计算、边缘计算以及其他计算技术（如神经形态计算、光电计算和量子计算）的替代品，也并非是简单整合。相反，它是一种计算形式，通过根据任务要求系统地、全面地优化现有的计算方法和资源来解决实际问题。
　　相比之下，现有的主要计算学科，如超级计算、云计算和边缘计算，属于不同的领域：超级计算旨在实现高计算能力，云计算强调跨平台设备的便利，而边缘计算则追求服务质量和传输效率。
　　智能计算动态地协调边缘计算、云计算和超级计算领域之间的数据存储、通信和计算，构建了各种跨领域的智能计算系统，支持端到端的云协作、云间协作和超级计算互联。
　　智能计算应当充分利用现有的计算技术，更重要的是促进新的智能计算理论、架构、算法和系统的形成。
　　其次，智能计算概念的提出是为了解决未来人类物理信息空间融合发展中的问题。
　　随着大数据时代信息技术应用的发展，物理空间、数字空间和人类社会之间的界限已经变得越来越模糊。
　　图：公开发布的AI加速器和处理器的峰值性能与功耗散点图
　　人类世界已经演变成一个新的空间，其特点是人类、机器和事物的紧密融合，社会系统、信息系统和物理环境构成了一个动态耦合的大系统，在这个系统中，人、机器和事物以高度复杂的方式整合和互动，这促进了未来新计算技术和应用场景的发展和创新。
　　06智能计算基础
　　智能计算是数字文明时代支撑万物互联的新型计算理论方法、架构体系和技术能力的总称。利用智能计算可以实现许多经典和前沿研究领域的创新，以解决复杂的科学和社会问题。
　　智能计算的基本要素包括：人的智能、机器的能力以及由万物组成的物理世界。
　　在理论框架中，人是智能计算的核心和智慧的源泉，代表着原始的、与生俱来的智能，称为元智能。
　　元智能包括理解、表达、抽象、推理、创造和反思等人类高级能力，其中包含人类积累的知识。元智能以碳基生命为载体，是由个体和生物群体经过百万年的进化产生的，它包括生物具身智能、脑智能（尤其是人脑）和群体智能。所有的智能系统都是由人类设计和建造的。
　　因此，在智能计算的理论体系中，人类的智慧是智能的源泉，计算机是人类智能的赋能。我们称计算机的智能为通用智能。
　　通用智能代表计算机解决具有广泛外延的复杂问题的能力，以硅基设施为载体，由个体和群体计算设备产生。生物智能可以在以下四个层次上移植到计算机上：数据智能、感知智能、认知智能和自主智能。
　　智能计算面临大场景、大数据、大问题、泛在需求的挑战。算法模型变得越来越复杂，需要超级计算能力来支持越来越大的模型训练。
　　目前，计算资源已经成为提高计算机智能研究水平的障碍。随着智能算法的发展，拥有丰富计算资源的机构可能形成系统的技术垄断。经典的超级计算机已经难以满足AI对计算能力的需求。
　　虽然通过算法优化可以在一定程度上降低算力需求，但并不能从根本上解决这个问题。需要从架构、加速模块、集成模式、软件栈等多个维度进行全面优化。
　　图：智能计算的特征
　　智能促进了计算技术的发展，计算是智能的基础。提高计算系统性能和效率的高级智能技术范式是智能驱动的计算。支持计算机智能发展的高效、强大的计算技术范式是面向智能的计算。
　　两种基本范式从五个方面进行创新，提升计算能力、能源效率、数据使用、知识表达和算法能力，实现泛在、透明、可靠、实时、自动化的服务。
　　07智能驱动的计算
　　提高计算的普适性对智能计算至关重要。现实场景中的问题，例如模拟、图（gragh）等，需要进行各种计算。智能计算的另一个关键点是如何提高计算的智能化水平。
　　从经验上来说，我们常常需要向自然界的智能生物学习，计算也不例外，例如三大经典智能方法：人工神经网络、模糊系统和进化计算，都是受生物智能启发提出的算法。智能计算理论包括但不限于以上几种计算，以实现高度的泛在化和智能化。
　　智能系统在开始工作之前，首先要进行智能感知。因此，感知智能在所有智能系统中都起着至关重要的作用。感知智能的重点是多模态感知、数据融合、智能信号提取和处理。
　　典型的例子包括智慧城市管理、自动潜水系统、智能防御系统和自主机器人。感知智能研究中最热门的领域是模拟人类的五种感觉能力，视觉、听觉、嗅觉、味觉和触觉。
　　此外，智能传感还包括温度、压力、湿度、高度、速度、重力等，需要大量的计算或数据训练来提高其性能。
　　认知智能计算主要研究机器的自然语言处理、因果推理和知识推理等领域。通过对人脑的神经生物学过程和认知机制的启发式研究，可以提高机器的认知水平，以使其获得帮助、理解、决策、洞察和发现的能力。
　　机器从被动输出到主动创造有两个关键要素：强泛化模型和与外部环境的持续交互。自主智能的发展路径从学习单一任务开始，举一反三，逐步达到与环境动态交互的主动学习，最终实现自我进化的高级智能。
　　当前可以通过迁移学习、元学习和自主学习等技术寻找生成自主智能的可行路径。尽管在智能的四个层面上（数据智能，感知智能，认知智能，自主智能）取得了重大进展，但目前仅通过计算统计模型还难以从极其复杂的场景中实现完全的智能。
　　在这些场景中，人类应该继续在解决问题和决策中发挥不可或缺的作用，来探索人类认知过程中涉及的要素，并将其与机器智能相结合。下一步，将聚焦于人机交互、人机融合和脑机接口等技术。
　　08面向智能的计算
　　AI的发现不断涌现，这在很大程度上归功于不断增长的计算能力。AI的快速变化是由新思想或革命性理论推动的。通常，最新的先进模型仅依赖于更大的神经网络和更强大的处理系统。
　　OpenAI研究人员在2018年进行了一项研究，追踪基于计算能力的最大模型的增长情况。利用AI研究史上训练的一些最著名的AI模型所需的计算量，他们发现了计算资源快速增长的两个趋势。
　　图：过去十年计算能力需求的增长大大超过宏观趋势
　　当摩尔定律失效时，超大算力主要依赖于海量计算、内存和存储资源的并行叠加。
　　例如，高性能计算是指将大量计算机快速联网成一个集群以进行密集计算的做法，使用户能够比传统计算机更快地处理大量数据，从而获得更深入的洞察力和竞争优势。
　　此外，得益于云计算，用户现在可以选择增加其高性能计算程序的容量，从而继续提高算力。
　　图：云、雾和边缘计算的表示
　　当前，我们正迎来人类发展的第四次浪潮，正处于从信息社会向人类社会物理世界信息空间融合的智能社会的关键转型期。在这种转变中，计算技术正在经历变革，甚至是颠覆性的变化。
　　智能计算被认为是未来计算的发展方向，不仅是面向智能的计算，而且是智能赋能的计算。它将提供通用、高效、安全、自主、可靠和透明的计算服务，以支持当今智能社会中大规模和复杂的计算任务。
　　参考资料：
　　https：spj。science。orgdoi10。34133icomputing。0006
　　https：mp。weixin。qq。comsuo3c8CmrMgH3X5h43i29rA
　　END