神秘的COPAGPU，NVIDIA下一代GPU架构昭然若揭

　　GPU发展日新月异，不仅和电脑普通用户密切相关，而且现在俨然已经成为全球驱动计算性能的重要产品，NVIDIA则是这个行业当下的佼佼者，在独立GPU份额方面是处于第二位的AMD的5倍。
　　如此强劲的竞争态势，在高收益高回报的同时，业界也是虎视眈眈，AMD和Intel都透过各种方式向外界透露了它们下一代GPU的部分特性。例如AMD方面是引入辅片（chiplet）技术，将GPU的部分功能拆开，然后以不同的最佳化制程生产并最终放到同一枚GPU芯片上。而Intel则简单暴力许多，以重新打造的Xe架构为基础，衍生除了XeHPC版高性能GPU，提供最多4片GPU裸芯集成到同一枚芯片上。
　　NVIDIA其实很早就有多芯片方案，不知道大家还是否记得NVIDIA多年前曾经提起的梯队项目：
　　NVIDIA梯队项目
　　不过梯队或者说Echelon其实只是NVIDIA公布过的面向E级超算的解决方案之一，台底下显然还有我们未曾了解的方案，例如今年发布的Grace处理器，它虽然只是一个纯CPU方案，但是内部集成了强大的一致性互连能力，可以和多枚GPU实现非常夸张的高速互连，彻底解决了CPU和GPU之间的数据交换效率。
　　但是故事并未结束，根据论文网站arxiv上的一篇NVIDIA发表的论文《GPUDomainSpecializationviaComposableOnPackageArchitecture》，该公司手头还有一个名为COPAGPU的项目，这个项目的特别之处在于实现了高度模块化的GPU组合设计：
　　组合灵活的COPAGPU模块化设计
　　COPAGPU是可实现灵活组合的多模块化GPU方案，能针对不同的需求实现围绕GPU的不同的功能模块组合。
　　例如上图中，左侧是基本的GPU设计，右上是集成HBM内存的方案，右下则是集成大容量高速缓存的方案，其中后者有点类似于AMD的InfinityCache。
　　按照NVIDIA这篇论文的介绍，透过COPAGPU，可以对基础GPU实现强化深度学习能力，此时可以达到4倍的内存带宽、32倍的片上封装缓存、2。3倍的内存带宽，而且可以支持规模缩减的高性能计算设计。
　　和传统的GPU设计相比，深度学习优化的COPAGPU可以做到16倍的缓存容量、1。6倍的内存带宽，每个GPU的训练和推理性能分别提升了31和35，在横向训练的应用场景里，GPU的数量可以籍此减少50。
　　按照目前的论文来看，COPAGPU的最大亮点是高速缓存架构的多样性设计。
　　论文中提到了一个代号GPUN的NVIDIA前瞻GPU设计，该设计提供了24TFLOPSFP32的通用计算性能，是目前A100的1。2倍，但是其FP16性能已然提升到了779TFLOPS，是A100的2。5倍，L2Cache达到了60MiB，内存带宽更是跃升至2。7TBs的水平（是搭配HBM2内存的A100的1。72倍）。
　　考虑到单精度性能变化不大，我相信GPUN只是一个研究用的设计，在论文撰写的时候以FPGA的方式运行，但是假以时日，它的某些特性很可能会应用到NVIDIA的下一代GPU上，结合COPAGPU的设计，相信NVIDAI在下一代竞争中不会处于落后的状态。