深剖纳斯达克Netflix阿凡达2云端创新看懂亚马逊云科技干

　　作者：郝俊慧来源：IT时报
　　13年前，当《阿凡达》第一次以绚丽的潘多拉星球风光征服全世界时，人们并不知道，导演卡梅隆用4000台服务器搭建了一个庞大的线下数据中心，用35000多个CPU做整部电影的渲染，渲染时间达288万个小时。
　　如今，13年过去，正在热映的《阿凡达2》中蔚蓝的水世界，渲染时间达33亿小时，是第一部的1145倍，但从第一帧到第33亿帧，一共只用了8个月。没有亚马逊云科技的支持，我们将无法完成阿凡达2。《阿凡达2》制片人如是表示。
　　打造虚拟世界和仿真世界，是否使用云的结果差异显而易见，而这只是亚马逊云科技在全球应用的案例之一。
　　不久前举行的2022re：Invent全球大会上，亚马逊云科技发布了一系列重磅的新服务、产品、功能和应用，涵盖底层基础架构、计算、数据库、数据分析、芯片、AIML、安全、行业应用等方面，其中多个案例均为首次公布，堪称亚马逊云科技的年度干货集。
　　对于正在加速数字化转型的中国政府和企业而言，这些站在科技潮头的革新和重塑颇有借鉴意义。
　　纳斯达克：打造证券行业的下一代云基础设施
　　去年re：Invent上，纳斯达克宣布，要把自己的核心交易交合处理引擎搬迁到亚马逊云科技上，今年的re：Invent，纳斯达克CallBack了这个决定，宣布旗下的MRX核心交易系统已经搬迁到亚马逊云科技。
　　交易撮合是一个订单转化成交易的一个核心系统，是全球资本市场的基础架构基石，而MRX是纳斯达克旗下6个美国期权市场之一，这些工作负载意味着，不仅对整个延迟高度敏感，同时也对安全高度敏感，迁移的完成标志着纳斯达克在全球资本市场构建了一个下一代的基础设施。
　　在纳斯达克迁移到亚马逊云科技的过程中，AmazonOutposts扮演核心角色。它将亚马逊云科技的基础设施、服务、API和工具扩展到几乎所有数据中心、主机托管空间或本地设施，纳斯达克可以从其位于新泽西州卡特雷特的主要数据中心提供超低延迟的边缘计算功能。这些基于AmazonOutposts所构建的全新云系统可以对端到端、订单到交易提供一个两位数的微秒级延迟，并且在双向交易延迟取得了10的性能提升。
　　这还不是全部。目前纳斯达克有130多个市场技术客户，涵盖交易所、银行、清算所、中央证券存管机构和监管机构，这些机构目前都依赖纳斯达克的核心交易、清算、结算和监控技术。未来，纳斯达克计划与亚马逊云科技合作开发多种可行的云服务模式，包含公有云和混合云，为它的市场技术客户提供云端迁移服务。
　　Netflix：对海量数据保持高性能分析
　　2012年，Netflix即参加了首届re：Invent，作为全球领先的融媒体供应商，2006年转型流媒体的Netflix，2008年便成为亚马逊云科技的客户。如今，Netflix的各个环节中均可看到亚马逊云的痕迹。
　　比如爆款剧《王冠》的第四季，便是采用基于亚马逊云科技的云上工作室，解决了因新冠疫情全球流行而导致的制作难题，由10名艺术家组成的《王冠》内部创作团队远程协作，顺利完成第4季10集中的600多个镜头，时间仅用八个月，制作成本也大大降低。
　　Netflix用到亚马逊云的另一个重要方向是如何应对海量数据时代的到来。亚马逊云科技大中华区产品部总经理陈晓建给出一组数据：Expedia是全球领先的旅游服务供应商，拥有超过70个PB的数据，每年会做6000亿次AI预测；三星有超过11亿终端客户，每秒钟收到8万次请求；Pinterest是在北美提供视频图片网站的服务供应商，他们在亚马逊云科技上存储的图片数据超过1个EB，相当于100万个TB，而Netflix呢？每天要为十亿条用户流量服务，同时每天为了支持用户最佳体验，要从整个所有的生产系统中收集将近TB的日志数据并且进行分析。
　　未来5年所产生的数据，将是此前所产生数据的两倍还要多，数据将像星空一样广袤，已经不是未来的，而是现实，如何去管理海量数据，挖掘数据的价值，对每个企业来说一方面是巨大的挑战，另一方面也蕴含无限的价值。
　　这些互联网巨头要思考的是，如何在数据高速增长的同时保持高性能的处理？本次re：Invent也给出了答案。
　　AmazonAurora是亚马逊云科技的云原生关系数据库服务，其自动扩展功能可以将每一个数据库的实例自动拓展到最大128个TB，使用成本是传统的商业数据库的十分之一左右。AmazonDynamoDB是业界第一个云原生数据库。它在2022年亚马逊云科技会员日时每秒处理请求超过一亿个，是非常高性能的间值数据库。AmazonRedshift有大量的用户，每天处理的AmazonRedshift数据量都超过一个EB，性价比是其他云数仓的五倍。
　　此外，AmazonDocumentDB的ElasticClusters不仅可以支持每秒钟数百万次读写请求，同时可以把AmazonDocumentDB的存储容量从64TB一下子拓展32倍达两个PB。
　　阿凡达：由芯片、协议等组成的高性能计算生态
　　正如前文所言，采用了亚马逊云科技服务的《阿凡达2》，大大缩短了视觉特效制作的时间，而打造基于3D的虚拟世界，与去年开始便爆火的概念仿真数字孪生一样，都需要大量复杂的高性能计算。
　　亚马逊云科技已经连续7年获得HPCWIRE最佳HPC云平台称号，这应该源自其经过多年打造的完整的HPC服务生态。
　　生态中最重要的自然是芯片。通过10年研发，亚马逊云科技构建了3条自研芯片的产品线，包括已经发展了4代定制化芯片Nitro，三代基于ARM架构的CPU处理器Graviton和两款用于机器学习训练和推理的芯片。
　　陈晓建介绍，比如Graviton3E，是专门为高性能计算设计的最新芯片，它配备了200Gbps低延时带宽，非常适合计算密集型的HPC应用，为浮点和向量指令运算进行了优化，比如说计算流体力学、分子动力学和天气模拟等等。从用户场景来看，在HPC新一代数据测量工具上，Graviton3E相比于Graviton3有35的提升，在分子运动分析场景上性能可以提升12，在金融期权定价方面可以提升30的性能。
　　在亚马逊云科技整个自研芯片家族里，除了Graviton，还有Nitro。Nitro是将底层架构专业硬件化、云服务器虚拟化的芯片，如今已发展到第五代。从第一代Nitro的网络性能的万兆级别（10Gbps），到现在的100GB，性能提升了10倍。NitroV5晶体管数量是上一代Nitro的两倍，整个数据包的转发能力提升了60，延迟减少了30，每瓦特的性能提升了40。
　　此外，亚马逊云科技自己开发的网络协议SRD，也是支撑高性能计算的独门武器。陈晓建以视频流举例称，利用SRD，传输时可以将视频流打散，多条路径并行传输，接收方则通过序号进行乱序重组。通过SRD协议，网络单条流的最大流量从5GB提升至25GB，增长了5倍，而且由于SRD协议是在网络整个底层Nitro芯片上实现的，所以对用户完全透明，用户仍然使用TCPIP协议，Nitro会自动地把TCPIP协议适配到SRD，到了对端之后再把这个恢复成TCPIP的包。
　　不需要千军万马过独木桥，便可以带来极高的网络吞吐量和极低的延时，以及更高的可靠性。任何一条路径如果出问题不会影响你整个流量的中断。陈晓建表示。