国内首个与任天堂合作的引擎Cocos，正在元宇宙里做ampa

　　今年3月，国产游戏引擎Cocos更新了3。4版的CocosCreator编辑器。当时我们推送了一篇报道，主要聊了聊这个曾一度在全球移动游戏市场占据20市场份额的2D游戏引擎，如何曲折转型，整合技术，升级为一款3D游戏引擎，已与行业里过去的卡牌游戏专用引擎固有印象相去甚远。
　　使用Cocos引擎开发的部分游戏
　　有不少读者留言表示，看完文章才发现自己熟悉的很多游戏是用Cocos开发的。实际上接下来还会有更多7月Cocos与任天堂达成了合作，提供了NS开发功能。除了可以用来制作原生Switch游戏外，开发者也可以将现有的游戏快速另存为Switch版本。
　　2022年上半年是Cocos引擎快速发展时期。4月Cocos完成了5000万美元的B轮融资，此时尚处行业冬天，版号已经停摆半年有余，轰轰烈烈了两年的游戏投资浪潮被各家降本增效的公司叫停。当潮水褪去才知道谁在裸泳，今年还能融到钱的都有相当的硬实力。
　　随着3。6版的推出，CocosCreator编辑器的功能与易用性又提升了一个台阶。按照研发内部的话说，3。6是一个里程碑版本。因此这里有理由再次聊聊：半年过去，Cocos以及行业大环境发生了什么变化。
　　1hr从12年前Cocos诞生那一刻起，跨平台就是这个引擎的核心关键词之一。在支持所有主流平台的基础上，Cocos又快速完成了对HarmonyOS，抖音和微信小游戏的支持。今年Cocos开始了更多硬件层面的跨平台。
　　5月Cocos面向汽车行业推出了智能座舱解决方案CocosHMI，覆盖车载人机交互界面、自动辅助驾驶可视化、车载虚拟形象、车载游戏等多方面应用，同时兼容多种芯片。
　　6月，Cocos在智能眼镜Rokid平台发布了完全基于OpenXR标准的AR全新交互游戏《幽灵射手》，同时官宣即将推出XR内容创作工具CocosCreatorXR（XR是ARVR的总称），届时开发者无需其它接口，就能一键将游戏内容发布到Rokid等XR设备上。
　　AR交互游戏《幽灵射手》
　　Cocos编辑器
　　Cocos这一系列动作背后，是正在积蓄能量的元宇宙前景。
　　一提起元宇宙，大多数玩家习惯地将其认为是忽悠资本的概念。游戏玩家见得多了，知道当前的技术力几斤几两，自然对很多元宇宙大饼描绘出来的景象嗤之以鼻。
　　理想中的元宇宙
　　现实中的元宇宙
　　在一定程度上，这是由于《头号玩家》这样的大众科幻电影产生的误导。《头号玩家》给了人们一个先入为主的印象，即只有电影里那样高技术力搭建的赛博朋克VR世界与现实无异的拟真感，贫民窟都能用得起的低门槛才是元宇宙。如果以这个为目标，那我们有生之年都未必能体会到。
　　但倘若换一种思路，实际上如今的智能生活，已经很接近过去科幻小说描绘的场景，交互技术对生活的渗透越来越多（虚拟偶像、智能车机、AI助手、算法推送甚至健康宝）。这种情况下，元宇宙其实就像地下活水，随着技术不断下沉，土地变得够湿润，自然就渗出来了。
　　一个标志性的信号是XR设备的市场规模近两年有了快速增长。以OculusQuest2上市为分界线，去年VR头显的出货量终于跨过了千万的历史性门槛。硬件销量的量变有望实现内容的质变，从而将VR从内容匮乏的泥潭中拖出，进入软硬件协同的良性循环。而根据数据机构StrategyAnalytics报告，消费级AR终端市场营收规模在20202021年间也增长了两倍，出货量同比增长161。这些数据显示，XR市场拐点正在到来。
　　近期IDC对中国XR市场的预测
　　资本比市场更早嗅到这种气息。上一轮泡沫破灭后，XR产业曾进入漫长低谷，直到去年开始迅速回暖。到了今年，仅6月这一个月，全球VRAR投融资案例便共计有22笔。
　　消费级技术的发展，让现今的交互娱乐不再局限于单一传统的游戏平台，而是渗入到各种硬件，嵌入到不同应用中，游戏场景更加泛化，交互手段更为多元。用Cocos引擎创始人王哲的话说：用游戏引擎开发出来的内容，有胜利条件的叫游戏，没胜利条件的叫元宇宙。
　　话虽然是玩笑话，但可以看出Cocos的很多动作，实际上正是为了适应这个多元化的交互未来，去担任基建和技术底座的角色。
　　这种基建在前两年的教育领域里最具代表性由于出色的易用性，Cocos成为了各家教育机构制作游戏化课件的首选，市场占有率一度高达90。如今教培行业虽已灰飞烟灭，但这种技术底座的逻辑是不变的：各行各业越来越注重用户交互，无数前端需要内嵌的互动应用，它们并不能称之为游戏，但总有一些动画和交互的需求，这些需求用Cocos就刚好能满足。在接下来的Web3。0时代，一个重要的底层基建就是3D技术，可以想见，未来这样的需求只会与日俱增。
　　2hr前面说了很多有关多元化的应用，不过Cocos所依仗的，并不单单是灵活兼容。刚刚发布的CocosCreator3。6的最大提升，还是内功的修炼。作为一款3D商业引擎，图形渲染技术、性能优化，编辑器易用性这些技术让Cocos在元宇宙多个领域展现出强大的应用场景，这也是开发者最为看重的地方。
　　在版本进化方面，3。6带来了新的界面设计、新的材质API、新的导入体验，以及动画嵌入播放器、粒子噪声图等新功能，对用户而言，编辑器的的UI和交互体验将得到进一步提升，各项能力也更加成熟易用。值得一提的是，光照模型和渲染算法上的一系列新特性，可以让游戏实现更为先进的移动端画面渲染效果。
　　比如3。6支持了CSM级联阴影。普通的阴影贴图有一个明显弱点：当投影面积较大时，对阴影贴图分辨率的需求会超出硬件承载极限。如果不提高分辨率会导致阴影锯齿严重、形状缺失、不清晰，过去我们在玩一些游戏时也能看到这种现象。如果开发者减小投影面积，又会导致阴影可视距离非常短。在阴影可视距离和阴影效果上的平衡调整是一个非常令人头痛的问题。
　　CSM级联阴影则相当于一个自适应的阴影贴图，从而提高数倍贴图利用率。它可以在较大的阴影可视距离上具备精细的阴影效果，让开发者无需把精力花费在参数调校上。
　　CSM阴影对比
　　此外3。6已经完整支持了在精确光源和环境光源下，各向同性和各向异性的材质与光照模型。编辑器可以对接SubstaincePBR材质库，制作拉丝纹路的金属、头发、丝绸等等。
　　丝绸面料
　　动画编辑器新增了嵌入播放器功能，可以在任意动画中嵌入其他粒子和动画，并用类似视频剪辑软件轨道的方式进行编排，自由调整时长和播放位置。3。6版支持更精细的逻辑控制、更复杂的角色动画效果，并且在编辑器中实时预览最终效果，解决了导入动画难以二次编辑的问题。
　　动画编辑器预览
　　如今游戏出海是大势所趋，多国语言支持成了越来越多开发者必须考虑的问题。为了更好地服务有出海需求的开发者CocosCreator3。6集成了多语言支持的L10n工具。其目的是通过高自动化工具提高用户翻译的效率，并且以无代码方式降低了用户使用门槛，以达到任何人都可以开箱即用该工具。
　　3hr但看到这里你可能会疑惑，国产引擎发展了这些年，在技术层面和国外老牌引擎比起来，到底处于什么位置呢？
　　这也是我们所好奇的，因此我们与CocosCreator引擎技术总监Panda先生聊了聊。他从2017年开始专注于CocosCreator的3D引擎研发，推动了渲染器重构、原生渲染器和3D化进程，对引擎架构、多后端渲染技术、跨平台框架都有深入的理解。
　　以下是采访正文：
　　游研社：之前您提到在3。6版本中升级的图形渲染技术，国外商业引擎其实已经实现过，如何看待这种技术差距？
　　Panda：坦白说，我们跟国外引擎目前是有差距的，但这个差距正以肉眼可见的速度缩小。比如，这次v3。6更新的CSM级联阴影、各向异性光照、环境反射卷积等等，就是Cocos在3D渲染方面自我进化的一个缩影。
　　相比于引领技术演化，我们更希望为用户打造一个标准化的通用商业引擎，因此许多功能和工具，都是内嵌在引擎中以实现更高的易用性。例如自动化导入工具，我们不仅支持导入PBR这种基于物理的光照模型，考虑到很多国内美术工作者还在用传统光照模型，因此我们也支持导入传统的光照模型。
　　相比于国外引擎，Cocos引擎的侧重和优先级会有所不同，在追赶之外，我们也更关注创新独特的价值点。
　　游研社：那么Cocos的技术核心竞争力是什么？
　　Panda：Cocos引擎优先服务移动平台的所有3D内容创作，基于这个策略，Cocos产品始终坚持构建低功耗、高性能和小包体等产品特性，同时我们也具有十分优秀的伸缩性。
　　一方面，用户在移动端上的使用时长、移动端下一代设备存量远大于PC端，另一方面，目前移动端也能从风格化、主流渲染上，实现非常细腻漂亮的游戏画面，随着移动端光追能力的提升，移动端和PC端在画面表现力上的差距将会越来越小，这也是我们为什么看好移动端市场。目前，我们也跟国内一些Top级手机厂商，共同研究移动端光追技术，而这些技术也最终将反哺给Cocos的开发者。
　　纵观目前工具市场，只有Cocos引擎能最好地覆盖到这些低性能的平台，例如车机以及可穿戴设备、智能家居等等硬件设备。之前就用国内厂商用Cocos开发智能手表体感游戏，国外游戏大厂育碧也基于Cocos开发了航空机载游戏，为什么选择Cocos？原因非常简单，因为Cocos在性能、功耗、包体上都达到最优解。此外，Cocos引擎应该是目前在跨平台特性上做得最好的商业引擎，特别是Web端、小游戏方面，目前Cocos在这两个赛道的占有率达到70以上。
　　另外值得一提的是，Cocos是一个免费开源的引擎，开发者可以直接调用Cocos底层代码，不用担心我们在里面植入他们不想要的SDK和数据收集代码，所有运行时的内容开发者都是完全自主可控的。
　　游研社：在您看来，做一个国产商业3D引擎的主要难点是什么？
　　Panda：一方面我们要在构建和保持高性能、轻量化等产品独特性下，去实现行业主流渲染效果，这对于我们整个团队的技术储备是存在巨大挑战的，但经过一步步稳扎稳打的版本迭代后，我们也获得了行业伙伴的认可。另一方面，在国内做引擎很大的挑战在于人才。可能有人会说，怎么可能国内还会有人才问题？国内图形渲染领域的人才数量不少，激烈的市场需求和竞争下，渲染人才水平也很高。这不假，但我们真正缺乏的，其实是做工具的人。
　　目前，国产商业引擎有成熟编辑器支撑的引擎只有Cocos。国内虽然有一些厂商也在做商业或者自研引擎，但主要投入都是在引擎渲染上，在编辑器方面要么借助其他成熟的商业引擎，要么做得不够通用，竞争力不足。当然这也可以理解，毕竟做编辑器的成本真的非常高，工具型人才真的很稀缺。
　　虽说存在这么多难点，但Cocos仍然坚持要做出自己完整的工具链。用一个有些俗气的词吧，那就是初心，国内目前其实并没有maya、max甚至Photoshop这些工具的替代品，而Cocos是可以在商业引擎这一工具上达到国际水平的，这也是我们十几年如一日，持续进行投入的原因所在。
　　游研社：目前Cocos对元宇宙的态度是什么？
　　Panda：wikipedia上对元宇宙这个词的定义是，元宇宙是一个专注于社交连接的3D虚拟世界网络。
　　我们认为元宇宙，相比于目前平面化UI表达为主的PC互联网和移动互联网，会产生的变革可能有：可能会普及运用3D实时渲染来提高沉浸感和临场感；可能会普及比键鼠触摸更为便捷的人机交互方式；可能会产生AR部分完全替代手机，VR部分完全替代电脑显示屏和电视的局面。
　　不管元宇宙怎么被定义，它都离不开基础设施。作为3D图形引擎，Cocos在元宇宙领域的定位，就是内容生产工具，我们始终是专注在基建和生态建设上，做工具、做服务，将把Cocos的跨平台能力、伸缩性、低功耗等特性，从游戏行业延续到元宇宙领域，从手机延续到各类带屏幕的互联网设备上。
　　VR、AR都是元宇宙落地的很重要的载体，Cocos将持续针对快速发展的XR软硬件生态系统，提供跨平台的创作工具和底层能力，逐步提供种类繁多的免费模板和范例，以及丰富的资源库，帮助开发者实现创作设想，开发爆款；Cocos一直在小游戏、轻应用领域具有较大优势，将继续支持该领域的开发者向XR开发的转型需求，并逐步拓展3D中重度XR应用的开发能力。
　　此处打个广告，针对XR开发者的CocosCreatorXR编辑器，即将在9月份上线。
　　此外，Cocos将在虚拟人领域，为开发者提供一站式解决方案。与离线渲染生成的虚拟角色不同，Cocos重点关注实时虚拟角色渲染，而且靠手机就能实现。我们希望用户能够在自己家里面，通过自己的手机捕捉自己的表情和肢体动作，再实时传播给屏幕前的观众，然后观众可以跟TA产生实时的互动。同时，Cocos能够在低功耗的移动平台上，支持实时渲染虚拟角色无代码化生产与使用。通过手机的前置摄像头和自身的算力，就能完成建模、口型捕捉、动捕、渲染等技术环节，至少30帧，再推到流媒体上。
　　此处再打个广告，CocosPersonaEditor虚拟人编辑器，10月份也要跟大家见面了！
　　游研社：Cocos的开发者生态一直比较活跃，这种生态对Cocos以及最近的3。6版本意味着什么？
　　Panda：很多企业是将技术作为护城河，而Cocos则是将生态作为引擎的护城河。现在Cocos已经不单单是一个品牌，还是一种行业职位，一类出版书籍分类，一类技术名称。
　　在3。6版本正式发布前，我们还在社区进行了为期一个半月的开放测试。截止您采访我的今天，一共收到超过600条测试反馈，正是有这么好活跃的生态用户才能带来更好的3。6版本。
　　作为一款开源引擎，Cocos也开放了引擎仓库，很多开发者在仓库中给我们贡献issue甚至是直接提供解决方案，Intel、Microsoft、Google、ARM、华为、腾讯等大厂都曾给Cocos贡献过代码，Cocos最初的代码量只有不足十万行，现在已经有大几百万行，其中有很多来自160万Cocos国内外开发者。
　　结语
　　很多国内技术产业的发展，都会面临重复造轮子的质疑。芯片如此，游戏引擎也一样，但这又是一个绕不过去的环节。在这次与Cocos引擎研发人员接触的过程中，我不止一次地感受到上次那种既理想化又务实的态度。他们会很坦然地承认，国产引擎在技术上确实有很多技不如人的地方。但面对差距，既不躺平放弃，也不妄自尊大，而是要一边追赶技术的发展，一边发挥自己的特长。
　　从生态和战略意义来说，国产引擎自有其不可忽视的价值。我们会持续关注，在这多变的未来图景中，Cocos引擎能否跟得上时代的脉动。