聚热点 juredian

千年前一场对话,让我明白了VR的意义

作者|鹿尧

“每颗主星,都有自己固定的方位,请你参照卷轴的提示,移动火土木三星,让它们逐一归位。”按住手柄扳机,随着天空杯的移动,齿轮缓缓转动,掌心也感受到一阵阵的震颤。测定好三星方位,玩家根据提示连接星图,等到青龙白虎跃然纸上,此时提示音再次响起,观星定位就此完成。

故事发生在康熙年间,时任钦天监监正南怀仁,要向康熙帝呈进观候天象题本。300多年后,这份记录了立秋至秋分时候天象方位的题本,通过PICO的互动视频,再次呈现在我们眼前:带上VR眼镜,在不到十分钟的时间里,穿越时空探寻古籍背后的故事,手柄中的宽频马达,也在真实反馈体验时的触感。

对于还原历史这件事,人们总是有着很深的执念,千百年来,记录的形式不外乎文字和胶卷,但时间的冲刷不仅会模糊文字的细节,也会磨灭画面的质感。我们或许需要一种更清晰、更沉浸的体验方式,将历史丝毫毕现地还原在人们眼前。

就像我们过去提到的“创意机器”,创新技术的进步,让社会的记忆又回来了。而这一回,是字节跳动公益联合国家典籍博物馆,与PICO 、抖音共同打造的《古籍寻游记》,让历史得以重现:

以VR互动纪录片为核心,依托PICO的6DoF交互技术,以及火山引擎视频云的三维重建和视频扫描技术,将殷墟甲骨、居延汉简、敦煌遗书、明清档案等古籍呈现在VR画面中。

“你可以回头,看看钦天监的全貌。如果不恐高,下一个场景可以看看脚下的地球。”在开头的《钦天监南怀仁题本》里,观众与监正一起登上观象台,使用天文器材夜观天象、完成题本后,沉甸甸的官印落下的那一刻,历史的敦厚跨越千年,在当下产生了回音。

01

复活古籍的创意底座

如果时间再倒退一千多年,这次你不再是观星台上的天文科新人,而是东汉时期戍守边关的一个戍卒,但由于工作失误,导致附近烽燧的助吏被匈奴抓走,本来要受到的惩罚却被上司顶了锅。匈奴大肆犯境,心怀愧疚的你,接下来会怎么办?

这是即将上线的《古籍寻游记》里“居延汉简”的情节。像这样的故事还有几个,除了已经推出的“明清档案”和“殷墟甲骨“,在后者你可以穿越回现代,体验一把甲骨文的刻制,而在最后一期的“敦煌遗书”,你甚至能借助VR世界里,来到五代时期的后唐,跟随天文历法学家翟奉达完成敦煌遗书的修复。

如何让现代创意机器与古老的典籍对话,这是一个充满挑战的难题。制作一部VR复活古籍的视频,仅文物筛选、定剧情脚本、美术设定,就耗费了制作团队大半年时间。和一般的视频不同,VR复活古籍还要兼顾趣味性和历史的正统性:在有限的时长内展现历史原貌,同时让观众觉得有趣有意义。

传统的单块显示屏或投影方式,观众只能在尺寸和清晰度等参数间权衡,但不论怎么选,都跳不出二维的平面形态,更不能参与其中,获得真实的体感互动。所以为了营造更加贴近现实的沉浸式体验,VR里的每一个场景和人物的设计都需要精心打磨。

在画面制作上,PICO的解法比较特殊,它利用VR技术,通过计算机建模搭建起古代的场景,甚至用电影级别的动捕方案去制作人物动作。例如画面中的文物,大部分都是真实存在的,为了能更细致地展现其构造和纹理,火山引擎视频云采用神经辐射场技术,在不伤害文物的低噪情况下,扫描重建出文物的三维结构。

作为字节跳动旗下的云服务平台,近年来火山引擎推出了一系列以云为底座的行业解决方案,视频云也是其中之一。在这次的VR视频里,空间建图是行业的另一个难题,除了模型本身的结构会复杂,质感想做好也很难;像传感器的精度、数据的完整度、环境的复杂变化都会造成影响,如果是规模大的空间环境,数据量会非常大,误差也更容易出现,这对于制作团队的算法要求更高。

火山引擎视频云团队介绍,在对敦煌石窟里的场景进行重建时,由于团队具备基于视觉、RGBD数据集,以及多模态数据作为支撑,所以他们只需要扫描视觉数据,再融合应用SLAM、深度学习等技术,就能对场景及其细节进行更快速和精准的复刻。

当文物和场景的静态画面都重建好,这时候要做的,就是对动态物体、人物的实时重建。这里涉及到的光场视频技术,在制作难度上要远高于场景重建,前者需要在三维空间内记录物体的所有信息,包括形状、深度、颜色等,除了要实时捕捉处理大量数据,还要用更复杂的算法来支持画面处理、光学模拟和深度计算。

当用户跟随南怀仁行至紫微殿,能看到周边树影斑驳,殿内明暗影影绰绰,这些真实感和还原程度极高的画面,主要得益于火山引擎视频云团队基于深度学习的生成技术。

由于光场视频比传统视频的数据量大得多,于是团队采用了多视角编码的方案,将数据进行压缩处理,让原本需要很多相机采集的工作,用稀疏的多相机输入就能完成。

02

原来PICO还能这么玩?

智能设备和移动互联网的普及,让视频已经成为不可或缺的表达方式和传播载体,这意味着,每一帧画面都可以被视为一件技术产品,也让追逐更好的用户体验,成为所有创作者的心照不宣。

近日,2023火山引擎春季FORCE原动力大会上,针对“体验创新”这个概念,火山引擎基于字节跳动的技术沉淀,在智能图像、音视频等方面为企业提供创作和互动营销服务,视频云也是众多赋能到企业的内部工具之一。

作为火山引擎云服务版图中的一环,视频云除了提供一套完整的音视频解决方案,包括视频上传、转码、传输等功能,提高视频处理的质量和效率之外;在这次古籍活化的项目中,三维重建、视频扫描、光场视频技术等,让它能够满足当下视频在制作过程中更高的要求。

火山引擎总裁谭待,谈及行业里的确定性趋势,他认为,随着互联网音视频用户在去年底已经达到10.4亿,视频化重塑消费者体验成了一个必然逻辑,在这种情况下,用户通过音视频获取信息、服务的这一行为,将成为影响企业优化消费者体验的方式和路径。

所以为了给用户更好的视频体验,这次视频云的产品升级,分别对应了“更高清、更交互、更沉浸”的三个方向。按照这个逻辑,火山引擎除了推出AR互动营销、创意互动Vlog、虚拟数字人等新产品;具体到火山引擎视频云的能力来看,比如基于自研编码器BVC2,人们能在点播、直播、编辑视频时,在不影响编码速度和画面质量的情况下,用更少的内存将文件储存起来;又或者在有限的带宽条件下,满足8K的VR直播观看条件,这主要得益于火山引擎视频云开发的“VR注视点渲染"技术。

我们过去一直认为,VR头显要成为真正的“消费级”产品,不仅需要硬件的成熟、价格的下探,还要有足够丰富的内容池。就拿PICO来说,PICO 4采用的Pancake光学方案缓解了画面畸变,让设备更薄、更轻,在佩戴头显的时候,巨大的屏幕让人置身360度环绕的空间里,给观众带来加沉浸的视觉和互动感受,这也无形中放大了内容的想象空间。

于是近两年,PICO不断拓展内容主题和形式上的边界,除了线上直播演唱会、虚拟演出,还有VR小剧场、世界杯直播,包括这次的《古籍寻游记》,就是在文化艺术方面的尝试。虽然这些只是现在VR视频生态的冰山一角,但在火山引擎视频云的技术加持下,对比以前经常穿模、清晰度低的过山车等全景体验,画质、对焦、沉浸感,都上了好几个台阶。

有一点值得注意,在VR里,游戏、视频、直播这些内容形式之间的界限并非泾渭分明,作为一种表现方式,VR的特殊性除了体现在三维的画面上,第四维上的触觉也十分重要。一般情况下,根据可交互程度的不同,VR中经常会提到的两个概念是3DoF、6DoF,6DoF指除了3个转动角度外,再加上下、前后、左右等3个位置的自由度。

说的直白点,3DoF是一种原地体验,人在VR空间里只能转头观看,但不能位移,相当于脑袋是被固定住的;但6DoF就能让用户在场景里行走,不光能四处观看,还能做出接近现实的动作,如在《钦天监南怀仁题本》中,你可以和南怀仁在观星台用天文器材观星,跟随他进入紫微殿,拿起毛笔书写文书,也能在其他的故事里体验甲骨刻字,甚至点燃烽火。

如今,6DoF交互技术已经被运用到主流的VR一体机上,如Meta Quest 2、PICO Neo3及之后的产品。但互动是一方面,在PICO的团队看来,在实体交互的过程中,触觉是必要的感官,如果要去真的定义未来电影,像从默片过渡到有声时代一样,并将XR从玩具变为工具,要实现的是让视频有“触感”。

为了解决这一问题,PICO的答案是我们之前提到的——宽频马达。PICO 4采用的就是50-500Hz的宽频线性马达,和手机将音频直接转换成振动效果不同,无论是看6DoF影视作品还是畅玩游戏,宽频马达能模拟不同物体交互时的不同频率的震感,用户可以感受音乐音浪的震动节奏与触碰触感,效果更逼真。

有意思的是,为了将画面音效转变为相应的震动效果,PICO将音频接口集成到SDK中,相当于一个资源库,让开发者灵活取用。据官方介绍,“宽频马达+空间音频在6DoF视频中的应用,PICO是独家。”言下之意,PICO 已经作为一种生态平台,能够容纳创新,吸引更多的用户和创作者,成为一种类似大众媒介的存在。

03

VR的真正价值究竟在哪?

从最初的书写文字到印刷术的发明,再到如今的数字时代,毫无疑问,科技的发展和社会的进步,人们对于获取信息的需求和期望也在不断地变化和演进。每一次终端设备的革新,像PC主机之于游戏,智能手机之于短视频,都会引发内容形式上的改变,有了先进的视频技术、光学、交互手段的VR头显,也在探索更合适的内容。

就像《古籍寻游记》所展示的,在古代,人们通过亲身体验、口述传承等方式来获取信息,这种方式往往需要时间和空间的消耗。等下我们可以通过虚拟现实、增强现实等技术来实现更加沉浸式的信息获取体验。人们对于获取信息的趋势正在向更多的沉浸感方向发展。

然而,很长时间以来,早已实现千万用户的VR,由于核心场景仍是游戏,对于听腻了“VR元年”的从业者和用户来说,这类产品似乎很难真正兑现它的“下一代移动设备”的承诺。因此如VR教育、VR工业、VR医疗、VR文旅等更多应用场景的内容需要被开发出来。

从内容形态上来看,当下VR已经发展出影视作品,互动剧、展览等沉浸体验,以及直播等方向,VR这一媒介为创作者打开了空间。但我们也看到,SteamVR、Quest这类平台的优秀作品,几乎都是国外开发者。实际上国内缺少的,不仅仅是具备策划能力和创意驱动的内容工作室,还有给创作者提供展示机会的生态或平台。

以前有业内人士评价,就像iPhone一样,真正让它被大众市场认可的,并不单单只是硬件的升级,还有软件和应用生态,PICO把自己定位为世界级的XR平台,尤其是在火山引擎提供了视频技术作为创意底座的情况下,前者所欠缺的内容生态,也恰好是字节所擅长的,两者的结合,意味着这门生意的想象空间更大了。

火山引擎原动力大会上,“体验创新”这个说法不单单是体现在用户端:更高清、交互和沉浸;在“坚定上云”成为IT基建的业界共识的情况下,火山引擎面向不同场景和行业,推出不同的工具助力企业和创作者实现突破。举个例子,与传统影视不同,VR内容在制作时,已经把4K作为基本的分辨率,这需要依赖强劲的算力支持,来为用户提供刷新率更高、清晰度更高的体验,火山引擎起到的就是算力的摆渡作用。

总而言之,这也是火山引擎视频云与PICO合作的价值:不仅能提升C端用户的体验和感知,同时也在赋能企业。借用这种方式,VR行业的创新也正在不断突破过去的认知。

本站资源来自互联网,仅供学习,如有侵权,请通知删除,敬请谅解!
搜索建议:千年  千年词条  明白  明白词条  对话  对话词条  意义  意义词条  
热博

 猫须草的功效与作用

猫须草的作用与功效:(1)猫须草可以减少体内水分滞留猫须草是一种效果经获证实的利尿剂,能透过排尿以帮助排出多余的水分。与其他利尿剂不同的是,在排出水分的同时,猫...(展开)

热博

 高星酒店的“双11”选择题

本文来自微信公众号“空间秘探”(ID:MESPACE007),作者:许柚。又一年“双11”落下帷幕,这是“双11”成为“国民消费节点”的第十四个年头,也是自20...(展开)