聚热点 juredian

【名词解释】影像战略发布会

一、理念名词

1.1-【人性化的专业影像】

vivo希望把各种复杂的影像技术和经验都放进手机,只需要简单地按下快门,就能创作出属于你的作品。专业创作者可以用它满足极限环境下的创作需求,普通人也可以通过简单操作收获令人动容的影像。这就是vivo所一直追求的“人性化的专业影像”。

1.2-【还原眼之所见,超越眼之所见】

还原,是对客观世界的记录;超越,则是把主观情感投射到影像中,是vivo的影像理念。

二、影像技术矩阵名词

2.0-【vivo影像技术矩阵】

vivo影像技术矩阵具体分为七个部分:光学感知系统、臻彩还原引擎、超清画质引擎、算力加速引擎、环境理解技术、超感人像系统、苍穹夜景系统;目标达到“三个比肩”:比肩专业影像设备,比肩专业摄影团队,比肩专业后期能力。

2.1-【光学感知系统】

光学感知系统包括光学模组和镀膜等技术。比如VCS仿生光谱技术,通过改善Sensor QE光谱,提升信噪比和色彩还原能力,让传感器接收的原始信息不断接近人眼,打造良好的成像基础。

2.2-【臻彩还原引擎】

主要支撑技术为智能AWB和智能白加黑减,能够提升白平衡准确性和大面积“白”“黑”场景的曝光准确性,将vivo的色彩表现和影调观感优化到极致。

2.3-【超清画质引擎】

超清画质引擎的典型技术为光学超分算法,通过对镜头的缺陷建模分析,恢复了约35%的损失信息。光学超分算法是实现超清画质的起点,引擎中还有Denoise、Demosaic、Deblur等模块,进行耦合训练,形成了系统性的AI画质方案——超清画质引擎。可以实现多帧画质重建,达到更好的画质和更广的动态范围。

2.4-【算力加速引擎】

算力加速引擎,是一套软硬结合的加速方案,vivo基于自研芯片和平台SOC设计研发了CV异构加速引擎和vDNN深度学习加速引擎,是分别针对传统CV算法和AI算法的加速引擎,可支撑多芯结合的异构加速,实现多信息协同并高速处理。

2.5-【环境理解】

环境理解会对场景进行识别,比如色温和亮度检测的技术、运动检测的技术,基于环境的进行信息提取,协助3A等模块,作出最佳的拍摄判断。

备注:3A技术即自动对焦(AF)、自动曝光(AE)和自动白平衡(AWB)

2.6-【超感人像系统】

超感人像系统三大核心技术模块:人像理解、人像美化、人像氛围。

第一步,人像理解——像摄影师一样读懂人像信息

vivo“人像理解技术”会像专业修图师一般进行分区检测,对人脸进行语义重点和轮廓细节的提取,建立多达103个特征点的关键人脸坐标,点位精度误差小于2像素。同时,会对画面中的皮肤、手势、肢体关键点进行检测,主体分割IOU达到了96.15%的精确度,为静态人像重塑和动态人像抓拍提供了精细化的处理能力。

第二步,人像美化——微米级人像细节美化

vivo以不同年龄、性别、场景的数以百万计的素材,经过反复的机器学习成长,推出vivo全新升级的微米级焕肤塑颜技术,使皮肤观感更加自然、健康,也更好地保留了五官的立体感。

第三步,人像氛围——营造独特的氛围感

vivo对于人像的思考不止于人,人与景的关系是人像的另一个重要的维度。vivo“人像氛围融合”技术,基于人像语义理解,在影调、色彩、亮度、虚化等层面上进行人与场景的融合处理,实现人与景和谐、自然的效果。

2.7-【苍穹夜景系统】

苍穹夜景系统进行全面AI升级,基于百万夜景照片训练出三个全新模型:超感光模型、全分割语义模型和臻彩影调模型。超感光模型:将感光能力最大提升了100%,ISO最高可支持102400;全分割语义模型和臻彩影调模型联合,实现了自适应的影调和色彩调整能力。

三、影像芯片名词

3.1-【AI-ISP】

在下一代自研芯片的设计中,vivo升级了全新的架构,从传统ISP架构升级到了AI-ISP架构,实现了跨越式的技术革新。传统ISP能以极低延时处理大量的数据流水,但是只能解决已知的、特定的问题。AI擅长处理复杂的、未知的问题,但是延时较大。

AI-ISP结合两者的优势,相当于给传统ISP芯片加一个新的AI大脑,这个AI大脑的神经元分布是网状结构的,更适合海量的发散式信息处理。相比于传统的架构,AI-ISP能够通过硬件直连的方式将AI计算直接融入ISP Pipeline中,完成数据的无缝缓冲和处理,处理能力、处理能效都有大幅提升。

基于AI-ISP这个架构革新,vivo在下一代自研芯片上实现了三大突破: 片上内存单元的突破、AI计算单元的突破、图像处理单元的突破。

3.2-【vivo自研片上内存单元】

作用:提升数据吞吐速率。

行业常用的DDR架构的内存单元,采用片外存储的形式,存在延迟高、功耗高的弊端,限制了数据吞吐速率,限制了视频类数据推理运算的效率。

为了解决这个问题,vivo在内存单元的设计中,坚持使用昂贵的DDR-Less片内近存运算架构,配合硬化在片上的超大SRAM,实现了运算快、延时低的特征,使数据吞吐速率达到了不可思议的1.3万亿比特(bit/s)。

3.3-【vivo自研AI计算单元】

作用:带来超高的能效比。

vivo选择了更适合做复杂计算成像运算的DLA加速器。AI算法是数据驱动的。在运算过程中,需要大量的数据比较、拟合。要想进一步突破能效比,就要解决延迟和功耗两方面的问题。

延迟方面,DLA加速器中内嵌了专用的片上SRAM,并且可以与其他模块共享自研内存单元上的系统缓存,大幅减少了数据访问延迟。

功耗方面,vivo将算法和DLA联合定制设计,实现了软硬协同优化。DLA加速器的峰值能效比达到每瓦16.3万亿次运算(Tops/w),妥妥的天花板水平。

【备注】DLA是Deep Learning Accelerator深度学习加速器的缩写

3.4-【vivo自研图像处理单元】

作用:带来了全新的算法效果。

比如AI-NR降噪算法。结合新的硬件能力,vivo把V1+的NR算法做了AI化的升级,通过AI运算,带来了更好的夜景画面细节,夜景降噪效果提升了20%(vivo实验室)。

再比如HDR影调融合(Tone mapping)算法,配合电影级的3D LUTs色彩风格,可以满足专业用户的一级整体调色、二级局部调色的需求。在城市夜景下,动态范围较之前,理论最大提升4EV。

还有大家熟悉的MEMC插帧算法,也进一步改善了延迟问题,提升了效果。

四、风光/夜景相关技术名词

4.1-【“智能白加黑减”技术】-影调技术

有经验的摄影师,会根据主体与所处环境的关系调整曝光,手动增加或者减少曝光,这就是摄影中的“白加黑减”。在X80上,vivo推出了“智能白加黑减”技术。现在vivo又将AE训练集拓展至原来的5.5倍。将用户痛点场景进行了影调优化,曝光准确性提升了14%,观感上更加通透立体。

备注:白加黑减的原理

白加黑减不是适合所有的场景拍摄,只有在拍摄物体是纯白色或纯黑色的情况下,相机的智能系统会认为物体过曝或欠曝,会自动降低白色的曝光和拉高黑色的曝光,本身白色和黑色的物体就成了灰白和灰黑的状态(也就是18度灰),所以要加曝光补偿和减曝光补偿去还原白色与黑色的纯度。

4.2-【SuperRAW】-画质技术

vivo为专业人士提供更为强大的RAW输出功能,可以输出14bit高位深的多帧算法融合SuperRAW文件,其色彩信息量是单帧RAW的16倍。理论上可最多承载4.39万亿色的色彩信息,实现高达15EV的动态范围。技术首发vivo X70系列。

备注:RAW格式

有高宽容度的特点,这是源于它记录了大量的原始数据,因此用户可以在原始数据所记录的范围内做自由调整,实现照片的美化及校正处理。

4.3-【光学超分算法】-画质技术

手机因为体积限制,导致在光学上做了一些妥协。以潜望摄像头为例,原始图像经过镜头之后会损失50%的信息。为了改善这种现象,vivo研发了“光学超分算法”,通过对镜头的缺陷做建模分析,恢复了约35%的损失信息。

“光学超分算法”只是实现超清画质的起点,vivo耦合了Denoise、Demosaic、Deblur等模块,经过1亿多次的场景训练,将上一代算法深度运算能力提升10倍,构建了全新的超清画质引擎, 将画质处理从单点方案,升级为系统性的AI解决方案。

4.4-【VCS仿生光谱技术】-画质技术

VCS仿生光谱技术(vivo Camera-Bionic Spectrum)

光线在进入感光元件时,会先通过color filter,而普通图像传感器的color filter光谱与人眼差异很大,需要经过复杂处理后,才能还原人眼所感知的信息,这个处理过程会导致画质变差。VCS技术,就是通过改进color filter,让传感器接收的原始信息不断接近人眼,从而实现更好的噪声表现和色彩还原,信噪比提升20%, 色彩还原提升15%。

【备注】VCS仿生光谱技术,在光学感知环节。和华为计算光学不同,华为的计算光学更像我们的光学超分算法,是感知后的补偿动作。

4.5-【RGBW技术】-画质技术

RGBW技术是在原有的RGB三原色上增加了W白色子像素,成为四色型像素设计,是sub pixel rendering技术方式。在新的像素排布方式下实现色彩表现的一致性。同时大幅度提升了液晶面板的透光率,在显示相同亮度的画面时,其耗电量更低;而相同功耗的情况下,亮度大幅提高,这使得画面层次更加分明,画面更通透。

【备注】X80上已发布技术,作为补充输入

五、人像相关技术名词

5.1-【人像理解技术】

vivo“人像理解技术”会像(click)专业修图师一样进行分区检测,分析人脸的语义重点和轮廓细节,建立多达103个特征点的关键人脸坐标,平均点位精度误差小于2像素。同时,会对画面中的皮肤、手势、肢体关键点进行检测,主体分割 IOU达到了96.15%的精确度,为静态人像重塑和动态人像抓拍提供了精细化的处理能力。

5.2-【微米级焕肤塑颜技术】

利用类似人工智能训练生成对抗网络技术,不断地通过修图器跟修图评估器的博弈来找到修图最好的方向。训练过程简言之就是,给AI一张图片让算法修图,然后去判断,同样一张图跟修图师精修出来的图片相似程度如何,根据判断结果实现AI算法的不断进化。vivo通过对不同年龄、性别、场景的数以百万计的素材的反复的机器学习,打造了全新升级的“微米级焕肤塑颜技术”,使皮肤观感更加自然、健康,也更好地保留了五官立 体感。

5.3-【人像氛围融合技术】

基于人像语义理解,vivo“人像氛围融合”技术在影调、色彩、亮度、虚化等层面上,进行人与场景的融合处理,实现人与景和谐、自然的效果。

5.4-【深度感知虚化】

深度感知虚化,是一项vivo的算法技术。想要还原镜头的成像,一定要通过深度计算获得图片的深度信息,并给予图像合理的虚化效果。vivo的虚化算法结合了双目深度图和人像、手势分割,采用了深度卷积网络,保证焦内主体清晰。焦外物体的虚化程度也是有讲究的,前景到焦平面,焦平面到远景,每个镜头各不相同,但vivo都建立了虚化模型,通过函数计算虚化的程度和光斑大小,最终呈现出景深范围内清晰,景深范围外深度渐进的3D-pop虚化效果。

六、视频相关技术名词

6.1-【HDR影调融合算法】

HDR影调融合技术主要是与视频相关的技术,包括一级整体调色和二级局部调色,同时动态范围也会较之前理论最大提升4EV。

【备注】跟XDR技术、Super HDR有什么不同

XDR技术为显示技术;

Super HDR为拍照技术,目前已经升级到RAWHDR技术。

6.2-【专业LOG模式】

在电影工业中,为了最大限度保证视频的动态范围,常常用LOG方式进行拍摄,以便用户在视频后期中进行精细化的色彩调节,形成一整套的电影创作流程。vivo将LOG模式以及复杂的后期的调色流程进行了前移和简化,基于10bit的LOG文件,在拍摄端提供了多款电影级的3D LUTs色彩风格,通过10bit LOG+3D LUTs的视频解决方案,让普通用户也能通过vivo一键拍出电影感。

备注:Log模式原理

简单地说,相机的图像传感器所记录的曝光信息为线性曝光,但是利用log曲线可以对原始数据的影调进行非线性地调节,使我们能够在有限的数据中保持较多的明暗信息,从而达到更大的动态范围。

搜索建议:【名词解释】影像战略发布会  
热传

 石头智能洗地机A10用着怎样?深...

随着大家生活水平的不断提升,家中的清洁设备已不仅限于吸尘器或扫地机器人,支持吸、拖、洗一体的洗地机同样很受消费者们的欢迎,我便是其中一员。市面上的洗地机品牌、型...(展开)

热传

 高格:如何破局商业地产存量市场

高格:如何破局商业地产存量市场7月28日,中共中央政治局召开会议,分析研究当前经济形势,部署下半年经济工作。会议指出,要保持安全底线。其中,要稳定房地产市场,坚...(展开)

热传

 家中的晚餐

家中的晚餐在寒风飕飕的傍晚时分,每个路人缓缓的走在道路上,我抱着满怀期待的心情,蹦蹦跳跳的回家,“民以食为天”大概就像我这样吧!在经历一天的风风雨雨后,总是盼望...(展开)