vivo自研V1ISP芯片全解读超300人24个月研发，效率

　　9月6日消息，vivo今天在一场影像技术分享会上正式介绍了自家的自研ISP芯片V1，并分享了vivo与蔡司联手在手机光学镜头、拍照算法技术方面的新突破。
　　vivo影像产品经理王兆丰说，夜景、变焦、运动防抖、视频等特性是vivo影像系统发力的重点方向。在手机拍照领域，如今算法更重要还是硬件更重要？是vivo此次抛出的核心问题。
　　在发布会结尾，vivo也预热称，9月9日他们的vivoX70系列旗舰手机将会发布，除了这次展示的新技术，vivo还会带来更多拍照技术方面的惊喜。一、等效32MB缓存干翻台式CPU，将算法写到芯片里
　　vivo影像算法总监杜元甲说，消费者现在不光需要手机在常规场景下拍出好照片，也希望在一些高挑战性场景中拍出好照片，比如暗光、运动场景。
　　这些需求都对手机处理图像信息的能力提出了更高的要求。如今拍摄一段30帧视频，每帧图像允许处理器进行运算的时间仅有33毫秒。
　　除此之外，功耗也成了一大挑战：既要提升处理能力，又不能过多增加功耗。为了解决这个问题，vivo的思路是定制化芯片自研算法结合。
　　其实此前vivo在引入定制芯片方面已经积累了一定经验：在vivoX1、Xplay中，vivo就将定制HiFi芯片放入手机，提升手机音频体验。到2017年，vivo将定制的DSP图像芯片放入到X9Plus中，提升手机影像HDR表现。
　　此次，vivo组建了超过300人的研发团队，经过24个月研发，最终推出了V1ISP芯片。杜元甲说，在这枚芯片的研发中，vivo也与手机SoC厂商进行了深度合作，但他并未透露具体厂商名称。
　　2019年，vivo曾与三星联合研发了Exynos9805GSoC，据称今年vivo也将在X70系列旗舰中使用三星Exynos1080SoC，可见vivo和三星一直以来都保持着良好的合作关系。
　　因此我们推测此次vivoISP芯片的合作厂商，大概率是三星。
　　V1是vivo自研的第一颗影像芯片，可以搭配不同的主芯片和屏幕，可以扩充ISP算力、释放主芯片ISP负载。
　　这枚V1芯片在特定图像处理任务时，在性能、延迟、功耗等方面具有优势，杜元甲说，相比CPU、DSP等芯片，V1处理特定任务的效率有指数级提升，也可以完成数据的并行处理。
　　vivo优化了数据在芯片内部的储存架构和高速读写电路，实现了等效32MB的片上高速缓存，读写速度可以达到35。84Gbps，而目前主流旗舰级台式机CPU的高速缓存也仅有16MB左右。
　　那么V1这样的优化有怎样的效果呢，在夜景拍摄中，去噪、插帧等这类对算力需求较大的算法都可以应用进来。在V1辅助下，主芯片可以实现1080P60帧的夜景视频降噪、插帧。
　　在V1的加持下，主芯片可以在低光录像时，以低功耗运行4K30FPS的MEMC去噪和插帧，这辅助并强化了主芯片在夜景下的影像效果，配合主芯片ISP原有的降噪功能，实现二次提亮二次降噪。
　　值得一提的是，vivo通过将软件算法转移至V1的专用硬件电路中，让复杂的计算成像功能在默认拍照和录像预览下即可开启。
　　在高速处理同等计算成像算法时，相比软件实现的方式，V1的专用算法硬件电路功耗降低了50。
　　这也就是vivo所说的硬件级算法。二、蔡司镜片加持，良品率不到60也要死磕
　　vivo光学器件总监朱盼盼说，去年vivo与蔡司达成了合作，从镜片、镜头到滤光片，vivo都联合蔡司进行了创新。
　　他提到，眩光、鬼影、边缘画质差等问题仍然是如今手机拍照的普遍痛点，而这些问题的解决都需要光学器件性能的提升。
　　vivo通过使用高规格玻璃镜片补足了传统塑胶镜片的缺点，朱盼盼特别提到了阿贝数这一性能指标，vivo的玻璃镜片阿贝数达到了Vd81。6，相比上代设计视场色差降低约70。
　　得益于新型玻璃镜片的使用，镜片中心的透光率达到了95，相比传统镜片提升了2。
　　当然，使用玻璃镜片面临许多挑战，比如工艺复杂、良率低，据称这次vivo的玻璃镜片工艺步骤有11道，每100片中才能挑选出60片良品。同时，vivo通过AOA工艺，实现了镜片的动态调整。
　　为了解决眩光、鬼影等问题，vivo采用了SWC镀膜技术，将镜片表面反射率降低至0。1，而此前这一数值为0。8，降低了90。其核心是在镜片表面上做出纳米级纹路。
　　另外，vivo通过ALD镀膜工艺，让镜片上形成0。4nm均匀分布的光学膜层，从而使反射率均匀值到达0。25左右。朱盼盼特别提到，这些工艺已到达成熟量产阶段。
　　为了解决花瓣鬼影问题，vivo通过色素旋涂技术，更好地实现了蔡司T镀膜，可以提升红光的吸收率，从而改善眩光和鬼影问题。
　　去年vivo和蔡司成立了联合影像实验室，朱盼盼说，蔡司的团队给了他们非常大的帮助。三、联手蔡司定义新色彩标准，深度神经网络赋能拍照算法
　　王兆丰继续介绍了vivo在拍照软件算法层面的突破，vivo通过三年10款机型的打磨，形成了自己一套成像色彩风格。
　　不过专业的创作者，更偏向于还原人眼看到的真实色彩，为此，vivo与蔡司联手打造了蔡司自然色彩色彩标准。
　　vivo在P3色域基础上，选择了140色卡指定色彩标准，与蔡司共同制定色彩标准，为了适应更加精细的色彩标准，vivo在粗调试中增加了色彩映射矩阵算法，将调试参数增加到384个。
　　通过这些调试，vivo将照片色相准确度提升了约15。5。
　　另外vivo选择复刻蔡司Biotar镜头提升人像拍摄的效果，但是复刻需要解决不少难题，比如Z方向景深的模拟、XY方向像场的变化、还原镜头光斑。
　　在这其中，vivo通过深度卷积网络，学习了28W张人像分割照片、10W张手势分割图片；另外vivo建立了虚化模型，实现3DPOP虚化效果。
　　在还原镜头光斑形状方面，vivo通过散焦滤波核生成技术，对不同镜头的光斑进行更真实的模拟。
　　除了这些算法之外，vivo在人像拍摄、延时摄影、10bitLog视频拍摄、超级夜景等方面也进行了优化。
　　vivoRAWHDR3。0算法，提升了夜景拍摄样张的色彩表现，通过SuperRAW功能，实现了14bit色深，最大支持10帧合成。
　　结语：手机拍照领域，硬件软件结合加深
　　在自研ISP芯片V1、定制光学镜片、提升镜片加工工艺的同时，vivo也在算法上继续打磨，联合蔡司进行调教。
　　可以看到，算法的实现需要出色硬件的辅助，随着如今图像数据量增加，图像画质要求提升，算法对于硬件性能要求也水涨船高，自研ISP芯片无疑成为了厂商们的一个新的突破口。
　　小米、vivo纷纷推出自研ISP芯片，OPPO的自研ISP芯片也正在路上，如今在手机拍照领域，硬件软件两条腿走路已经成为了大趋势。我们也期待厂商们未来能在芯片层创新上带来更多突破。