不知不觉2020年已经接近尾声,过去一年的智能手机市场和往年一样是热火朝天,有一个明显的特点是各大手机厂商越来越重视高端旗舰产品,从年初三星GalaxyS20全球首发高通最新的旗舰移动平台骁龙865开始,随后是小米10系列、小米10Pro至尊纪念版、一加8Pro、FindX2Pro、iQOONeo3旗舰之上还有至尊旗舰,各种卖点各种花样层出不穷。 在这些旗舰手机身上,厂商们也更加重视差异化的竞争,例如有主打发烧性能的游戏手机,有死磕顶级拍照的影像手机,还有主打美观颜值和系统交互的小而美机型,而在这诸多的看点中,我们经常听到的一个词是AI。性能需要AI,拍照需要AI,系统交互也需要AI,如今AI已经融入到智能手机的方方面面,而智能手机的这些AI,往往又和一个角色分不开,那就是骁龙865移动平台。 也许过去,我们总是认为,作为旗舰手机标配的骁龙移动平台是以强劲的性能为手机带来优质的使用体验,而现在,我们需要改观了,以骁龙865移动平台为例,在性能之上,强大的AI能力会将智能手机的体验带到更顶级的层次。 今天我们就来盘一盘,骁龙865移动平台是怎样通过AI能力赋能一众旗舰手机的。第五代AIEngine,旗舰手机智慧化体验的基石 在盘点各种智能手机之前,我们需要先对高通骁龙865移动平台的AI能力有一个详细的了解。 众所周知,骁龙移动平台的AI能力主要通过高通自家的人工智能引擎AIEngine展现,而在骁龙865上,则是第五代AIEngine。 我们知道,AI运算和传统CPU、GPU负责的整数、浮点运算属于不同类型的运算,CPU、GPU自己很难搞定,因此需要专门针对AI运算的功能模块。这个功能模块可以是专门的AI芯片,也可以是一种整合CPU、GPU等运算资源的功能机制,让SoC更适合处理AI运算,而高通的AIEngine属于后者。 高通在传统CPU和GPU的基础上,加入了一枚更适合处理AI运算内容的Hexagon向量处理器,而AIEngine的工作主要就是协调好CPU、GPU和DSP(Hexagon处理器)三种核心的工作内容。 CPU、GPU和DSP(Hexagon处理器)这三种核心各自擅长不同的运算,其中,CPU擅长逻辑控制与串行运算,GPU擅长大规模的并行运算,而DSP中的Hexagon张量加速器特别擅长高开销等级的矩阵乘法运算。 AI运算需要融合传统的高性能串行计算和新兴的并行运算,在智能手机这种移动终端中也包含大规模的乘法运算,所以高通骁龙这种异构运算的思路非常契合深度学习的运算需求。 具体到骁龙865的第五代AIEngine上,它由Kryo585CPU、Adreno650GPU、新一代Hexagon处理器、ISP、高通传感器中枢(SensingHub)、安全处理单元、调制解调器,甚至QuickCharge等模块组成,在他们的支持下,第五代AIEngine的AI能力才能实现大跃进。 其中,骁龙865的Kryo585CPU的性能相比上代提升了25,能效提升25,而Adreno650GPU的性能相比上一代也提升了25,能效提升了35;新一代张量加速器Hexago的TOPS性能是前代张量加速器的4倍,运行能效提升35。 综合起来,骁龙865移动平台的第五代AIEngine的AI性能相比上一代提升了2倍多,具体到体运算力上,可以达到15TOPS,也就是每秒15万亿次运算的水平。 不仅如此,在第五代AIEngine中,传感器中枢让终端能够以极低功耗感知周围情境,高精度语音侦测确保语音助手能够清晰准确地接受用户指令,而增强的始终开启的传感器和智能声音识别进一步将情境感知AI提升至全新水平。 此外,它还支持深度学习带宽压缩技术,可以实现高达50压缩比的无损压缩,配合全新LPDDR5所带来的30的带宽提升,可以进一步AI处理能力。 可见,骁龙865的第五代AIEngine拥有强大的AI能力,这种AI运算能力是它能够在游戏、拍照、交互等领域助力各大旗舰手机提升体验的基础。游戏性能,不仅仅是更流畅 这两年游戏手机的热度持续不减,很多手机品牌都开辟了自家的游戏手机产品线,2020年游戏手机仍然火热,像腾讯黑鲨游戏手机3、努比亚红魔5G、vivoNEX3S、iQOONeo3、拯救者电竞手机Pro、ROG游戏手机3等。 在这些游戏手机中,骁龙865第五代AIEngine通过智能调度SoC中CPU、GPU和DSP等模块的AI运算资源,一方面可以极大提高游戏手机运行游戏的流畅性体验,另一方面还可以为游戏手机带来一些独家的功能体验。 在游戏流畅性方面,IT之家以努比亚红魔5G手机为例,在最高画质下玩10分钟的《和平精英》,游戏过程丝滑流畅,测得平均帧率为59。7fps。 再看游戏运行时CPU、GPU的调度情况,无论是CPU的各个核心,还是GPU的性能输出,都很有规律且保持稳定,这就是基于第五代AIEngine对两者性能实时、合理的分配实现的,体现在结果上,就是游戏运行时的始终平稳、流畅。 随后IT之家还用iQOONeo3手机测试了《和平精英》90帧HDR画质的运行状况,游戏时长仍然为10分钟,从结果看,Neo3的平均帧率达到了89。5FPS,可见骁龙865第五代AIEngine为游戏手机带来的流畅性体验上限还是比较高的。 除了流畅性体验,骁龙865的第五代AIEngine还可以辅助游戏手机实现一些独特的功能,例如努比亚红魔5G手机的游戏插帧,就是很有意思的功能。 游戏插帧在红魔5G手机上叫做TouchChoreographer游戏插帧算法,IT之家以《巅峰战舰》这款游戏为例进行了体验。红魔5G的屏幕刷新率可以高达144Hz,因此游戏插帧也可以插到144fps。游戏过程中的平均帧率可以达到141。5fps,从帧率变化的图上,我们可以看到AIEngine不停尝试调节游戏帧率的过程,当帧率下滑时,立刻能够补上去,实际的游戏效果也是非常顺滑。 影像能力,让摄像头成为手机的智慧之眼 说到影像,绝对是这两年智能手机上的明星功能,是各大手机厂商都在费尽心思打磨的功能点,而在大家打磨自家旗舰手机的拍照效果和体验时,骁龙865的第五代AIEngine无疑是他们可以利用的一大工具。 从原理上讲,第五代AIEngine对手机影像能力的提升,主要是作用于Spectra480ISP对图像数字信息进行去除噪点、高光抑制、暗光补偿等处理的过程以及后续更多优化算法处理的过程。 图像视频信息处理计算复杂度极高,但AI中的卷积神经网络恰恰擅长这样的信息处理,更重要的是,它不仅是提高拍照的水平,还能实现很多智能的相机应用,例如人脸解锁、拍照场景优化、智慧美颜、拍照翻译、拍照背景虚化等。 2020年有很多影像能力出色的旗舰手机,例如小米10至尊纪念版、魅族17、OPPOFindX2、OPPOReno4Pro等等。 IT之家首先以小米10至尊纪念版为例,这款手机支持一项双原生ISOFusion技术,这项技术可以同时拍摄两张低原生ISO图像和高原生ISO图像,然后彼此融合成一张高动态范围照片,这个技术实现时对运算的要求比较大,基于骁龙865的第五代AIEngine,则可以很好地完成。 比如下面这张样张(自动HDR),窗外的天空色彩真实清晰,而机舱内的暗部细节也能精准的记录下来,样张有着非常出色的宽容度表现。 夜晚光线不足时,小米10至尊纪念版拍摄的样张画面也足够通透、亮度充足,画面纯净度也很高,而打开夜景模式后,高光控制更加优秀,可以呈现出了一流的夜拍动态范围表现,可见高通第五代AIEngine在辅助成像算法计算方面强大的能力。 除了小米10至尊纪念版,OPPOReno4Pro也是一款拥有出色拍照表现的手机,我们直接以考验更严苛的夜间拍照来举例。 下面这张照片,在华灯初上的傍晚,OPPOReno4Pro在嘉陵江上可以很好的拍摄到远处光线复杂的场景,桥面边缘清晰,同时,灯光也没有溢出情况出现。 拍照成像之外,旗舰手机们利用骁龙865的第五代AIEngine还可以实现更多智慧化的功能。例如拍照翻译。我们还是用OPPOReno4Pro来介绍,在Reno4Pro中唤醒语音助手小布,然后对她说帮我翻译,就可以直接调出摄像头进行拍照翻译。 还有AI快速识别物体,也是手机通过第五代AIEngine的计算机视觉能力来进行的,IT之家也用Reno4Pro尝试识别了物体,速度和准确度都很高。 系统交互及其他AI能力,全面提升智慧体验 正如前文所说,骁龙865的第五代AIEngine对于旗舰手机的体验升级是方方面面的,游戏、性能和影像是其中比较高频的应用,而在日常生活中,我们需要用到AI的地方还有很多,旗舰手机能利用第五代AIEngine做的事也还有很多,这些事融合在各家手机品牌的系统中,成为定义这些手机的标签之一。 例如在vivoNEX3S手机中,有一款《翻译机》自带应用,这个应用就利用第五代AIEngine作出了语音实时翻译的功能。 大家可以看下面这段测试: 实时翻译需要智能手机在极短的时间里快速处理大量的语音信息,并通过AI能力理解语义,对手机AI能力的挑战是很高的。通过测试可以看到,vivoNEX3S的确可以将一段英语的朗读内容实时地翻译成中文,翻译的结果也能够让人满意,尽管难免有局部不准确的地方,但至少可以让人看懂这段语音讲了什么内容。 还有OPPOFindX2Pro上的MotionClear视频动态补帧功能,这个功能可以把我们平时看的24帧、30帧的视频优化到60帧甚至120帧,从而让我们看到的视频画面更接近人眼现实中看到的画面,增强视频的逼真度。 IT之家在评测OPPOFindX2Pro时就体验过这个功能,特别是在一些动画片和体育节目中,经过MotionClear视频动态补帧优化后的视频明显看起来比普通的视频更加真实、流畅。 在原生24帧的视频中进行补帧,需要对视频的画面进行快速实时的分析,然后确定如何添加帧数,这同样对AI的运算性能是巨大的考验,MotionClear动态补帧之所以能实现,也是因为骁龙865第五代AIEngine的运算性能达到了补帧的要求。 最后还有一个比较有意思的应用,就是在魅族17Pro手机Flyme8系统中的Aicy识曲功能。平时我们看视频时经常会遇到不少好听的背景音乐,但又不知道叫什么名字,有两台手机的还好,打开音乐软件用听音识曲功能搜索,但随身携带两台手机的小伙伴毕竟是少数,更多时候,是那些好听的歌曲带着遗憾与你之擦肩而过。 而魅族的Aicy识曲则利用AI的能力,在一台手机中做到了听歌识曲,你只要长按抖音快手短视频触发小窗打开音乐App(如QQ音乐酷狗音乐网易云音乐),就能轻松获取流行BGM。 结语 在AI技术如火如荼的今天,手机越来越聪明,越来越智能,无疑是大势所趋。但是仔细思考,如何让手机更加聪明,却不是一件轻易的事,需要底层芯片和技术提供商、终端厂商以及应用生态的联合,才能做到。 而高通基于骁龙移动平台的AIEngine相当于为手机更加聪明提供了一个可能性,它是骁龙手机的AI运算之源,利用强劲的AI算力,终端厂商和应用生态的企业才能构造出更多的AI功能和应用,就像上文介绍的,众多旗舰终端利用第五代AIEngine挥洒创意,作出了很多非常实用且有创意的功能,相信未来随着骁龙人工智能引擎算力的增强,这些终端和功能会逐渐构筑成一个全场景的智慧体系,彻底改变我们的生活。