全球首个AI生成3D虚拟主播参与新闻播报

　　最近一个AI生成的3D虚拟主播火了：输入文字，AI就能生成一个逼真3D数字人，口型精准、表情到位的将新闻播报出来。不仅可以坐着播，还可以站着播，甚至身体可以做出各种姿势动作。下面我们就来聊聊她背后的黑科技：搜狗分身！
　　近日百变新闻主播火了一把！
　　视频加载中。。。
　　她可以一秒换装、实时换发型，还可以同时穿梭在不同的虚拟演播室中。
　　她就是全球首个3DAI合成主播新小微。
　　在不需要后期填补细节的前提下，新小微就已经达到了非常逼真的效果，立体感和交互能力几乎和真人无二。甚至在特写镜头下，连头发丝和皮肤上的毛孔都看得清清楚楚。
　　轻轻松松无缝换装，西装外套像变魔术一样瞬间从蓝色变成了红色，简直是新闻界百变小樱。
　　不光能坐着播报，还能在虚拟直播间里走来走去。
　　实际上，新小微的诞生，是利用搜狗核心人工智能技术搜狗分身，在采集赵琬微真人海量数据的基础上，用AI算法生成的全球首个3D虚拟主播。
　　只要输入文字，就能实时生成逼真的3D数字人视频，轻松做到对口型、秀表情、切机位。
　　全球首个3DAI合成主播：实时多景深切机位，业内第一家
　　当然了，全球首个3DAI合成主播的称号可不是随随便便就能叫的。
　　搜狗3DAI合成主播经受住了这次严峻的考验，在以下5个方面展现了过人的实力。
　　超写实
　　高清特写镜头下，新小微的皮肤材质、毛孔、牙齿、嘴唇、眼睛、头发都清晰可见；AI合成主播讲话时，语音和唇动配合十分默契，面部的肌肉运动也十分流畅。同时，AI主播的眨眼、头动、身摆也更接近真人。
　　3D场景
　　可以做到对3D数字人360度的展现、全方位的呈现，这使得未来可以运用在多机位、多景深的场景下。
　　实时文本驱动
　　我只是给了她一段文字，她却还了我一段逼真的视频。
　　搜狗AI技术已经拥有了给到一个文本，就能实时输出一个视频或者视频流的能力。请注意，它是实时的。
　　现在大家在游戏中、电影中看到的很多NPC人物或3D电影角色，他们可能都是3D建模的，但都需要在前期和后期投入了相当大的人力、时间、财务成本，才能保证模型足够的写实。
　　灵活可控
　　3DAI合成主播是一个完全参数化的、数字化的模型，基于这个模型可以让它做各种各样的动作，可以让他走路、做各种手势，同时头动、身体的运动都非常自然，具有很强的灵活可控性。
　　更强的灵活可控性，代表着这个数字虚拟人可以做出更多复杂的动作，从而适合更多的场景。比如做主播做新闻的时候，可以随时走动、做出各种肢体动作；做老师讲课的时候，可以跟学生互动，做手势等。
　　低成本迁移
　　将一个真人的各种数据做半自动化的数据标注，产生出大量的3D运动数据，结合语音数据、图像数据，共同做多模态建模，最后生成一个可驱动的3D数字人。纯AI模型，效果远超传统3D建模技术
　　搜狗分身的AI硬实力，为传统的3D技术创造了无限的想象空间。传统写实类的3D模型，很多是采用blendshape或骨骼动画去做的。做AI的小伙伴可能不是很熟悉这两个产品，下面我们简单介绍一下。
　　blendshape是3d软件里用来做模型形变的一种技术，通过调整权重，设计师可以将目标模型变化成一系列预定义的模型，或者这些模型的任意线形组合。
　　骨骼动画模型是动画中的一种。在骨骼动画中，模型具有互相连接的骨骼组成的骨架结构，通过改变骨骼的朝向和位置来为模型生成动画。
　　但是，单纯用骨骼动画，模型中只有骨骼参与了移动，没有考虑肌肉协调身体其他部分（比如面部表情）的联动效应，做出的效果就没有这么逼真。
　　那么搜狗的3DAI合成主播是如何实现的呢？
　　首先，基于真人原型采集海量数据：真人赵琬微戴着数据采集头盔，几百个摄像头对其身体各个部位360度全方位打点扫描，采集每一处细节，并对其多种形态的表情和动作进行细致入微地捕捉记录。
　　其次，采用了行业领先的扫描还原算法，以及面部肌肉驱动、表情肢体捕捉等技术，生成高逼真度的3D数字人模型。
　　最后，通过搜狗分身的多模态生成算法对3D数字人模型进行实时驱动、渲染，使其面部表情、唇动、肢体动作和语言表达能力实现了高度契合。
　　3DAI合成主播采用的是全球最领先的肌肉绑定3D模型，从面部表情到肢体动作的细节，达到了影视级作品及游戏NPC的写实度，有时候甚至更高、更自然。纯AI驱动，真正实现了降本增效
　　实际上，游戏或电影里面早就有了类似的虚拟数字形象，那么跟搜狗的3DAI合成主播相比，有什么区别呢？
　　首先，游戏及电影行业多是靠人工驱动才能实现一个高写实的3D模型，需要投入大量的人力和财力成本。扫描一个人，再投入大量的人工，采集他讲的每一个字、每一个发音、每一个动作，靠美术师自己勾画出来，一点一点提升写实度，制作一个小时完整的3D写实视频，大约需要花几千万人民币。
　　游戏行业的专家，对AI主播的效果还是比较认可的。如果想制作一个写实度这么高的3D视频，一分钟视频，一个专业的美术师差不多要花一个月的时间。
　　其次，像现在市面上一些比较火的卡通形象（如洛天依）都是靠真人采集，没有做到真正意义上的AI驱动，搜狗AI很容易就能实现这种仿真的数字形象。
　　而新小微使用了端到端的模型，靠AI算法实时驱动。输入一个文本直接就能输出一个视频或者视频流，生成1分钟左右的视频，仅需要1分钟，总体来看效率几乎是实时的。
　　此次官方宣称的全球首个，是因为他们做了一个3D的、基于AI驱动的数字合成主播，这是全球首创的，而并非一个简单的3D虚拟形象。
　　更厉害的是，这个3D虚拟主播是在不输游戏中人物写实度的前提下，完全使用AI来驱动。打造真正的虚拟个人助理：逼真、实时、可交互
　　说白了，3DAI合成主播只是一个演示案例。但这个案例，却是搜狗以语言为核心的AI战略布局的一次具象化体现。
　　使用搜狗分身技术，能够构建很多数字人的形象。利用这些所谓的分身，可以代替本人做一些重复性的繁杂工作，把人真正解放出来，有更多精力去做更多创造性的工作。目前搜狗分身已经具备了3个特点：多领域。包括媒体、客服、司法等领域都得到了应用可交互。作为一个真正的数字人，可以与人进行对话多语种。不仅支持中文，还支持中英日韩俄五种语音播报
　　除了和新华社合作推出3D主播，搜狗还和平安普惠合作，将搜狗分身应用在面审客服上；和北京互联网法院合作，推出首个AI虚拟法官；搜狗自己还推出了自有IP主播雅妮，以及全球首个AI营养师。
　　显然，做虚拟主播并不是搜狗的真正目的，毕竟这个和他们未来目标相比，难度太低了！
　　他们真正想要的，是通过文本、语音、图像融合而成的高逼真数字人，让AI成为可交互、懂人言、拟人化的虚拟个人助理（VPA）。
　　今天的新小微在新华社做主播，明天的新小微在你身边做小助理。
　　这，才是真智能个人助理。