8月10日晚,小米发布会的召开,给人留下印象最深的不是手机如何,而是在发布会最后雷军公布的小米仿生四足机器人CyberDog,中文名铁蛋。 CyberDog(铁蛋)是一款工程探索版的仿生四足机器人。其12个自由度的四足移动平台,具有优越的平衡能力与环境适应能力,对于无规则地形有很好的环境适应性。 搭载视觉感知相机,使CyberDog具备优异的人脸、人体识别与跟踪能力;融合触摸传感器、语音Al模块,APP等可以实现多模态的人机交互,使CyberDog成为用户的陪玩伙伴。在开放更多功能操作与代码后,CyberDog也可以满足机器人表演、娱乐、科教等广泛的行业使用。 CyberDog(铁蛋) 仿生四足机器人工程探索版米粉价9999元,将在小米社区开启首批共创体验官招募。最后,小米还宣布:小米机器人实验室正式成立,并邀请机器人领域精英工程师加入,此外小米计划筹建机器人开源社区。 这其中笔者注意到铁蛋采用了NVIDIAJetsonXavierNX边缘AI超级计算机,要知道铁蛋的售价是9999元,而这个模块的成本就达到了399美元(约合人民币2600元左右),25的成本都用在了这里,NVIDIAJetsonXavierNX究竟有什么过人之处? NVIDIAJetsonXavierNX边缘AI超级计算机 01NVIDIAJetsonXavierNX 首先我们来看一下NVIDIAJetsonXavierNX的产品信息和性能参数,它的算力为21TOPS,分别由10W和15W两个模式,整体功耗非常小,模块尺寸仅为7045mm(比我们常用的银行卡还要小),但性能却异常强劲。根据小米铁蛋的官方宣传图来看,采用的为15W高算力模式。 JetsonXavierNX两个版本的参数 另外JetsonXavierNX对外界设备的支持和兼容性也很好: 在CPU方面,配备了6核CarmelArm64位的CPU,拥有6MBL2缓存4MBL3缓存。GPU方面,拥有384个CUDA和48个TensorCore的NVIDIAVolta架构,外加两个NVDLA。 不少玩家可能会惊呼,384个CUDA和48个TensorCore能有多少算力?但对于Xavier系列,算力不止由GPU的CUDA核心提供,评估较为复杂。 JetsonXavierNX 如果仅看GPU的FP32算力,有845GFlops,其中48个TensorCore,提供了6。8TFlops的FP16算力;两个NVDLA(DeepLearningAccelerator),提供FP16和INT8支持。这样总计就有21TOPs的INT8算力,这些只需要消耗15W功耗。如果切换到10W模式,也能提供14TOPs的算力。 铁蛋的配置 CUDA和TensorCore熟悉显卡的朋友都比较熟悉,而后面的NVDLA(NVIDIADeepLearningAccelerator)为NVIDIA开源的一个开放框架,具有很好的可扩展性和配置性,为深度计算提供了一个简单灵活的推理加速解决方案。 NVDLA核心内部架构 NVDLA硬件主要包含卷积核心(ConvolutionCore)、一维数据处理器(SingleDataProcessor)、二维数据处理器(PlanarDataProcessor)、通道数据处理器(ChannelDataProcessor)、专用内存与数据形状重塑引擎(DedicatedMemoryandDataReshapeEngines)。 我们继续说JetsonXavierNX,内存方面采用了8GB128bitLPDDR4x内存,带宽为51。2GBs。LPDDR内存通常被用在移动端产品,相比我们熟悉的DDR系列内存,它最大的特点便是低功耗。 铁蛋浑身遍布传感器 JetsonXavierNX在视频输出方面支持24K30编码和24K60编码,拥有最多6个CSI摄像头(通过虚拟通道最多36个),12路(34或62)MIPICSI2接口,并且该模块拥有千兆以太网连接。其中摄像机串行接口2(CSI2)提供了更高的接口带宽和更好的通道布局灵活性,最重要的还是降低了接口功耗,改善了并行难以扩展的问题。 01CybDog快进到赛博精神世界 我们都知道,这个JetsonXavierNX模块就相当于铁蛋的大脑,那么这个大脑具体能干什么,只是记住操作指令吗? NVIDIA表示,JetsonXavierNX是目前全球最小的AI超级计算机,它的计算能力为许多嵌入式边缘计算设备敞开了大门,这些设备对性能需求大,但却收到尺寸、重量、功耗或成本的限制。其中包括小型的商用机器人、无人机、智能高分辨率传感器(工厂物流和生产线)、光学检测、网络录像机、便携式医疗设备以及其他工业物联网系统。 此前在GTC发布会上,NVIDIA发布了一个demo,演示了云原生技术帮助开发者在NVIDIANGC训练好的模型,即在JetsonXavierNX设备端上同时运行4个任务。左上角是4路视频的行人检测,左下角是多人姿态估计,右上角是使用了BERT的语音对话机器人,右下角是Gaze目光追踪。而这一切都同时在一块树莓派大小的板子上运行。 使用JetsonXavierNX演示的4个demo 这4个Demo展示出了JetsonXavierNX在智慧视频分析和机器人应用上的潜力。Demo中虽总共只有6路视频流,但JetsonXavierNX实际能进行16路H。264编码的1080P视频流解码。如果使用H。265编码,甚至可以支持到32路。那么左上角的Demo就可以用来做人数统计,甚至在加入重识别后可以分析活动轨迹。 而姿态估计的应用就更为广泛,并且在机器人领域中有着更大的价值,可以让铁蛋进行手势识别,动作分析,并根据分析结果执行进一步操作指令。 右侧两个技术则提供了构建对话机器人的良好范例。通过Gaze目光追踪,铁蛋可以知道用户是在跟自己说话,还是跟旁边的第三者。 快进到赛博精神世界 当然,在未来机器人的应用远不止这4个demo,JetsonXavierNX这种高算力低功耗超级计算机的出现,极大的扩展了我们的思路和应用场景。或许在不久的将来,机器人就可以观察我们的情绪,通过AI判断出适宜的对话内容,或许以后再我们不开心的时候,机器人可以亲手泡上一杯咖啡,端到我们面前。 AI计算的突破不仅让我们的生活变得更方便,也逐渐变得更有人情味儿。正如铁蛋的官方名称CyberDog,让我们离赛博精神世界又进了一步。 但话又说回来,赛博世界真的好吗? (7744018)