英伟达美团机器学习平台使用NVIDIAT4GPU,相比同成本
IT之家12月25日消息,据英伟达官方消息,美团机器学习平台使用NVIDIAGPU,通过算子融合、计算图等价替换等一系列优化,相较于CPU在相同成本约束下,NVIDIAT4GPU大幅加速美团CTR(ClickThroughRate)模型预测性能,神经网络模型吞吐能力提升了10倍;同时在搜索精排场景中,端到端整体吞吐能力提升了一倍以上。
英伟达表示,美团的CTR模型过去一直在使用CPU推理的方式,但随着用户访问量的提升和深度神经网络的引入,CTR模型结构趋于复杂,吞吐和计算量也越来越大,CPU开始不能满足模型对于算力的需求,而仅仅通过CPU服务器的堆叠带来的性能提升性价比相较偏低。而GPU拥有数以千计的计算核心,可以在单机内提供密集的并行计算能力,特别适合深度学习场景,在行业内已经在CV、NLP等领域展示了强大的能力。通过CUDA及相关API,NVIDIA建立了完整的GPU生态系统。基于此,美团基础研发平台将CTR模型部署到GPU上,并通过一系列针对CPU与GPU的异构系统并行计算设计、数据存储方式和传输方式上的特定优化。
IT之家了解到,NVIDIATeslaT4GPU是一款推理加速器,搭载NVIDIATuringTensorCore。官方称,NVIDIATeslaT4GPU具备人工智能推理的多精度计算性能,从FP32到FP16再到INT8,又到INT4精度,T4的性能比CPU高出40倍,实现性能的重大突破。