百度PaddleFluidv1。3版本官方正式发布

　　前言：
　　PaddleFluidv1。3版本于今日发布，在基础框架、预测引擎、模型建设、分布式训练各个方向上完成多项升级。
　　高效先进的视频分类库
　　新增视频模型库，提供5个视频分类经典模型以及适合视频分类任务的通用骨架代码，用户可一键式高效配置模型完成训练和评测。
　　视频理解权威竞赛ActivityNetKinetics视频动作识别任务冠军方法stNet的resnet50版本开源实现。
　　基于PaddlePaddle的NLP里程碑Bert模型
　　新增支持NLP语义表示BERT模型，支持多机多卡训练，支持混合精度训练，训练速度对比主流实现提升50，提供完整部署示例。
　　性能大幅提升的分布式训练
　　大规模稀疏参数服务器Benchmark发布，CPU多机异步训练发布显著提升点击率预估任务IO吞吐的builtinreader，多机多卡训练性能多方面提升。
　　下面将PaddleFluidv1。3版本所发布的内容，全面介绍给广大开发者：
　　重要更新统一Executor和ParallelExecutor接口，用户只需通过CompiledProgram将单卡模型转化多卡模型，并利用Executor进行训练或者预测。正式发布AnalysisConfig预测接口，支持计算图分析、算子融合等优化，并支持利用IntelMKLDNN、NvidiaTensorRT子图引擎等第三方库的加速。模型库新增发布PaddlePaddle视频模型库，提供5个视频分类经典模型以及适合视频分类任务的通用骨架代码，用户可一键式高效配置模型完成训练和评测。新增支持NLP语义表示BERT模型，支持多机多卡训练，支持混合精度训练，训练速度对比主流实现提升50，提供完整部署示例。大规模稀疏参数服务器Benchmark发布，CPU多机异步训练发布显著提升点击率预估任务IO吞吐的builtinreader，多机多卡训练性能多方面提升。新增支持IntelDeepLearningBoost（VNNI指令集）。在新一代的IntelXeonScalableProcessor上，使用这个特性的一些模型，INT8预测性能可以达到FP32的2倍。
　　基础框架安装新增Linux和MacOS下的中文版本辅助安装脚本，提供交互式安装方式，协助用户在复杂环境下快速完成PaddlePaddle安装。Windows支持优化：新增cuda8，cudnn7的GPU支持，新增AVX指令集、MKLDNN、mnist数据集支持。修复Windows加载LinuxMac下同版本paddle训练模型的问题。增加动态图基础功能动态图tracer、autograd、pythonLayerPyLayer，动态图支持MLP、GAN、ptbRNN、Resnet模型，动态图支持Optimizer、GPU训练。Executor和ParallelExecutor接口优化对Executor和ParallelExecutor接口进行统一，用户只需通过CompiledProgram将单卡模型转化多卡模型，并利用Executor进行训练或者预测。ParallelExecutor优化对MultiDevSSAGraphBuilder进行重构，使得MultiDevSSAGraphBuilder更易扩展。去除ParallelExecutor中的设备锁，提升ParallelExecutor多卡调度性能。中间表达IR和Pass方面的优化完善CIRgraph的python接口以及CIRpass的python接口。在framework。py中新增IRGraph类，为在Python层编写IRPass做准备。新增支持网络无锁更新的Pass。新增QuantizationTransformPass，此为QuantizationAwareTraining量化模式训练前的图修改操作部分。内存和显存方面的优化新增支持在编译时加入Jemalloc作为动态链接库，提升内存管理的性能，降低基础框架内存管理开销新增memoryoptimize，inplacepass，memorypoolearlydeletion等显存优化策略。新增支持网络无锁更新的Pass。新增QuantizationTransformPass，此为QuantizationAwareTraining量化模式训练前的图修改操作部分。Operator整体层面的优化每个op在执行前只做一次scope查询，减少读写锁操作（原来需要做15次scope查询）新增TemporaryAllocator，减少op中的同步操作新增pyfuncoperator，支持pythonop接入，用户可以借助pyfuncOperator快速实现所需要的特有操作重构DDim，VariableType等，降低基础框架调度开销。INTELFP32计算相关优化优化densitypriorboxoperator，单op四线程提速3倍。优化Stackoperator，单op提速16倍。开发Transpose，Concat和Conv3d三个基于MKLDNN的kernel。修复lrnoperator中MKLDNNkernel精度bug，同时单op提速1。3倍。修复MKLDNN初始化占用5G内存的问题，目前初始化占用500MB。减少从MKLDNNOPkernel到非MKLDNNOPkernel时不必要的reorder。完善CPUJitKernelsequencepooling的jitkernel，纯op提升2倍。softmax的jitkernel，纯op提升2倍，同时使得Bert模型CPU预测提升26。常见的基本逻辑：向量的每个元素求平方kVSquare、矩阵乘法kMatMul、向量的最大值kHMax、向量所有元素的和kHSum。
　　预测引擎
　　服务器预测正式发布AnalysisConfig预测接口，支持计算图分析、算子融合等优化，并支持利用IntelMKLDNN、NvidiaTensorRT子图引擎等第三方库的加速。预发布intelCPU上的预测INT8离线量化方案开发Conv2D，Pool2D，Quantize，Dequantize四个基于MKLDNN的INT8kernel。预发布Calibration的3个核心PythonAPI（paddle。fluid。contrib。Calibrator）。开发Calibration工具，保证FP32和INT8的精度在ResNet50和MobileNetV1在ImageNet验证数据集上相差在1内。支持IntelXeonCascadeLakeServer（VNNI指令）及IntelXeonSkyLakeServer，性能提升约为1。33倍。CPU预测速度提升fusesequencepoolingconcatop，支持N（lt；200）个sequencepoolingopconcat起来组成一个新op，整体使得seqpool模型CPU预测提升56。fuse连续重复的fcop为一个大op，使得seqpool模型CPU预测速度提升15。fuse逻辑为（（XY）。2（X。2Y。2））。scalar的op组合，使得seqpool模型CPU预测速度提升8。2。针对输入tensor元素个数为1的情况，优化compareop的CPUKernel。新增PaddleTRT对CalibrationINT8的支持，GPU预测速度提升模型VGG，Resnet50上预测速度达到了PaddleTRTfloat32的两倍性能。模型VGG，Resnet50在imagenet数据集上测试，精度下降0。3以内。算子融合增加fc和con相关两个fuse，作用于convopCUDNNkernel。新增ConvAffineChannel的融合pass，FasterRCNN运行的性能提升26。8。新增TransposeFlattenConcat融合pass，MobilenetSSD模型性能提升15。实现beamsearchoperator的CUDAKernel，并且将相应的topk、elementwiseadd、reshape、log计算融合到beamsearchoperator中。功能完善及易用性提升新增CIRgraph的Python接口。新增预测库的Python接口。服务端预测支持从内存加载模型。其他删除legacyV2代码。从1。3版本起，不再支持V1amp；V2老版本功能。修复PaddleTRTelementwisemul模型运行出现问题的bug。修复PaddleTRTtrtenginestream多个连续输入情况下模型输出结果异常的bug。
　　移动端预测效率优化，常见模型预测速度提升int8预测支持dequantize和其他op（batchnormalizationreluelementwiseadd）进行自动kernel融合。transpose2operator对于shufflechannel操作进行优化。gruoperator使用neon指令进行优化，并针对batchsize为1时进行优化。优化和实现pooling，支持任意的padding。优化和实现batchnormalization、softmax、elementwiseadd。新增支持多个输入和多个输出的模型预测。新增实现prelu6operator、castoperator、topkoperator。修复int8offline量化溢出结果不对的问题。修复winograd实现在输入featuremap的height和width不相等时结果可能为0的bug。
　　模型建设PaddleCV智能视觉新增发布PaddlePaddle视频模型库，包括五个视频分类模型：AttentionCluster、NeXtVLAD、LSTM，、stNet、TSN。提供适合视频分类任务的通用骨架代码，包括数据读取和预处理、训练和预测、网络模型以及指标计算等多个模块。用户根据需要添加自己的网络模型，直接复用其他模块的代码，快速部署模型。新增支持目标检测MaskRCNN模型，效果与主流实现打平。语义分割DeepLabV3模型，depthwiseconvop融合，显存优化，显存占用对比上一版本减少40。PaddleNLP智能文本处理新增支持NLP语义表示BERT模型，支持多机多卡训练，支持混合精度训练，训练速度对比主流实现提升50，提供完整部署示例。机器翻译Transformer模型优化解码计算，decoder中加入对encoderoutput计算结果的cache，预测速度提升一倍。PaddleRec智能推荐SequenceSemanticRetrieval新增单机多线程、单机多卡运行示例，添加预测功能、数据预处理优化，完善部署示例。GRU4Rec新增负采样功能，使用bprloss和crossentropyloss的效果与原作打平。
　　分布式训练大规模稀疏参数服务器Benchmark发布测试真实业务场景下，特征规模百亿、样本平均特征数1k的点击率预估任务，在batch512情况下，100worker加速比90。5，吞吐量1。36Ms。CPU多机异步训练发布面向点击率预估任务的builtinreader，Criteo数据集下IO总吞吐提升1300。GPU多机多卡水平扩展性能提升新增并行模式：PG（ParallelGraph）、MP（MultiProcess），独立GPU卡之间的计算，提升性能同时，不影响模型精度。在ResNet50模型，单机8卡V100下，PG，MP模式提升训练性能30以上；4机32卡，PG模式提速46，MP模式提速60。在BERT模型，8卡V100下，PG，MP模式提升训练性能26。MultiProcess模式相比ParallelGraph模式对Reader速度敏感度不高。GPU多机多卡垂直扩展性能提升新增功能：fp16和混合精度训练Fp16单机单卡加速情况：ResNet50提速约87，BERT提速约70。BERT同时开启PG和混合精度，单机8卡下单位时间吞吐提升120。ResNet50同时开启混合精度训练和MP模式，在V100单机8卡、4机32卡下，单位时间吞吐提升100。典型模型收敛速度优化新增功能：动态BatchSize，动态ImageResize方法。Resnet50onImagenet数据集：训练收敛轮数下降为标准训练方法的13左右。
　　VisualDLVisualDLgraph支持Paddlefluid保存的模型可视化展示。