深度学习训练模型时，GPU显存不够怎么办？

　　作者丨游客26024知乎（已授权）
　　来源丨https：www。zhihu。comquestion461811359answer2492822726
　　编辑丨极市平台
　　题外话，我为什么要写这篇博客，就是因为我穷！没钱！租的服务器使用多GPU时一会钱就烧没了（gpu内存不用），急需要一种trick，来降低内存加速。
　　回到正题，如果我们使用的数据集较大，且网络较深，则会造成训练较慢，此时我们要想加速训练可以使用Pytorch的AMP（autocast与Gradscaler）；本文便是依据此写出的博文，对Pytorch的AMP（autocast与Gradscaler进行对比）自动混合精度对模型训练加速。
　　注意Pytorch1。6，已经内置torch。cuda。amp，因此便不需要加载NVIDIA的apex库（半精度加速），为方便我们便不使用NVIDIA的apex库（安装麻烦），转而使用torch。cuda。amp。
　　AMP（Automaticmixedprecision）：自动混合精度，那什么是自动混合精度？
　　先来梳理一下历史：先有NVIDIA的apex，之后NVIDIA的开发人员将其贡献到Pytorch1。6产生了torch。cuda。amp〔这是笔者梳理，可能有误，请留言〕
　　详细讲：默认情况下，大多数深度学习框架都采用32位浮点算法进行训练。2017年，NVIDIA研究了一种用于混合精度训练的方法（apex），该方法在训练网络时将单精度（FP32）与半精度（FP16）结合在一起，并使用相同的超参数实现了与FP32几乎相同的精度，且速度比之前快了不少
　　之后，来到了AMP时代（特指torch。cuda。amp），此有两个关键词：自动与混合精度（Pytorch1。6中的torch。cuda。amp）其中，自动表现在Tensor的dtype类型会自动变化，框架按需自动调整tensor的dtype，可能有些地方需要手动干预；混合精度表现在采用不止一种精度的Tensor，torch。FloatTensor与torch。HalfTensor。并且从名字可以看出torch。cuda。amp，这个功能只能在cuda上使用！为什么我们要使用AMP自动混合精度？
　　1。减少显存占用（FP16优势）
　　2。加快训练和推断的计算（FP16优势）
　　3。张量核心的普及（NVIDIATensorCore），低精度（FP16优势）
　　4。混合精度训练缓解舍入误差问题，（FP16有此劣势，但是FP32可以避免此）
　　5。损失放大，可能使用混合精度还会出现无法收敛的问题〔其原因时激活梯度值较小〕，造成了溢出，则可以通过使用torch。cuda。amp。GradScaler放大损失来防止梯度的下溢
　　申明此篇博文主旨为如何让网络模型加速训练，而非去了解其原理，且其以AlexNet为网络架构（其需要输入的图像大小为227x227x3），CIFAR10为数据集，Adamw为梯度下降函数，学习率机制为ReduceLROnPlateau举例。使用的电脑是2060的拯救者，虽然渣，但是还是可以搞搞这些测试。
　　本文从1。没使用DDP与DP训练与评估代码（之后加入amp），2。分布式DP训练与评估代码（之后加入amp），3。单进程占用多卡DDP训练与评估代码（之后加入amp）角度讲解。
　　运行此程序时，文件的结构：D：PycharmProjectSimpleCVPytorchmasterAMP（trainwithout。py、trainDP。py、trainautocast。py、trainGradScaler。py、evalXXX。py等，之后加入的alexnet也在这里，alexnet。py）tensorboard（保存tensorboard的文件夹）checkpoint（保存模型的文件夹）data（数据集所在文件夹）1。没使用DDP与DP训练与评估代码
　　没使用DDP与DP的训练与评估实验，作为我们实验的参照组（1）原本模型的训练与评估源码：
　　训练源码：
　　注意：此段代码无比简陋，仅为代码的雏形，大致能理解尚可！
　　trainwithout。pyimporttimeimporttorchimporttorchvisionfromtorchimportnnfromtorch。utils。dataimportDataLoaderfromtorchvision。modelsimportalexnetfromtorchvisionimporttransformsfromtorch。utils。tensorboardimportSummaryWriterimportnumpyasnpimportargparsedefparseargs（）：parserargparse。ArgumentParser（descriptionCVTrain）parser。addmutuallyexclusivegroup（）parser。addargument（dataset，typestr，defaultCIFAR10，helpCIFAR10）parser。addargument（datasetroot，typestr，default。。data，helpDatasetrootdirectorypath）parser。addargument（imgsize，typeint，default227，helpimagesize）parser。addargument（tensorboard，typestr，defaultTrue，helpUsetensorboardforlossvisualization）parser。addargument（tensorboardlog，typestr，default。。tensorboard，helptensorboardfolder）parser。addargument（cuda，typestr，defaultTrue，helpifiscudaavailable）parser。addargument（batchsize，typeint，default64，helpbatchsize）parser。addargument（lr，typefloat，default1e4，helplearningrate）parser。addargument（epochs，typeint，default20，helpNumberofepochstotrain。）parser。addargument（checkpoint，typestr，default。。checkpoint，helpSave。pthfold）returnparser。parseargs（）argsparseargs（）1。CreateSummaryWriterifargs。tensorboard：writerSummaryWriter（args。tensorboardlog）2。Readydatasetifargs。datasetCIFAR10：traindatasettorchvision。datasets。CIFAR10（rootargs。datasetroot，trainTrue，transformtransforms。Compose（〔transforms。Resize（args。imgsize），transforms。ToTensor（）〕），downloadTrue）else：raiseValueError（DatasetisnotCIFAR10）cudatorch。cuda。isavailable（）print（CUDAavailable：｛｝。format（cuda））3。Lengthtraindatasetsizelen（traindataset）print（thetraindatasetsizeis｛｝。format（traindatasetsize））4。DataLoadertraindataloaderDataLoader（datasettraindataset，batchsizeargs。batchsize）5。Createmodelmodelalexnet（）ifargs。cudacuda：modelmodel。cuda（）6。Createlosscrossentropylossnn。CrossEntropyLoss（）7。Optimizeroptimtorch。optim。AdamW（model。parameters（），lrargs。lr）schedulertorch。optim。lrscheduler。ReduceLROnPlateau（optim，patience3，verboseTrue）8。Setsomeparameterstocontrolloopepochiter0t0time。time（）forepochinrange（args。epochs）：t1time。time（）print（the｛｝numberoftrainingepoch。format（epoch））model。train（）fordataintraindataloader：loss0imgs，targetsdataifargs。cudacuda：crossentropylosscrossentropyloss。cuda（）imgs，targetsimgs。cuda（），targets。cuda（）outputsmodel（imgs）losstraincrossentropyloss（outputs，targets）losslosstrain。item（）lossifargs。tensorboard：writer。addscalar（trainloss，losstrain。item（），iter）optim。zerograd（）losstrain。backward（）optim。step（）iteriter1ifiter1000：print（Epoch：｛｝Iteration：｛｝lr：｛｝loss：｛｝np。mean（loss）：｛｝。format（epoch，iter，optim。paramgroups〔0〕〔lr〕，losstrain。item（），np。mean（loss）））ifargs。tensorboard：writer。addscalar（lr，optim。paramgroups〔0〕〔lr〕，epoch）scheduler。step（np。mean（loss））t2time。time（）h（t2t1）3600m（（t2t1）3600）60s（（t2t1）3600）60print（epoch｛｝isfinished，andtimeis｛｝h｛｝m｛｝s。format（epoch，int（h），int（m），int（s）））ifepoch10：print（Savestate，iter：｛｝。format（epoch））torch。save（model。statedict（），｛｝AlexNet｛｝。pth。format（args。checkpoint，epoch））torch。save（model。statedict（），｛｝AlexNet。pth。format（args。checkpoint））t3time。time（）ht（t3t0）3600mt（（t3t0）3600）60st（（t3t0）3600）60print（Thefinishedtimeis｛｝h｛｝m｛｝s。format（int（ht），int（mt），int（st）））ifargs。tensorboard：writer。close（）
　　运行结果：
　　Tensorboard观察：
　　评估源码：
　　代码特别粗犷，尤其是device与精度计算，仅供参考，切勿模仿！
　　evalwithout。pyimporttorchimporttorchvisionfromtorch。utils。dataimportDataLoaderfromtorchvision。transformsimporttransformsfromalexnetimportalexnetimportargparseevaldefparseargs（）：parserargparse。ArgumentParser（descriptionCVEvaluation）parser。addmutuallyexclusivegroup（）parser。addargument（dataset，typestr，defaultCIFAR10，helpCIFAR10）parser。addargument（datasetroot，typestr，default。。data，helpDatasetrootdirectorypath）parser。addargument（imgsize，typeint，default227，helpimagesize）parser。addargument（batchsize，typeint，default64，helpbatchsize）parser。addargument（checkpoint，typestr，default。。checkpoint，helpSave。pthfold）returnparser。parseargs（）argsparseargs（）1。Createmodelmodelalexnet（）2。ReadyDatasetifargs。datasetCIFAR10：testdatasettorchvision。datasets。CIFAR10（rootargs。datasetroot，trainFalse，transformtransforms。Compose（〔transforms。Resize（args。imgsize），transforms。ToTensor（）〕），downloadTrue）else：raiseValueError（DatasetisnotCIFAR10）3。Lengthtestdatasetsizelen（testdataset）print（thetestdatasetsizeis｛｝。format（testdatasetsize））4。DataLoadertestdataloaderDataLoader（datasettestdataset，batchsizeargs。batchsize）5。Setsomeparametersfortestingthenetworktotalaccuracy0testmodel。eval（）withtorch。nograd（）：fordataintestdataloader：imgs，targetsdatadevicetorch。device（cpu）imgs，targetsimgs。to（device），targets。to（device）modelloadtorch。load（｛｝AlexNet。pth。format（args。checkpoint），maplocationdevice）model。loadstatedict（modelload）outputsmodel（imgs）outputsoutputs。to（device）accuracy（outputs。argmax（1）targets）。sum（）totalaccuracytotalaccuracyaccuracyaccuracytotalaccuracytestdatasetsizeprint（thetotalaccuracyis｛｝。format（accuracy））
　　运行结果：
　　分析：
　　原本模型训练完20个epochs花费了22分22秒，得到的准确率为0。8191（2）原本模型加入autocast的训练与评估源码：
　　训练源码：
　　训练大致代码流程：fromtorch。cuda。ampimportautocastasautocast。。。Createmodel，defaulttorch。FloatTensormodelNet（）。cuda（）SGD，Adm，Admw，。。。optimoptim。XXX（model。parameters（），。。）。。。forimgs，targetsindataloader：imgs，targetsimgs。cuda（），targets。cuda（）。。。。withautocast（）：outputsmodel（imgs）losslossfn（outputs，targets）。。。optim。zerograd（）loss。backward（）optim。step（）。。。
　　trainautocastwithout。pyimporttimeimporttorchimporttorchvisionfromtorchimportnnfromtorch。cuda。ampimportautocastfromtorchvisionimporttransformsfromtorchvision。modelsimportalexnetfromtorch。utils。dataimportDataLoaderfromtorch。utils。tensorboardimportSummaryWriterimportnumpyasnpimportargparsedefparseargs（）：parserargparse。ArgumentParser（descriptionCVTrain）parser。addmutuallyexclusivegroup（）parser。addargument（dataset，typestr，defaultCIFAR10，helpCIFAR10）parser。addargument（datasetroot，typestr，default。。data，helpDatasetrootdirectorypath）parser。addargument（imgsize，typeint，default227，helpimagesize）parser。addargument（tensorboard，typestr，defaultTrue，helpUsetensorboardforlossvisualization）parser。addargument（tensorboardlog，typestr，default。。tensorboard，helptensorboardfolder）parser。addargument（cuda，typestr，defaultTrue，helpifiscudaavailable）parser。addargument（batchsize，typeint，default64，helpbatchsize）parser。addargument（lr，typefloat，default1e4，helplearningrate）parser。addargument（epochs，typeint，default20，helpNumberofepochstotrain。）parser。addargument（checkpoint，typestr，default。。checkpoint，helpSave。pthfold）returnparser。parseargs（）argsparseargs（）1。CreateSummaryWriterifargs。tensorboard：writerSummaryWriter（args。tensorboardlog）2。Readydatasetifargs。datasetCIFAR10：traindatasettorchvision。datasets。CIFAR10（rootargs。datasetroot，trainTrue，transformtransforms。Compose（〔transforms。Resize（args。imgsize），transforms。ToTensor（）〕），downloadTrue）else：raiseValueError（DatasetisnotCIFAR10）cudatorch。cuda。isavailable（）print（CUDAavailable：｛｝。format（cuda））3。Lengthtraindatasetsizelen（traindataset）print（thetraindatasetsizeis｛｝。format（traindatasetsize））4。DataLoadertraindataloaderDataLoader（datasettraindataset，batchsizeargs。batchsize）5。Createmodelmodelalexnet（）ifargs。cudacuda：modelmodel。cuda（）6。Createlosscrossentropylossnn。CrossEntropyLoss（）7。Optimizeroptimtorch。optim。AdamW（model。parameters（），lrargs。lr）schedulertorch。optim。lrscheduler。ReduceLROnPlateau（optim，patience3，verboseTrue）8。Setsomeparameterstocontrolloopepochiter0t0time。time（）forepochinrange（args。epochs）：t1time。time（）print（the｛｝numberoftrainingepoch。format（epoch））model。train（）fordataintraindataloader：loss0imgs，targetsdataifargs。cudacuda：crossentropylosscrossentropyloss。cuda（）imgs，targetsimgs。cuda（），targets。cuda（）withautocast（）：outputsmodel（imgs）losstraincrossentropyloss（outputs，targets）losslosstrain。item（）lossifargs。tensorboard：writer。addscalar（trainloss，losstrain。item（），iter）optim。zerograd（）losstrain。backward（）optim。step（）iteriter1ifiter1000：print（Epoch：｛｝Iteration：｛｝lr：｛｝loss：｛｝np。mean（loss）：｛｝。format（epoch，iter，optim。paramgroups〔0〕〔lr〕，losstrain。item（），np。mean（loss）））ifargs。tensorboard：writer。addscalar（lr，optim。paramgroups〔0〕〔lr〕，epoch）scheduler。step（np。mean（loss））t2time。time（）h（t2t1）3600m（（t2t1）3600）60s（（t2t1）3600）60print（epoch｛｝isfinished，andtimeis｛｝h｛｝m｛｝s。format（epoch，int（h），int（m），int（s）））ifepoch10：print（Savestate，iter：｛｝。format（epoch））torch。save（model。statedict（），｛｝AlexNet｛｝。pth。format（args。checkpoint，epoch））torch。save（model。statedict（），｛｝AlexNet。pth。format（args。checkpoint））t3time。time（）ht（t3t0）3600mt（（t3t0）3600）60st（（t3t0）3600）60print（Thefinishedtimeis｛｝h｛｝m｛｝s。format（int（ht），int（mt），int（st）））ifargs。tensorboard：writer。close（）
　　运行结果：
　　Tensorboard观察：
　　评估源码：
　　evalwithout。py和1。（1）一样
　　运行结果：
　　分析：
　　原本模型训练完20个epochs花费了22分22秒，加入autocast之后模型花费的时间为21分21秒，说明模型速度增加了，并且准确率从之前的0。8191提升到0。8403（3）原本模型加入autocast与GradScaler的训练与评估源码：
　　使用torch。cuda。amp。GradScaler是放大损失值来防止梯度的下溢
　　训练源码：
　　训练大致代码流程：fromtorch。cuda。ampimportautocastasautocastfromtorch。cuda。ampimportGradScalerasGradScaler。。。Createmodel，defaulttorch。FloatTensormodelNet（）。cuda（）SGD，Adm，Admw，。。。optimoptim。XXX（model。parameters（），。。）scalerGradScaler（）。。。forimgs，targetsindataloader：imgs，targetsimgs。cuda（），targets。cuda（）。。。optim。zerograd（）。。。。withautocast（）：outputsmodel（imgs）losslossfn（outputs，targets）scaler。scale（loss）。backward（）scaler。step（optim）scaler。update（）。。。
　　trainGradScalerwithout。pyimporttimeimporttorchimporttorchvisionfromtorchimportnnfromtorch。cuda。ampimportautocast，GradScalerfromtorchvisionimporttransformsfromtorchvision。modelsimportalexnetfromtorch。utils。dataimportDataLoaderfromtorch。utils。tensorboardimportSummaryWriterimportnumpyasnpimportargparsedefparseargs（）：parserargparse。ArgumentParser（descriptionCVTrain）parser。addmutuallyexclusivegroup（）parser。addargument（dataset，typestr，defaultCIFAR10，helpCIFAR10）parser。addargument（datasetroot，typestr，default。。data，helpDatasetrootdirectorypath）parser。addargument（imgsize，typeint，default227，helpimagesize）parser。addargument（tensorboard，typestr，defaultTrue，helpUsetensorboardforlossvisualization）parser。addargument（tensorboardlog，typestr，default。。tensorboard，helptensorboardfolder）parser。addargument（cuda，typestr，defaultTrue，helpifiscudaavailable）parser。addargument（batchsize，typeint，default64，helpbatchsize）parser。addargument（lr，typefloat，default1e4，helplearningrate）parser。addargument（epochs，typeint，default20，helpNumberofepochstotrain。）parser。addargument（checkpoint，typestr，default。。checkpoint，helpSave。pthfold）returnparser。parseargs（）argsparseargs（）1。CreateSummaryWriterifargs。tensorboard：writerSummaryWriter（args。tensorboardlog）2。Readydatasetifargs。datasetCIFAR10：traindatasettorchvision。datasets。CIFAR10（rootargs。datasetroot，trainTrue，transformtransforms。Compose（〔transforms。Resize（args。imgsize），transforms。ToTensor（）〕），downloadTrue）else：raiseValueError（DatasetisnotCIFAR10）cudatorch。cuda。isavailable（）print（CUDAavailable：｛｝。format（cuda））3。Lengthtraindatasetsizelen（traindataset）print（thetraindatasetsizeis｛｝。format（traindatasetsize））4。DataLoadertraindataloaderDataLoader（datasettraindataset，batchsizeargs。batchsize）5。Createmodelmodelalexnet（）ifargs。cudacuda：modelmodel。cuda（）6。Createlosscrossentropylossnn。CrossEntropyLoss（）7。Optimizeroptimtorch。optim。AdamW（model。parameters（），lrargs。lr）schedulertorch。optim。lrscheduler。ReduceLROnPlateau（optim，patience3，verboseTrue）scalerGradScaler（）8。Setsomeparameterstocontrolloopepochiter0t0time。time（）forepochinrange（args。epochs）：t1time。time（）print（the｛｝numberoftrainingepoch。format（epoch））model。train（）fordataintraindataloader：loss0imgs，targetsdataoptim。zerograd（）ifargs。cudacuda：crossentropylosscrossentropyloss。cuda（）imgs，targetsimgs。cuda（），targets。cuda（）withautocast（）：outputsmodel（imgs）losstraincrossentropyloss（outputs，targets）losslosstrain。item（）lossifargs。tensorboard：writer。addscalar（trainloss，losstrain。item（），iter）scaler。scale（losstrain）。backward（）scaler。step（optim）scaler。update（）iteriter1ifiter1000：print（Epoch：｛｝Iteration：｛｝lr：｛｝loss：｛｝np。mean（loss）：｛｝。format（epoch，iter，optim。paramgroups〔0〕〔lr〕，losstrain。item（），np。mean（loss）））ifargs。tensorboard：writer。addscalar（lr，optim。paramgroups〔0〕〔lr〕，epoch）scheduler。step（np。mean（loss））t2time。time（）h（t2t1）3600m（（t2t1）3600）60s（（t2t1）3600）60print（epoch｛｝isfinished，andtimeis｛｝h｛｝m｛｝s。format（epoch，int（h），int（m），int（s）））ifepoch10：print（Savestate，iter：｛｝。format（epoch））torch。save（model。statedict（），｛｝AlexNet｛｝。pth。format（args。checkpoint，epoch））torch。save（model。statedict（），｛｝AlexNet。pth。format（args。checkpoint））t3time。time（）ht（t3t0）3600mt（（t3t0）3600）60st（（t3t0）3600）60print（Thefinishedtimeis｛｝h｛｝m｛｝s。format（int（ht），int（mt），int（st）））ifargs。tensorboard：writer。close（）
　　运行结果：
　　Tensorboard观察：
　　评估源码：
　　evalwithout。py和1。（1）一样
　　运行结果：
　　分析：
　　为什么，我们训练完20个epochs花费了27分27秒，比之前原模型未使用任何amp的时间（22分22秒）都多了？
　　这是因为我们使用了GradScaler放大了损失降低了模型训练的速度，还有个原因可能是笔者自身的显卡太小，没有起到加速的作用2。分布式DP训练与评估代码（1）DP原本模型的训练与评估源码：
　　训练源码：
　　trainDP。pyimporttimeimporttorchimporttorchvisionfromtorchimportnnfromtorch。utils。dataimportDataLoaderfromtorchvision。modelsimportalexnetfromtorchvisionimporttransformsfromtorch。utils。tensorboardimportSummaryWriterimportnumpyasnpimportargparsedefparseargs（）：parserargparse。ArgumentParser（descriptionCVTrain）parser。addmutuallyexclusivegroup（）parser。addargument（dataset，typestr，defaultCIFAR10，helpCIFAR10）parser。addargument（datasetroot，typestr，default。。data，helpDatasetrootdirectorypath）parser。addargument（imgsize，typeint，default227，helpimagesize）parser。addargument（tensorboard，typestr，defaultTrue，helpUsetensorboardforlossvisualization）parser。addargument（tensorboardlog，typestr，default。。tensorboard，helptensorboardfolder）parser。addargument（cuda，typestr，defaultTrue，helpifiscudaavailable）parser。addargument（batchsize，typeint，default64，helpbatchsize）parser。addargument（lr，typefloat，default1e4，helplearningrate）parser。addargument（epochs，typeint，default20，helpNumberofepochstotrain。）parser。addargument（checkpoint，typestr，default。。checkpoint，helpSave。pthfold）returnparser。parseargs（）argsparseargs（）1。CreateSummaryWriterifargs。tensorboard：writerSummaryWriter（args。tensorboardlog）2。Readydatasetifargs。datasetCIFAR10：traindatasettorchvision。datasets。CIFAR10（rootargs。datasetroot，trainTrue，transformtransforms。Compose（〔transforms。Resize（args。imgsize），transforms。ToTensor（）〕），downloadTrue）else：raiseValueError（DatasetisnotCIFAR10）cudatorch。cuda。isavailable（）print（CUDAavailable：｛｝。format（cuda））3。Lengthtraindatasetsizelen（traindataset）print（thetraindatasetsizeis｛｝。format（traindatasetsize））4。DataLoadertraindataloaderDataLoader（datasettraindataset，batchsizeargs。batchsize）5。Createmodelmodelalexnet（）ifargs。cudacuda：modelmodel。cuda（）modeltorch。nn。DataParallel（model）。cuda（）else：modeltorch。nn。DataParallel（model）6。Createlosscrossentropylossnn。CrossEntropyLoss（）7。Optimizeroptimtorch。optim。AdamW（model。parameters（），lrargs。lr）schedulertorch。optim。lrscheduler。ReduceLROnPlateau（optim，patience3，verboseTrue）8。Setsomeparameterstocontrolloopepochiter0t0time。time（）forepochinrange（args。epochs）：t1time。time（）print（the｛｝numberoftrainingepoch。format（epoch））model。train（）fordataintraindataloader：loss0imgs，targetsdataifargs。cudacuda：crossentropylosscrossentropyloss。cuda（）imgs，targetsimgs。cuda（），targets。cuda（）outputsmodel（imgs）losstraincrossentropyloss（outputs，targets）losslosstrain。item（）lossifargs。tensorboard：writer。addscalar（trainloss，losstrain。item（），iter）optim。zerograd（）losstrain。backward（）optim。step（）iteriter1ifiter1000：print（Epoch：｛｝Iteration：｛｝lr：｛｝loss：｛｝np。mean（loss）：｛｝。format（epoch，iter，optim。paramgroups〔0〕〔lr〕，losstrain。item（），np。mean（loss）））ifargs。tensorboard：writer。addscalar（lr，optim。paramgroups〔0〕〔lr〕，epoch）scheduler。step（np。mean（loss））t2time。time（）h（t2t1）3600m（（t2t1）3600）60s（（t2t1）3600）60print（epoch｛｝isfinished，andtimeis｛｝h｛｝m｛｝s。format（epoch，int（h），int（m），int（s）））ifepoch10：print（Savestate，iter：｛｝。format（epoch））torch。save（model。statedict（），｛｝AlexNet｛｝。pth。format（args。checkpoint，epoch））torch。save（model。statedict（），｛｝AlexNet。pth。format（args。checkpoint））t3time。time（）ht（t3t0）3600mt（（t3t0）3600）60st（（t3t0）3600）60print（Thefinishedtimeis｛｝h｛｝m｛｝s。format（int（ht），int（mt），int（st）））ifargs。tensorboard：writer。close（）
　　运行结果：
　　Tensorboard观察：
　　评估源码：
　　evalDP。pyimporttorchimporttorchvisionfromtorch。utils。dataimportDataLoaderfromtorchvision。transformsimporttransformsfromalexnetimportalexnetimportargparseevaldefparseargs（）：parserargparse。ArgumentParser（descriptionCVEvaluation）parser。addmutuallyexclusivegroup（）parser。addargument（dataset，typestr，defaultCIFAR10，helpCIFAR10）parser。addargument（datasetroot，typestr，default。。data，helpDatasetrootdirectorypath）parser。addargument（imgsize，typeint，default227，helpimagesize）parser。addargument（batchsize，typeint，default64，helpbatchsize）parser。addargument（checkpoint，typestr，default。。checkpoint，helpSave。pthfold）returnparser。parseargs（）argsparseargs（）1。Createmodelmodelalexnet（）modeltorch。nn。DataParallel（model）2。ReadyDatasetifargs。datasetCIFAR10：testdatasettorchvision。datasets。CIFAR10（rootargs。datasetroot，trainFalse，transformtransforms。Compose（〔transforms。Resize（args。imgsize），transforms。ToTensor（）〕），downloadTrue）else：raiseValueError（DatasetisnotCIFAR10）3。Lengthtestdatasetsizelen（testdataset）print（thetestdatasetsizeis｛｝。format（testdatasetsize））4。DataLoadertestdataloaderDataLoader（datasettestdataset，batchsizeargs。batchsize）5。Setsomeparametersfortestingthenetworktotalaccuracy0testmodel。eval（）withtorch。nograd（）：fordataintestdataloader：imgs，targetsdatadevicetorch。device（cpu）imgs，targetsimgs。to（device），targets。to（device）modelloadtorch。load（｛｝AlexNet。pth。format（args。checkpoint），maplocationdevice）model。loadstatedict（modelload）outputsmodel（imgs）outputsoutputs。to（device）accuracy（outputs。argmax（1）targets）。sum（）totalaccuracytotalaccuracyaccuracyaccuracytotalaccuracytestdatasetsizeprint（thetotalaccuracyis｛｝。format（accuracy））
　　运行结果：
　　（2）DP使用autocast的训练与评估源码：
　　训练源码：
　　如果你这样写代码，那么你的代码无效！！！。。。modelModel（）modeltorch。nn。DataParallel（model）。。。withautocast（）：outputmodel（imgs）losslossfn（output）
　　正确写法，训练大致流程代码：1。Model（nn。Module）：autocast（）defforward（self，input）：。。。2。Model（nn。Module）：deffoward（self，input）：withautocast（）：。。。
　　1与2皆可，之后：。。。modelModel（）modeltorch。nn。DataParallel（model）withautocast（）：outputmodel（imgs）losslossfn（output）。。。
　　模型：
　　须在forward函数上加入autocast（）或者在forward里面最上面加入withautocast（）：
　　alexnet。pyimporttorchimporttorch。nnasnnfromtorchvision。models。utilsimportloadstatedictfromurlfromtorch。cuda。ampimportautocastfromtypingimportAnyall〔AlexNet，alexnet〕modelurls｛alexnet：https：download。pytorch。orgmodelsalexnetowt4df8aa71。pth，｝classAlexNet（nn。Module）：definit（self，numclasses：int1000）None：super（AlexNet，self）。init（）self。featuresnn。Sequential（nn。Conv2d（3，64，kernelsize11，stride4，padding2），nn。ReLU（inplaceTrue），nn。MaxPool2d（kernelsize3，stride2），nn。Conv2d（64，192，kernelsize5，padding2），nn。ReLU（inplaceTrue），nn。MaxPool2d（kernelsize3，stride2），nn。Conv2d（192，384，kernelsize3，padding1），nn。ReLU（inplaceTrue），nn。Conv2d（384，256，kernelsize3，padding1），nn。ReLU（inplaceTrue），nn。Conv2d（256，256，kernelsize3，padding1），nn。ReLU（inplaceTrue），nn。MaxPool2d（kernelsize3，stride2），）self。avgpoolnn。AdaptiveAvgPool2d（（6，6））self。classifiernn。Sequential（nn。Dropout（），nn。Linear（25666，4096），nn。ReLU（inplaceTrue），nn。Dropout（），nn。Linear（4096，4096），nn。ReLU（inplaceTrue），nn。Linear（4096，numclasses），）autocast（）defforward（self，x：torch。Tensor）torch。Tensor：xself。features（x）xself。avgpool（x）xtorch。flatten（x，1）xself。classifier（x）returnxdefalexnet（pretrained：boolFalse，progress：boolTrue，kwargs：Any）AlexNet：rAlexNetmodelarchitecturefromtheOneweirdtrick。。。https：arxiv。orgabs1404。5997paper。Args：pretrained（bool）：IfTrue，returnsamodelpretrainedonImageNetprogress（bool）：IfTrue，displaysaprogressbarofthedownloadtostderrmodelAlexNet（kwargs）ifpretrained：statedictloadstatedictfromurl（modelurls〔alexnet〕，progressprogress）model。loadstatedict（statedict）returnmodel
　　trainDPautocast。py导入自己的alexnet。pyimporttimeimporttorchfromalexnetimportalexnetimporttorchvisionfromtorchimportnnfromtorch。utils。dataimportDataLoaderfromtorchvisionimporttransformsfromtorch。cuda。ampimportautocastasautocastfromtorch。utils。tensorboardimportSummaryWriterimportnumpyasnpimportargparsedefparseargs（）：parserargparse。ArgumentParser（descriptionCVTrain）parser。addmutuallyexclusivegroup（）parser。addargument（dataset，typestr，defaultCIFAR10，helpCIFAR10）parser。addargument（datasetroot，typestr，default。。data，helpDatasetrootdirectorypath）parser。addargument（imgsize，typeint，default227，helpimagesize）parser。addargument（tensorboard，typestr，defaultTrue，helpUsetensorboardforlossvisualization）parser。addargument（tensorboardlog，typestr，default。。tensorboard，helptensorboardfolder）parser。addargument（cuda，typestr，defaultTrue，helpifiscudaavailable）parser。addargument（batchsize，typeint，default64，helpbatchsize）parser。addargument（lr，typefloat，default1e4，helplearningrate）parser。addargument（epochs，typeint，default20，helpNumberofepochstotrain。）parser。addargument（checkpoint，typestr，default。。checkpoint，helpSave。pthfold）returnparser。parseargs（）argsparseargs（）1。CreateSummaryWriterifargs。tensorboard：writerSummaryWriter（args。tensorboardlog）2。Readydatasetifargs。datasetCIFAR10：traindatasettorchvision。datasets。CIFAR10（rootargs。datasetroot，trainTrue，transformtransforms。Compose（〔transforms。Resize（args。imgsize），transforms。ToTensor（）〕），downloadTrue）else：raiseValueError（DatasetisnotCIFAR10）cudatorch。cuda。isavailable（）print（CUDAavailable：｛｝。format（cuda））3。Lengthtraindatasetsizelen（traindataset）print（thetraindatasetsizeis｛｝。format（traindatasetsize））4。DataLoadertraindataloaderDataLoader（datasettraindataset，batchsizeargs。batchsize）5。Createmodelmodelalexnet（）ifargs。cudacuda：modelmodel。cuda（）modeltorch。nn。DataParallel（model）。cuda（）else：modeltorch。nn。DataParallel（model）6。Createlosscrossentropylossnn。CrossEntropyLoss（）7。Optimizeroptimtorch。optim。AdamW（model。parameters（），lrargs。lr）schedulertorch。optim。lrscheduler。ReduceLROnPlateau（optim，patience3，verboseTrue）8。Setsomeparameterstocontrolloopepochiter0t0time。time（）forepochinrange（args。epochs）：t1time。time（）print（the｛｝numberoftrainingepoch。format（epoch））model。train（）fordataintraindataloader：loss0imgs，targetsdataifargs。cudacuda：crossentropylosscrossentropyloss。cuda（）imgs，targetsimgs。cuda（），targets。cuda（）withautocast（）：outputsmodel（imgs）losstraincrossentropyloss（outputs，targets）losslosstrain。item（）lossifargs。tensorboard：writer。addscalar（trainloss，losstrain。item（），iter）optim。zerograd（）losstrain。backward（）optim。step（）iteriter1ifiter1000：print（Epoch：｛｝Iteration：｛｝lr：｛｝loss：｛｝np。mean（loss）：｛｝。format（epoch，iter，optim。paramgroups〔0〕〔lr〕，losstrain。item（），np。mean（loss）））ifargs。tensorboard：writer。addscalar（lr，optim。paramgroups〔0〕〔lr〕，epoch）scheduler。step（np。mean（loss））t2time。time（）h（t2t1）3600m（（t2t1）3600）60s（（t2t1）3600）60print（epoch｛｝isfinished，andtimeis｛｝h｛｝m｛｝s。format（epoch，int（h），int（m），int（s）））ifepoch10：print（Savestate，iter：｛｝。format（epoch））torch。save（model。statedict（），｛｝AlexNet｛｝。pth。format（args。checkpoint，epoch））torch。save（model。statedict（），｛｝AlexNet。pth。format（args。checkpoint））t3time。time（）ht（t3t0）3600mt（（t3t0）3600）60st（（t3t0）3600）60print（Thefinishedtimeis｛｝h｛｝m｛｝s。format（int（ht），int（mt），int（st）））ifargs。tensorboard：writer。close（）
　　运行结果：
　　Tensorboard观察：
　　评估源码：
　　evalDP。py相比与2。（1）导入自己的alexnet。py
　　运行结果：
　　分析：
　　可以看出DP使用autocast训练完20个epochs时需要花费的时间是21分21秒，相比与之前DP没有使用的时间（22分22秒）快了1分1秒
　　之前DP未使用amp能达到准确率0。8216，而现在准确率降低到0。8188，说明还是使用自动混合精度加速还是对模型的准确率有所影响，后期可通过增大batchsizel让运行时间和之前一样，但是准确率上升，来降低此影响（3）DP使用autocast与GradScaler的训练与评估源码：
　　训练源码：
　　trainDPGradScaler。py导入自己的alexnet。pyimporttimeimporttorchfromalexnetimportalexnetimporttorchvisionfromtorchimportnnfromtorch。utils。dataimportDataLoaderfromtorchvisionimporttransformsfromtorch。cuda。ampimportautocastasautocastfromtorch。cuda。ampimportGradScalerasGradScalerfromtorch。utils。tensorboardimportSummaryWriterimportnumpyasnpimportargparsedefparseargs（）：parserargparse。ArgumentParser（descriptionCVTrain）parser。addmutuallyexclusivegroup（）parser。addargument（dataset，typestr，defaultCIFAR10，helpCIFAR10）parser。addargument（datasetroot，typestr，default。。data，helpDatasetrootdirectorypath）parser。addargument（imgsize，typeint，default227，helpimagesize）parser。addargument（tensorboard，typestr，defaultTrue，helpUsetensorboardforlossvisualization）parser。addargument（tensorboardlog，typestr，default。。tensorboard，helptensorboardfolder）parser。addargument（cuda，typestr，defaultTrue，helpifiscudaavailable）parser。addargument（batchsize，typeint，default64，helpbatchsize）parser。addargument（lr，typefloat，default1e4，helplearningrate）parser。addargument（epochs，typeint，default20，helpNumberofepochstotrain。）parser。addargument（checkpoint，typestr，default。。checkpoint，helpSave。pthfold）returnparser。parseargs（）argsparseargs（）1。CreateSummaryWriterifargs。tensorboard：writerSummaryWriter（args。tensorboardlog）2。Readydatasetifargs。datasetCIFAR10：traindatasettorchvision。datasets。CIFAR10（rootargs。datasetroot，trainTrue，transformtransforms。Compose（〔transforms。Resize（args。imgsize），transforms。ToTensor（）〕），downloadTrue）else：raiseValueError（DatasetisnotCIFAR10）cudatorch。cuda。isavailable（）print（CUDAavailable：｛｝。format（cuda））3。Lengthtraindatasetsizelen（traindataset）print（thetraindatasetsizeis｛｝。format（traindatasetsize））4。DataLoadertraindataloaderDataLoader（datasettraindataset，batchsizeargs。batchsize）5。Createmodelmodelalexnet（）ifargs。cudacuda：modelmodel。cuda（）modeltorch。nn。DataParallel（model）。cuda（）else：modeltorch。nn。DataParallel（model）6。Createlosscrossentropylossnn。CrossEntropyLoss（）7。Optimizeroptimtorch。optim。AdamW（model。parameters（），lrargs。lr）schedulertorch。optim。lrscheduler。ReduceLROnPlateau（optim，patience3，verboseTrue）scalerGradScaler（）8。Setsomeparameterstocontrolloopepochiter0t0time。time（）forepochinrange（args。epochs）：t1time。time（）print（the｛｝numberoftrainingepoch。format（epoch））model。train（）fordataintraindataloader：loss0imgs，targetsdataoptim。zerograd（）ifargs。cudacuda：crossentropylosscrossentropyloss。cuda（）imgs，targetsimgs。cuda（），targets。cuda（）withautocast（）：outputsmodel（imgs）losstraincrossentropyloss（outputs，targets）losslosstrain。item（）lossifargs。tensorboard：writer。addscalar（trainloss，losstrain。item（），iter）scaler。scale（losstrain）。backward（）scaler。step（optim）scaler。update（）iteriter1ifiter1000：print（Epoch：｛｝Iteration：｛｝lr：｛｝loss：｛｝np。mean（loss）：｛｝。format（epoch，iter，optim。paramgroups〔0〕〔lr〕，losstrain。item（），np。mean（loss）））ifargs。tensorboard：writer。addscalar（lr，optim。paramgroups〔0〕〔lr〕，epoch）scheduler。step（np。mean（loss））t2time。time（）h（t2t1）3600m（（t2t1）3600）60s（（t2t1）3600）60print（epoch｛｝isfinished，andtimeis｛｝h｛｝m｛｝s。format（epoch，int（h），int（m），int（s）））ifepoch10：print（Savestate，iter：｛｝。format（epoch））torch。save（model。statedict（），｛｝AlexNet｛｝。pth。format（args。checkpoint，epoch））torch。save（model。statedict（），｛｝AlexNet。pth。format（args。checkpoint））t3time。time（）ht（t3t0）3600mt（（t3t0）3600）60st（（t3t0）3600）60print（Thefinishedtimeis｛｝h｛｝m｛｝s。format（int（ht），int（mt），int（st）））ifargs。tensorboard：writer。close（）
　　运行结果：
　　Tensorboard观察：
　　评估源码：
　　evalDP。py相比与2。（1）导入自己的alexnet。py
　　运行结果：
　　分析：
　　跟之前一样，DP使用了GradScaler放大了损失降低了模型训练的速度
　　现在DP使用了autocast与GradScaler的准确率为0。8409，相比与DP只使用autocast准确率0。8188还是有所上升，并且之前DP未使用amp是准确率（0。8216）也提高了不少3。单进程占用多卡DDP训练与评估代码（1）DDP原模型训练与评估源码：
　　训练源码：
　　trainDDP。pyimporttimeimporttorchfromtorchvision。models。alexnetimportalexnetimporttorchvisionfromtorchimportnnimporttorch。distributedasdistfromtorchvisionimporttransformsfromtorch。utils。dataimportDataLoaderfromtorch。utils。tensorboardimportSummaryWriterimportnumpyasnpimportargparsedefparseargs（）：parserargparse。ArgumentParser（descriptionCVTrain）parser。addmutuallyexclusivegroup（）parser。addargument（rank，typeint，default0）parser。addargument（worldsize，typeint，default1）parser。addargument（masteraddr，typestr，default127。0。0。1）parser。addargument（masterport，typestr，default12355）parser。addargument（dataset，typestr，defaultCIFAR10，helpCIFAR10）parser。addargument（datasetroot，typestr，default。。data，helpDatasetrootdirectorypath）parser。addargument（imgsize，typeint，default227，helpimagesize）parser。addargument（tensorboard，typestr，defaultTrue，helpUsetensorboardforlossvisualization）parser。addargument（tensorboardlog，typestr，default。。tensorboard，helptensorboardfolder）parser。addargument（cuda，typestr，defaultTrue，helpifiscudaavailable）parser。addargument（batchsize，typeint，default64，helpbatchsize）parser。addargument（lr，typefloat，default1e4，helplearningrate）parser。addargument（epochs，typeint，default20，helpNumberofepochstotrain。）parser。addargument（checkpoint，typestr，default。。checkpoint，helpSave。pthfold）returnparser。parseargs（）argsparseargs（）deftrain（）：dist。initprocessgroup（gloo，initmethodtcp：｛｝：｛｝。format（args。masteraddr，args。masterport），rankargs。rank，worldsizeargs。worldsize）1。CreateSummaryWriterifargs。tensorboard：writerSummaryWriter（args。tensorboardlog）2。Readydatasetifargs。datasetCIFAR10：traindatasettorchvision。datasets。CIFAR10（rootargs。datasetroot，trainTrue，transformtransforms。Compose（〔transforms。Resize（args。imgsize），transforms。ToTensor（）〕），downloadTrue）else：raiseValueError（DatasetisnotCIFAR10）cudatorch。cuda。isavailable（）print（CUDAavailable：｛｝。format（cuda））3。Lengthtraindatasetsizelen（traindataset）print（thetraindatasetsizeis｛｝。format（traindatasetsize））trainsamplertorch。utils。data。distributed。DistributedSampler（traindataset）4。DataLoadertraindataloaderDataLoader（datasettraindataset，batchsizeargs。batchsize，samplertrainsampler，numworkers2，pinmemoryTrue）5。Createmodelmodelalexnet（）ifargs。cudacuda：modelmodel。cuda（）modeltorch。nn。parallel。DistributedDataParallel（model）。cuda（）else：modeltorch。nn。parallel。DistributedDataParallel（model）6。Createlosscrossentropylossnn。CrossEntropyLoss（）7。Optimizeroptimtorch。optim。AdamW（model。parameters（），lrargs。lr）schedulertorch。optim。lrscheduler。ReduceLROnPlateau（optim，patience3，verboseTrue）8。Setsomeparameterstocontrolloopepochiter0t0time。time（）forepochinrange（args。epochs）：t1time。time（）print（the｛｝numberoftrainingepoch。format（epoch））model。train（）fordataintraindataloader：loss0imgs，targetsdataifargs。cudacuda：crossentropylosscrossentropyloss。cuda（）imgs，targetsimgs。cuda（），targets。cuda（）outputsmodel（imgs）losstraincrossentropyloss（outputs，targets）losslosstrain。item（）lossifargs。tensorboard：writer。addscalar（trainloss，losstrain。item（），iter）optim。zerograd（）losstrain。backward（）optim。step（）iteriter1ifiter1000：print（Epoch：｛｝Iteration：｛｝lr：｛｝loss：｛｝np。mean（loss）：｛｝。format（epoch，iter，optim。paramgroups〔0〕〔lr〕，losstrain。item（），np。mean（loss）））ifargs。tensorboard：writer。addscalar（lr，optim。paramgroups〔0〕〔lr〕，epoch）scheduler。step（np。mean（loss））t2time。time（）h（t2t1）3600m（（t2t1）3600）60s（（t2t1）3600）60print（epoch｛｝isfinished，andtimeis｛｝h｛｝m｛｝s。format（epoch，int（h），int（m），int（s）））ifepoch10：print（Savestate，iter：｛｝。format（epoch））torch。save（model。statedict（），｛｝AlexNet｛｝。pth。format（args。checkpoint，epoch））torch。save（model。statedict（），｛｝AlexNet。pth。format（args。checkpoint））t3time。time（）ht（t3t0）3600mt（（t3t0）3600）60st（（t3t0）3600）60print（Thefinishedtimeis｛｝h｛｝m｛｝s。format（int（ht），int（mt），int（st）））ifargs。tensorboard：writer。close（）ifnamemain：localsizetorch。cuda。devicecount（）print（localsize：。format（localsize））train（）
　　运行结果：
　　Tensorboard观察：
　　评估源码：
　　evalDDP。pyimporttorchimporttorchvisionimporttorch。distributedasdistfromtorch。utils。dataimportDataLoaderfromtorchvision。transformsimporttransformsfromalexnetimportalexnetfromtorchvision。models。alexnetimportalexnetimportargparseevaldefparseargs（）：parserargparse。ArgumentParser（descriptionCVEvaluation）parser。addmutuallyexclusivegroup（）parser。addargument（rank，typeint，default0）parser。addargument（worldsize，typeint，default1）parser。addargument（masteraddr，typestr，default127。0。0。1）parser。addargument（masterport，typestr，default12355）parser。addargument（dataset，typestr，defaultCIFAR10，helpCIFAR10）parser。addargument（datasetroot，typestr，default。。data，helpDatasetrootdirectorypath）parser。addargument（imgsize，typeint，default227，helpimagesize）parser。addargument（batchsize，typeint，default64，helpbatchsize）parser。addargument（checkpoint，typestr，default。。checkpoint，helpSave。pthfold）returnparser。parseargs（）argsparseargs（）defeval（）：dist。initprocessgroup（gloo，initmethodtcp：｛｝：｛｝。format（args。masteraddr，args。masterport），rankargs。rank，worldsizeargs。worldsize）1。Createmodelmodelalexnet（）modeltorch。nn。parallel。DistributedDataParallel（model）2。ReadyDatasetifargs。datasetCIFAR10：testdatasettorchvision。datasets。CIFAR10（rootargs。datasetroot，trainFalse，transformtransforms。Compose（〔transforms。Resize（args。imgsize），transforms。ToTensor（）〕），downloadTrue）else：raiseValueError（DatasetisnotCIFAR10）3。Lengthtestdatasetsizelen（testdataset）print（thetestdatasetsizeis｛｝。format（testdatasetsize））testsamplertorch。utils。data。distributed。DistributedSampler（testdataset）4。DataLoadertestdataloaderDataLoader（datasettestdataset，samplertestsampler，batchsizeargs。batchsize，numworkers2，pinmemoryTrue）5。Setsomeparametersfortestingthenetworktotalaccuracy0testmodel。eval（）withtorch。nograd（）：fordataintestdataloader：imgs，targetsdatadevicetorch。device（cpu）imgs，targetsimgs。to（device），targets。to（device）modelloadtorch。load（｛｝AlexNet。pth。format（args。checkpoint），maplocationdevice）model。loadstatedict（modelload）outputsmodel（imgs）outputsoutputs。to（device）accuracy（outputs。argmax（1）targets）。sum（）totalaccuracytotalaccuracyaccuracyaccuracytotalaccuracytestdatasetsizeprint（thetotalaccuracyis｛｝。format（accuracy））ifnamemain：localsizetorch。cuda。devicecount（）print（localsize：。format（localsize））eval（）
　　运行结果：
　　（2）DDP使用autocast的训练与评估源码：
　　训练源码：
　　trainDDPautocast。py导入自己的alexnet。pyimporttimeimporttorchfromalexnetimportalexnetimporttorchvisionfromtorchimportnnimporttorch。distributedasdistfromtorchvisionimporttransformsfromtorch。utils。dataimportDataLoaderfromtorch。cuda。ampimportautocastasautocastfromtorch。utils。tensorboardimportSummaryWriterimportnumpyasnpimportargparsedefparseargs（）：parserargparse。ArgumentParser（descriptionCVTrain）parser。addmutuallyexclusivegroup（）parser。addargument（rank，typeint，default0）parser。addargument（worldsize，typeint，default1）parser。addargument（masteraddr，typestr，default127。0。0。1）parser。addargument（masterport，typestr，default12355）parser。addargument（dataset，typestr，defaultCIFAR10，helpCIFAR10）parser。addargument（datasetroot，typestr，default。。data，helpDatasetrootdirectorypath）parser。addargument（imgsize，typeint，default227，helpimagesize）parser。addargument（tensorboard，typestr，defaultTrue，helpUsetensorboardforlossvisualization）parser。addargument（tensorboardlog，typestr，default。。tensorboard，helptensorboardfolder）parser。addargument（cuda，typestr，defaultTrue，helpifiscudaavailable）parser。addargument（batchsize，typeint，default64，helpbatchsize）parser。addargument（lr，typefloat，default1e4，helplearningrate）parser。addargument（epochs，typeint，default20，helpNumberofepochstotrain。）parser。addargument（checkpoint，typestr，default。。checkpoint，helpSave。pthfold）returnparser。parseargs（）argsparseargs（）deftrain（）：dist。initprocessgroup（gloo，initmethodtcp：｛｝：｛｝。format（args。masteraddr，args。masterport），rankargs。rank，worldsizeargs。worldsize）1。CreateSummaryWriterifargs。tensorboard：writerSummaryWriter（args。tensorboardlog）2。Readydatasetifargs。datasetCIFAR10：traindatasettorchvision。datasets。CIFAR10（rootargs。datasetroot，trainTrue，transformtransforms。Compose（〔transforms。Resize（args。imgsize），transforms。ToTensor（）〕），downloadTrue）else：raiseValueError（DatasetisnotCIFAR10）cudatorch。cuda。isavailable（）print（CUDAavailable：｛｝。format（cuda））3。Lengthtraindatasetsizelen（traindataset）print（thetraindatasetsizeis｛｝。format（traindatasetsize））trainsamplertorch。utils。data。distributed。DistributedSampler（traindataset）4。DataLoadertraindataloaderDataLoader（datasettraindataset，batchsizeargs。batchsize，samplertrainsampler，numworkers2，pinmemoryTrue）5。Createmodelmodelalexnet（）ifargs。cudacuda：modelmodel。cuda（）modeltorch。nn。parallel。DistributedDataParallel（model）。cuda（）else：modeltorch。nn。parallel。DistributedDataParallel（model）6。Createlosscrossentropylossnn。CrossEntropyLoss（）7。Optimizeroptimtorch。optim。AdamW（model。parameters（），lrargs。lr）schedulertorch。optim。lrscheduler。ReduceLROnPlateau（optim，patience3，verboseTrue）8。Setsomeparameterstocontrolloopepochiter0t0time。time（）forepochinrange（args。epochs）：t1time。time（）print（the｛｝numberoftrainingepoch。format（epoch））model。train（）fordataintraindataloader：loss0imgs，targetsdataifargs。cudacuda：crossentropylosscrossentropyloss。cuda（）imgs，targetsimgs。cuda（），targets。cuda（）withautocast（）：outputsmodel（imgs）losstraincrossentropyloss（outputs，targets）losslosstrain。item（）lossifargs。tensorboard：writer。addscalar（trainloss，losstrain。item（），iter）optim。zerograd（）losstrain。backward（）optim。step（）iteriter1ifiter1000：print（Epoch：｛｝Iteration：｛｝lr：｛｝loss：｛｝np。mean（loss）：｛｝。format（epoch，iter，optim。paramgroups〔0〕〔lr〕，losstrain。item（），np。mean（loss）））ifargs。tensorboard：writer。addscalar（lr，optim。paramgroups〔0〕〔lr〕，epoch）scheduler。step（np。mean（loss））t2time。time（）h（t2t1）3600m（（t2t1）3600）60s（（t2t1）3600）60print（epoch｛｝isfinished，andtimeis｛｝h｛｝m｛｝s。format（epoch，int（h），int（m），int（s）））ifepoch10：print（Savestate，iter：｛｝。format（epoch））torch。save（model。statedict（），｛｝AlexNet｛｝。pth。format（args。checkpoint，epoch））torch。save（model。statedict（），｛｝AlexNet。pth。format（args。checkpoint））t3time。time（）ht（t3t0）3600mt（（t3t0）3600）60st（（t3t0）3600）60print（Thefinishedtimeis｛｝h｛｝m｛｝s。format（int（ht），int（mt），int（st）））ifargs。tensorboard：writer。close（）ifnamemain：localsizetorch。cuda。devicecount（）print（localsize：。format（localsize））train（）
　　运行结果：
　　Tensorboard观察：
　　评估源码：
　　evalDDP。py导入自己的alexnet。pyimporttorchimporttorchvisionimporttorch。distributedasdistfromtorch。utils。dataimportDataLoaderfromtorchvision。transformsimporttransformsfromalexnetimportalexnetfromtorchvision。models。alexnetimportalexnetimportargparseevaldefparseargs（）：parserargparse。ArgumentParser（descriptionCVEvaluation）parser。addmutuallyexclusivegroup（）parser。addargument（rank，typeint，default0）parser。addargument（worldsize，typeint，default1）parser。addargument（masteraddr，typestr，default127。0。0。1）parser。addargument（masterport，typestr，default12355）parser。addargument（dataset，typestr，defaultCIFAR10，helpCIFAR10）parser。addargument（datasetroot，typestr，default。。data，helpDatasetrootdirectorypath）parser。addargument（imgsize，typeint，default227，helpimagesize）parser。addargument（batchsize，typeint，default64，helpbatchsize）parser。addargument（checkpoint，typestr，default。。checkpoint，helpSave。pthfold）returnparser。parseargs（）argsparseargs（）defeval（）：dist。initprocessgroup（gloo，initmethodtcp：｛｝：｛｝。format（args。masteraddr，args。masterport），rankargs。rank，worldsizeargs。worldsize）1。Createmodelmodelalexnet（）modeltorch。nn。parallel。DistributedDataParallel（model）2。ReadyDatasetifargs。datasetCIFAR10：testdatasettorchvision。datasets。CIFAR10（rootargs。datasetroot，trainFalse，transformtransforms。Compose（〔transforms。Resize（args。imgsize），transforms。ToTensor（）〕），downloadTrue）else：raiseValueError（DatasetisnotCIFAR10）3。Lengthtestdatasetsizelen（testdataset）print（thetestdatasetsizeis｛｝。format（testdatasetsize））testsamplertorch。utils。data。distributed。DistributedSampler（testdataset）4。DataLoadertestdataloaderDataLoader（datasettestdataset，samplertestsampler，batchsizeargs。batchsize，numworkers2，pinmemoryTrue）5。Setsomeparametersfortestingthenetworktotalaccuracy0testmodel。eval（）withtorch。nograd（）：fordataintestdataloader：imgs，targetsdatadevicetorch。device（cpu）imgs，targetsimgs。to（device），targets。to（device）modelloadtorch。load（｛｝AlexNet。pth。format（args。checkpoint），maplocationdevice）model。loadstatedict（modelload）outputsmodel（imgs）outputsoutputs。to（device）accuracy（outputs。argmax（1）targets）。sum（）totalaccuracytotalaccuracyaccuracyaccuracytotalaccuracytestdatasetsizeprint（thetotalaccuracyis｛｝。format（accuracy））ifnamemain：localsizetorch。cuda。devicecount（）print（localsize：。format（localsize））eval（）
　　运行结果：
　　分析：
　　从DDP未使用amp花费21分21秒，DDP使用autocast花费20分20秒，说明速度提升了
　　DDP未使用amp的准确率0。8224，之后DDP使用了autocast准确率下降到0。8162（3）DDP使用autocast与GradScaler的训练与评估源码
　　训练源码：
　　trainDDPGradScaler。py导入自己的alexnet。pyimporttimeimporttorchfromalexnetimportalexnetimporttorchvisionfromtorchimportnnimporttorch。distributedasdistfromtorchvisionimporttransformsfromtorch。utils。dataimportDataLoaderfromtorch。cuda。ampimportautocastasautocastfromtorch。cuda。ampimportGradScalerasGradScalerfromtorch。utils。tensorboardimportSummaryWriterimportnumpyasnpimportargparsedefparseargs（）：parserargparse。ArgumentParser（descriptionCVTrain）parser。addmutuallyexclusivegroup（）parser。addargument（rank，typeint，default0）parser。addargument（worldsize，typeint，default1）parser。addargument（masteraddr，typestr，default127。0。0。1）parser。addargument（masterport，typestr，default12355）parser。addargument（dataset，typestr，defaultCIFAR10，helpCIFAR10）parser。addargument（datasetroot，typestr，default。。data，helpDatasetrootdirectorypath）parser。addargument（imgsize，typeint，default227，helpimagesize）parser。addargument（tensorboard，typestr，defaultTrue，helpUsetensorboardforlossvisualization）parser。addargument（tensorboardlog，typestr，default。。tensorboard，helptensorboardfolder）parser。addargument（cuda，typestr，defaultTrue，helpifiscudaavailable）parser。addargument（batchsize，typeint，default64，helpbatchsize）parser。addargument（lr，typefloat，default1e4，helplearningrate）parser。addargument（epochs，typeint，default20，helpNumberofepochstotrain。）parser。addargument（checkpoint，typestr，default。。checkpoint，helpSave。pthfold）returnparser。parseargs（）argsparseargs（）deftrain（）：dist。initprocessgroup（gloo，initmethodtcp：｛｝：｛｝。format（args。masteraddr，args。masterport），rankargs。rank，worldsizeargs。worldsize）1。CreateSummaryWriterifargs。tensorboard：writerSummaryWriter（args。tensorboardlog）2。Readydatasetifargs。datasetCIFAR10：traindatasettorchvision。datasets。CIFAR10（rootargs。datasetroot，trainTrue，transformtransforms。Compose（〔transforms。Resize（args。imgsize），transforms。ToTensor（）〕），downloadTrue）else：raiseValueError（DatasetisnotCIFAR10）cudatorch。cuda。isavailable（）print（CUDAavailable：｛｝。format（cuda））3。Lengthtraindatasetsizelen（traindataset）print（thetraindatasetsizeis｛｝。format（traindatasetsize））trainsamplertorch。utils。data。distributed。DistributedSampler（traindataset）4。DataLoadertraindataloaderDataLoader（datasettraindataset，batchsizeargs。batchsize，samplertrainsampler，numworkers2，pinmemoryTrue）5。Createmodelmodelalexnet（）ifargs。cudacuda：modelmodel。cuda（）modeltorch。nn。parallel。DistributedDataParallel（model）。cuda（）else：modeltorch。nn。parallel。DistributedDataParallel（model）6。Createlosscrossentropylossnn。CrossEntropyLoss（）7。Optimizeroptimtorch。optim。AdamW（model。parameters（），lrargs。lr）schedulertorch。optim。lrscheduler。ReduceLROnPlateau（optim，patience3，verboseTrue）scalerGradScaler（）8。Setsomeparameterstocontrolloopepochiter0t0time。time（）forepochinrange（args。epochs）：t1time。time（）print（the｛｝numberoftrainingepoch。format（epoch））model。train（）fordataintraindataloader：loss0imgs，targetsdataoptim。zerograd（）ifargs。cudacuda：crossentropylosscrossentropyloss。cuda（）imgs，targetsimgs。cuda（），targets。cuda（）withautocast（）：outputsmodel（imgs）losstraincrossentropyloss（outputs，targets）losslosstrain。item（）lossifargs。tensorboard：writer。addscalar（trainloss，losstrain。item（），iter）scaler。scale（losstrain）。backward（）scaler。step（optim）scaler。update（）iteriter1ifiter1000：print（Epoch：｛｝Iteration：｛｝lr：｛｝loss：｛｝np。mean（loss）：｛｝。format（epoch，iter，optim。paramgroups〔0〕〔lr〕，losstrain。item（），np。mean（loss）））ifargs。tensorboard：writer。addscalar（lr，optim。paramgroups〔0〕〔lr〕，epoch）scheduler。step（np。mean（loss））t2time。time（）h（t2t1）3600m（（t2t1）3600）60s（（t2t1）3600）60print（epoch｛｝isfinished，andtimeis｛｝h｛｝m｛｝s。format（epoch，int（h），int（m），int（s）））ifepoch10：print（Savestate，iter：｛｝。format（epoch））torch。save（model。statedict（），｛｝AlexNet｛｝。pth。format（args。checkpoint，epoch））torch。save（model。statedict（），｛｝AlexNet。pth。format（args。checkpoint））t3time。time（）ht（t3t0）3600mt（（t3t0）3600）60st（（t3t0）3600）60print（Thefinishedtimeis｛｝h｛｝m｛｝s。format（int（ht），int（mt），int（st）））ifargs。tensorboard：writer。close（）ifnamemain：localsizetorch。cuda。devicecount（）print（localsize：。format（localsize））train（）
　　运行结果：
　　Tensorboard观察：
　　评估源码：
　　evalDDP。py与3。（2）一样，导入自己的alexnet。py
　　运行结果：
　　分析：
　　运行起来了，速度也比DDP未使用amp（用时21分21秒）快了不少（用时20分20秒），之前DDP未使用amp准确率到达0。8224，现在DDP使用了autocast与GradScaler的准确率达到0。8252，提升了
　　参考：
　　1。Pytorch自动混合精度（AMP）训练：https：blog。csdn。netytusdcarticledetails122152244
　　2。PyTorch分布式训练基础DDP使用：https：zhuanlan。zhihu。comp358974461