手把手教你如何自己设计实现一个深度学习框架（附代码实现）

　　作者丨王桂波知乎（已授权）
　　来源丨https：zhuanlan。zhihu。comp78713744
　　编辑丨极市平台
　　当前深度学习框架越来越成熟，对于使用者而言封装程度越来越高，好处就是现在可以非常快速地将这些框架作为工具使用，用非常少的代码就可以构建模型进行实验，坏处就是可能背后地实现都被隐藏起来了。在这篇文章里笔者将设计和实现一个、轻量级的（约200行）、易于扩展的深度学习框架tinynn（基于Python和Numpy实现），希望对大家了解深度学习的基本组件、框架的设计和实现有一定的帮助。
　　本文首先会从深度学习的流程开始分析，对神经网络中的关键组件抽象，确定基本框架；然后再对框架里各个组件进行代码实现；最后基于这个框架实现了一个MNIST分类的示例，并与Tensorflow做了简单的对比验证。目录组件抽象组件实现整体结构MNIST例子总结附录参考组件抽象
　　首先考虑神经网络运算的流程，神经网络运算主要包含训练training和预测predict（或inference）两个阶段，训练的基本流程是：输入数据网络层前向传播计算损失网络层反向传播梯度更新参数，预测的基本流程是输入数据网络层前向传播输出结果。从运算的角度看，主要可以分为三种类型的计算：数据在网络层之间的流动：前向传播和反向传播可以看做是张量Tensor（多维数组）在网络层之间的流动（前向传播流动的是输入输出，反向传播流动的是梯度），每个网络层会进行一定的运算，然后将结果输入给下一层计算损失：衔接前向和反向传播的中间过程，定义了模型的输出与真实值之间的差异，用来后续提供反向传播所需的信息参数更新：使用计算得到的梯度对网络参数进行更新的一类计算
　　基于这个三种类型，我们可以对网络的基本组件做一个抽象tensor张量，这个是神经网络中数据的基本单位layer网络层，负责接收上一层的输入，进行该层的运算，将结果输出给下一层，由于tensor的流动有前向和反向两个方向，因此对于每种类型网络层我们都需要同时实现forward和backward两种运算loss损失，在给定模型预测值与真实值之后，该组件输出损失值以及关于最后一层的梯度（用于梯度回传）optimizer优化器，负责使用梯度更新模型的参数
　　然后我们还需要一些组件把上面这个4种基本组件整合到一起，形成一个pipelinenet组件负责管理tensor在layers之间的前向和反向传播，同时能提供获取参数、设置参数、获取梯度的接口model组件负责整合所有组件，形成整个pipeline。即net组件进行前向传播losses组件计算损失和梯度net组件将梯度反向传播optimizer组件将梯度更新到参数。
　　基本的框架图如下图
　　组件实现
　　按照上面的抽象，我们可以写出整个流程代码如下。definemodelnetNet（〔layer1，layer2，。。。〕）modelModel（net，lossfn，optimizer）trainingpredmodel。forward（trainX）loss，gradsmodel。backward（pred，trainY）model。applygrad（grads）inferencetestpredmodel。forward（testX）
　　首先定义net，net的输入是多个网络层，然后将net、loss、optimizer一起传给model。model实现了forward、backward和applygrad三个接口分别对应前向传播、反向传播和参数更新三个功能。接下来我们看这里边各个部分分别如何实现。tensor
　　tensor张量是神经网络中基本的数据单位，我们这里直接使用numpy。ndarray类作为tensor类的实现layer
　　上面流程代码中model进行forward和backward，其实底层都是网络层在进行实际运算，因此网络层需要有提供forward和backward接口进行对应的运算。同时还应该将该层的参数和梯度记录下来。先实现一个基类如下layer。pyclassLayer（object）：definit（self，name）：self。namenameself。params，self。gradsNone，Nonedefforward（self，inputs）：raiseNotImplementedErrordefbackward（self，grad）：raiseNotImplementedError
　　最基础的一种网络层是全连接网络层，实现如下。forward方法接收上层的输入inputs，实现的运算；backward的方法接收来自上层的梯度，计算关于参数和输入的梯度，然后返回关于输入的梯度。这三个梯度的推导可以见附录，这里直接给出实现。winit和binit分别是参数和的初始化器，这个我们在另外的一个实现初始化器中文件initializer。py去实现，这部分不是核心部件，所以在这里不展开介绍。layer。pyclassDense（Layer）：definit（self，numin，numout，winitXavierUniformInit（），binitZerosInit（））：super（）。init（Linear）self。params｛w：winit（〔numin，numout〕），b：binit（〔1，numout〕）｝self。inputsNonedefforward（self，inputs）：self。inputsinputsreturninputsself。params〔w〕self。params〔b〕defbackward（self，grad）：self。grads〔w〕self。inputs。Tgradself。grads〔b〕np。sum（grad，axis0）returngradself。params〔w〕。T
　　同时神经网络中的另一个重要的部分是激活函数。激活函数可以看做是一种网络层，同样需要实现forward和backward方法。我们通过继承Layer类实现激活函数类，这里实现了最常用的ReLU激活函数。func和derivationfunc方法分别实现对应激活函数的正向计算和梯度计算。layer。pyclassActivation（Layer）：Baseactivationlayerdefinit（self，name）：super（）。init（name）self。inputsNonedefforward（self，inputs）：self。inputsinputsreturnself。func（inputs）defbackward（self，grad）：returnself。derivativefunc（self。inputs）graddeffunc（self，x）：raiseNotImplementedErrordefderivativefunc（self，x）：raiseNotImplementedErrorclassReLU（Activation）：ReLUactivationfunctiondefinit（self）：super（）。init（ReLU）deffunc（self，x）：returnnp。maximum（x，0。0）defderivativefunc（self，x）：returnx0。0net
　　上文提到net类负责管理tensor在layers之间的前向和反向传播。forward方法很简单，按顺序遍历所有层，每层计算的输出作为下一层的输入；backward则逆序遍历所有层，将每层的梯度作为下一层的输入。这里我们还将每个网络层参数的梯度保存下来返回，后面参数更新需要用到。另外net类还实现了获取参数、设置参数、获取梯度的接口，也是后面参数更新时需要用到net。pyclassNet（object）：definit（self，layers）：self。layerslayersdefforward（self，inputs）：forlayerinself。layers：inputslayer。forward（inputs）returninputsdefbackward（self，grad）：allgrads〔〕forlayerinreversed（self。layers）：gradlayer。backward（grad）allgrads。append（layer。grads）returnallgrads〔：：1〕defgetparamsandgrads（self）：forlayerinself。layers：yieldlayer。params，layer。gradsdefgetparameters（self）：return〔layer。paramsforlayerinself。layers〕defsetparameters（self，params）：fori，layerinenumerate（self。layers）：forkeyinlayer。params。keys（）：layer。params〔key〕params〔i〕〔key〕losses
　　上文我们提到losses组件需要做两件事情，给定了预测值和真实值，需要计算损失值和关于预测值的梯度。我们分别实现为loss和grad两个方法，这里我们实现多分类回归常用的SoftmaxCrossEntropyLoss损失。这个的损失loss和梯度grad的计算公式推导进文末附录，这里直接给出结果：多分类softmax交叉熵的损失为
　　梯度稍微复杂一点，目标类别和非目标类别的计算公式不同。对于目标类别维度，其梯度为对应维度模型输出概率减一，对于非目标类别维度，其梯度为对应维度输出概率本身。
　　代码实现如下loss。pyclassBaseLoss（object）：defloss（self，predicted，actual）：raiseNotImplementedErrordefgrad（self，predicted，actual）：raiseNotImplementedErrorclassCrossEntropyLoss（BaseLoss）：defloss（self，predicted，actual）：mpredicted。shape〔0〕expsnp。exp（predictednp。max（predicted，axis1，keepdimsTrue））pexpsnp。sum（exps，axis1，keepdimsTrue）nllnp。log（np。sum（pactual，axis1））returnnp。sum（nll）mdefgrad（self，predicted，actual）：mpredicted。shape〔0〕gradnp。copy（predicted）gradactualreturngradmoptimizer
　　optimizer主要实现一个接口computestep，这个方法根据当前的梯度，计算返回实际优化时每个参数改变的步长。我们在这里实现常用的Adam优化器。optimizer。pyclassBaseOptimizer（object）：definit（self，lr，weightdecay）：self。lrlrself。weightdecayweightdecaydefcomputestep（self，grads，params）：steplist（）flattenallgradientsflattengradsnp。concatenate（〔np。ravel（v）forgradingradsforvingrad。values（）〕）computestepflattenstepself。computestep（flattengrads）reshapegradientsp0forparaminparams：layerdict（）fork，vinparam。items（）：blocknp。prod（v。shape）stepflattenstep〔p：pblock〕。reshape（v。shape）stepself。weightdecayvlayer〔k〕steppblockstep。append（layer）returnstepdefcomputestep（self，grad）：raiseNotImplementedErrorclassAdam（BaseOptimizer）：definit（self，lr0。001，beta10。9，beta20。999，eps1e8，weightdecay0。0）：super（）。init（lr，weightdecay）self。b1，self。b2beta1，beta2self。epsepsself。t0self。m，self。v0，0defcomputestep（self，grad）：self。t1self。mself。b1self。m（1self。b1）gradself。vself。b2self。v（1self。b2）（grad2）biascorrectionmself。m（1self。b1self。t）vself。v（1self。b2self。t）returnself。lrm（v0。5self。eps）model
　　最后model类实现了我们一开始设计的三个接口forward、backward和applygrad，forward直接调用net的forward，backward中把net、loss、optimizer串起来，先计算损失loss，然后反向传播得到梯度，然后optimizer计算步长，最后由applygrad对参数进行更新model。pyclassModel（object）：definit（self，net，loss，optimizer）：self。netnetself。losslossself。optimizeroptimizerdefforward（self，inputs）：returnself。net。forward（inputs）defbackward（self，preds，targets）：lossself。loss。loss（preds，targets）gradself。loss。grad（preds，targets）gradsself。net。backward（grad）paramsself。net。getparameters（）stepself。optimizer。computestep（grads，params）returnloss，stepdefapplygrad（self，grads）：forgrad，（param，）inzip（grads，self。net。getparamsandgrads（））：fork，vinparam。items（）：param〔k〕grad〔k〕整体结构
　　最后我们实现出来核心代码部分文件结构如下tinynncoreinitializer。pylayer。pyloss。pymodel。pynet。pyoptimizer。py
　　其中initializer。py这个模块上面没有展开讲，主要实现了常见的参数初始化方法（零初始化、Xavier初始化、He初始化等），用于给网络层初始化参数。MNIST例子
　　框架基本搭起来后，我们找一个例子来用tinynn这个框架run起来。这个例子的基本一些配置如下数据集：MNIST任务类型：多分类网络结构：三层全连接INPUT（784）FC（400）FC（100）OUTPUT（10），这个网络接收的输入，其中是每次输入的样本数，784是每张的图像展平后的向量，输出维度为，其中是样本数，10是对应图片在10个类别上的概率激活函数：ReLU损失函数：SoftmaxCrossEntropyoptimizer：Adam（lr1e3）batchsize：128Numepochs：20
　　这里我们忽略数据载入、预处理等一些准备代码，只把核心的网络结构定义和训练的代码贴出来如下examplemnistrun。pynetNet（〔Dense（784，400），ReLU（），Dense（400，100），ReLU（），Dense（100，10）〕）modelModel（netnet，lossSoftmaxCrossEntropyLoss（），optimizerAdam（lrargs。lr））iteratorBatchIterator（batchsizeargs。batchsize）evaluatorAccEvaluator（）forepochinrange（numep）：forbatchiniterator（trainx，trainy）：trainingpredmodel。forward（batch。inputs）loss，gradsmodel。backward（pred，batch。targets）model。applygrad（grads）evaluateeveryepochtestpredmodel。forward（testx）testpredidxnp。argmax（testpred，axis1）testyidxnp。asarray（testy）resevaluator。evaluate（testpredidx，testyidx）print（res）
　　运行结果如下tinynnEpoch0｛totalnum：10000，hitnum：9658，accuracy：0。9658｝Epoch1｛totalnum：10000，hitnum：9740，accuracy：0。974｝Epoch2｛totalnum：10000，hitnum：9783，accuracy：0。9783｝Epoch3｛totalnum：10000，hitnum：9799，accuracy：0。9799｝Epoch4｛totalnum：10000，hitnum：9805，accuracy：0。9805｝Epoch5｛totalnum：10000，hitnum：9826，accuracy：0。9826｝Epoch6｛totalnum：10000，hitnum：9823，accuracy：0。9823｝Epoch7｛totalnum：10000，hitnum：9819，accuracy：0。9819｝Epoch8｛totalnum：10000，hitnum：9820，accuracy：0。982｝Epoch9｛totalnum：10000，hitnum：9838，accuracy：0。9838｝Epoch10｛totalnum：10000，hitnum：9825，accuracy：0。9825｝Epoch11｛totalnum：10000，hitnum：9810，accuracy：0。981｝Epoch12｛totalnum：10000，hitnum：9845，accuracy：0。9845｝Epoch13｛totalnum：10000，hitnum：9845，accuracy：0。9845｝Epoch14｛totalnum：10000，hitnum：9835，accuracy：0。9835｝Epoch15｛totalnum：10000，hitnum：9817，accuracy：0。9817｝Epoch16｛totalnum：10000，hitnum：9815，accuracy：0。9815｝Epoch17｛totalnum：10000，hitnum：9835，accuracy：0。9835｝Epoch18｛totalnum：10000，hitnum：9826，accuracy：0。9826｝Epoch19｛totalnum：10000，hitnum：9819，accuracy：0。9819｝
　　可以看到测试集accuracy随着训练进行在慢慢提升，这说明数据在框架中确实按照正确的方式进行流动和计算，参数得到正确的更新。为了对比下效果，我用Tensorflow1。13实现了相同的网络结构、采用相同的采数初始化方法、优化器配置等等，得到的结果如下Tensorflow1。13。1Epoch0｛totalnum：10000，hitnum：9591，accuracy：0。9591｝Epoch1｛totalnum：10000，hitnum：9734，accuracy：0。9734｝Epoch2｛totalnum：10000，hitnum：9706，accuracy：0。9706｝Epoch3｛totalnum：10000，hitnum：9756，accuracy：0。9756｝Epoch4｛totalnum：10000，hitnum：9722，accuracy：0。9722｝Epoch5｛totalnum：10000，hitnum：9772，accuracy：0。9772｝Epoch6｛totalnum：10000，hitnum：9774，accuracy：0。9774｝Epoch7｛totalnum：10000，hitnum：9789，accuracy：0。9789｝Epoch8｛totalnum：10000，hitnum：9766，accuracy：0。9766｝Epoch9｛totalnum：10000，hitnum：9763，accuracy：0。9763｝Epoch10｛totalnum：10000，hitnum：9791，accuracy：0。9791｝Epoch11｛totalnum：10000，hitnum：9773，accuracy：0。9773｝Epoch12｛totalnum：10000，hitnum：9804，accuracy：0。9804｝Epoch13｛totalnum：10000，hitnum：9782，accuracy：0。9782｝Epoch14｛totalnum：10000，hitnum：9800，accuracy：0。98｝Epoch15｛totalnum：10000，hitnum：9837，accuracy：0。9837｝Epoch16｛totalnum：10000，hitnum：9811，accuracy：0。9811｝Epoch17｛totalnum：10000，hitnum：9793，accuracy：0。9793｝Epoch18｛totalnum：10000，hitnum：9818，accuracy：0。9818｝Epoch19｛totalnum：10000，hitnum：9811，accuracy：0。9811｝
　　可以看到两者效果上大差不差，测试集准确率都收敛到0。982左右，就单次的实验看比Tensorflow稍微好一点点。总结
　　tinynn相关的源代码在这个repo里。目前支持：layer：全连接层、2D卷积层、2D反卷积层、MaxPooling层、Dropout层、BatchNormalization层、RNN层以及ReLU、Sigmoid、Tanh、LeakyReLU、SoftPlus等激活函数loss：SigmoidCrossEntropy、SoftmaxCrossEntroy、MSE、MAE、Huberoptimizer：RAam、Adam、SGD、RMSProp、Momentum等优化器，并且增加了动态调节学习率LRScheduler实现了mnist（分类）、nnpaint（回归）、DQN（强化学习）、AutoEncoder和DCGAN（无监督）等常见模型。见tinynnexamples
　　tinynn还有很多可以继续完善的地方受限于时间还没有完成，笔者在空闲时间会进行维护和更新。
　　当然tinynn只是一个玩具版本的深度学习框架，一个成熟的深度学习框架至少还需要：支持自动求导、高运算效率（静态语言加速、支持GPU加速）、提供丰富的算法实现、提供易用的接口和详细的文档等等。这个小项目的出发点更多地是学习，在设计和实现tinynn的过程中笔者个人学习确实到了很多东西，包括如何抽象、如何设计组件接口、如何更效率的实现、算法的具体细节等等。对笔者而言写这个小框架除了了解深度学习框架的设计与实现之外还有一个好处：后续可以在这个框架上快速地实现一些新的算法，新的参数初始化方法，新的优化算法，新的网络结构设计，都可以快速地在这个小框架上进行实验。如果你对自己设计实现一个深度学习框架也感兴趣，希望看完这篇文章会对你有所帮助，也欢迎大家提PR一起贡献代码附录：Softmax交叉熵损失和梯度推导
　　多分类下交叉熵损失如下式：
　　其中分别是真实值和模型预测值，是样本数，是类别个数。由于真实值一般为一个onehot向量（除了真实类别维度为1其他均为0），因此上式可以化简为
　　其中是代表真实类别，代表第个样本类的预测概率。即我们需要计算的是每个样本在真实类别上的预测概率的对数的和，然后再取负就是交叉熵损失。接下来推导如何求解该损失关于模型输出的梯度，用表示模型输出，在多分类中通常最后会使用Softmax将网络的输出归一化为一个概率分布，则Softmax后的输出为
　　代入上面的损失函数
　　求解关于输出向量的梯度，可以将分为目标类别所在维度和非目标类别维度。首先看目标类别所在维度
　　再看非目标类别所在维度
　　可以看到对于目标类别维度，其梯度为对应维度模型输出概率减一，对于非目标类别维度，其梯度为对应维度输出概率真身。
　　参考DeepLearning，Goodfellow，etal。（2016）JoelGrusLivecodingMadnessLetsBuildaDeepLearningLibraryTensorFlowDocumentationPyTorchDocumentation