动手学深度学习框架（4）手把手教你写一个功能完整的简易Dem

　　0、前言
　　一定不要错过！一定不要错过！一定不要错过！重要的事情说3遍。本篇文章中，我将手把手教你写一个功能完整的深度学习框架demo，本文将满足你对Pytorch、Tensorflow、Paddle中神秘的C后端的所有好奇心。1、问题描述
　　为了在有限的篇幅中把深度学习框架讲明白，我们以一个简单的例子开始：
　　组网结构：超级简单的FC（全连接），Loss（损失函数）采用MSE（最小均方误差）
　　为了进一步简化，输入输出张量纬度均设为1，也就是全为标量
　　上式中，是输入数据，是模型输出，是参数。
　　给定一条训练样本2、数学推导
　　上述公式中的就是神经网络中的loss，则该最优化问题可抽象为：
　　如何求解呢？3板斧：反向梯度链式求导梯度更新
　　3、详细代码及解释includeiostreamincludeiomanipincludestringincludeunorderedmapincluderandomincludechronoinclude自定义Tensor类型，这里数据成员非常简单，就是个标量，重载了基本数学运算符classMyTensor｛public：uint32tdata；public：MyTensor（）｛｝；MyTensor（uint32tx）：data（x）｛｝MyTensoroperator（constMyTensora）｛thisdatathisdataa。data；returnthis；｝MyTensoroperator（constMyTensora）｛thisdatathisdataa。data；returnthis；｝MyTensoroperator（constMyTensora）｛thisdatathisdataa。data；returnthis；｝MyTensoroperator（constinta）｛thisdatathisdataa；returnthis；｝｝；Op基类classOpBase｛public：std：：unorderedmapstd：：string，MyTensorinputs；std：：unorderedmapstd：：string，MyTensoroutputs；std：：unorderedmapstd：：string，MyTensorlabels；public：virtualvoidRun（）0；｝；乘法前向OpclassMultipylyForward：publicOpBase｛public：voidRun（）｛MyTensorxinputs〔X〕；MyTensorwinputs〔W〕；MyTensory1xw；outputs〔Y〕y1；｝｝；乘法反向OpclassMultipylyBackward：publicOpBase｛public：voidRun（）｛MyTensorxinputs〔X〕；outputs〔Y〕x；｝｝；加法前向OpclassAddForward：publicOpBase｛public：voidRun（）｛MyTensorx1inputs〔X1〕；MyTensorx2inputs〔X2〕；MyTensoryx1x2；outputs〔Y〕y；｝｝；加法反向OpclassAddBackward：publicOpBase｛public：voidRun（）｛MyTensorx；x。data1；outputs〔Y〕x；｝｝；loss前向Op，这里选取MSE作为示例classLossForward：publicOpBase｛public：voidRun（）｛MyTensoryinputs〔X〕；MyTensorlabellabels〔Label〕；MyTensorloss（ylabel）（ylabel）；outputs〔Y〕loss；｝｝；loss反向OpclassLossBackward：publicOpBase｛public：voidRun（）｛MyTensoryinputs〔X〕；MyTensorlabellabels〔Label〕；outputs〔Y〕（ylabel）（ylabel）；｝｝；梯度更新OpclassUpdateGrad：publicOpBase｛public：doublelr0。1；std：：unorderedmapstd：：string，MyTensorinputs；std：：unorderedmapstd：：string，MyTensoroutputs；public：voidRun（）｛MyTensorwinputs〔W〕；MyTensorgradinputs〔Grad1〕inputs〔Grad2〕inputs〔Grad3〕；链式求导MyTensorlr；lr。datathislr；outputs〔Y〕wlrgrad；｝｝；intmain（）｛1。用户自定义前向组网std：：vectorstd：：stringprogram｛Multiply，Add，Loss｝；2。框架生成前向op自动补全反向OP插入梯度更新opstd：：vectorstd：：stringops｛multiplyforward，addforward，lossforward，lossbackward，Addforward，multiplybackward，updategrad｝；3。实例化c端op对象std：：vectorOpBaseopClass｛newMultipylyForward（），newAddForward（），newLossForward（），newLossBackward（），newAddBackward（），newMultipylyBackward（），newUpdateGrad（）｝；4。框架根据用户组网，自动给每个op的输入赋值，这里仅以乘法前向op作个例子。一定要记住一点：框架中所有输入数据、参数、模型中间输入、输出、以及每个参数的梯度都有一个string类型的名字，它的存在是为了给op输入赋值服务的opClass〔0〕inputs〔X〕MyTensor（10）；opClass〔0〕inputs〔W〕MyTensor（20）；for（autoop：opClass）｛opRun（）；｝5。测试第1个op的输出std：：coutopClass〔0〕outputs〔Y〕。data；输出结果：200｝3。0、框架实现7个算子（Op）
　　Op就可以简单理解为函数符号化，对于每个Op（函数），我们需要指定输入是什么，输出是什么，所以很显然想到用string类型的名字去描述。在Op运行时，只要按名字找到实际的数据即可。
　　3。1、用户描述组网信息
　　由python前端接口提供，具体可参考本系列专题之前的文章。3。2、框架生成前向Op（3个）框架生成反向Op（3个）框架插入参数更新Op（1个）3。3、框架运行Op4、总结
　　当然，本文为了让大家理解神经网络框架的基本原理，所以非常简化。实际框架比这要复杂得多（功能更加完善、训练和推理的区别、静态图和动态图、cpugpu等异构硬件、自动微分、序列化等等），但本质思想上是完全一样的。感兴趣的同学，可以去深入研究下Pytorch、Paddle、Tensorflow的源码吧。
　　之后的文章，我将重点介绍下深度学习分布式技术的方方面面，欢迎关注。
　　更多内容，也请关注我同名知乎账号自由技艺