图像识别基于Keras的手写数字识别（含代码）

　　前沿
　　人工智能的浪潮已经席卷全球，深度学习（DeepLearning）和人工智能（ArtificialIntelligence，AI）等词汇也不断地充斥在我们身边。人工智能的发展是一个三起两落的变化，90年代期间，知识推理神经网络机器学习；2005年左右，机器学习知识（语义网）神经网络；而从2017年之后，基于深度学习的神经网络知识（知识图谱）机器学习。
　　卷积神经网络（convolutionalneuralnetwork，CNN）作为深度学习中的代表，最早的灵感是来源于1961年Hubel和Wiesel两位神经生物学家，在对猫视觉皮层细胞的实验中，发现大脑可视皮层是分层的（CNN中的分层网络结构与其如出一辙）。深度学习作为机器学习（ML）的一个子领域，由于计算机能力的提高和大量数据的可用性，得到了戏剧性的复苏。但是，深度学习是否能等同或代表人工智能，这一点笔者认为有待商榷，深度学习可以认为是目前人工智能发展阶段的重要技术。由于本文主要撰写关于深度学习的入门实战，关于细节概念不做深入研究，下面笔者从实际案例，介绍深度学习处理图像的大致流程。
　　目录：
　　以手写识别数字为例，作为深度学习的入门项目，本文以Keras深度学习库为基础。其中使用的tensorflow等模块需要提前配置好，同时注意模型，图片保存、载入的文件路径问题。在自己的计算机上运行时，需要创建或修改。下面的流程包括：使用Keras载入MNIST数据集，构建Lenet训练网络模型，使用Keras进行模型的保存、载入，使用Keras实现对手写数字数据集的训练和预测，最后画出误差迭代图。
　　手写数字数据集介绍：
　　手写数字识别几乎是深度学习的入门数据集了。在keras中内置了MNIST数据集，其中测试集包含60000条数据，验证集包含10000条数据，为单通道的灰度图片，每张图片的像素大小为2828。一共包含10个类别，为数字0到9。
　　导入相关模块：importthenecessarypackagesimportnumpyasnpfromkeras。utilsimportnputilsfromkeras。optimizersimportAdamfromkeras。preprocessing。imageimportImageDataGeneratorfromkeras。modelsimportSequentialfromkeras。layers。convolutionalimportConv2Dfromkeras。layers。convolutionalimportMaxPooling2Dfromkeras。layers。coreimportActivationfromkeras。layers。coreimportFlattenfromkeras。layers。coreimportDensefromkerasimportbackendasKfromkeras。modelsimportloadmodel
　　载入MNIST数据集
　　Keras可实现多种神经网络模型，并可以加载多种数据集来评价模型的效果，下面我们使用代码自动加载MNIST数据集。loadminitdatafromkeras。datasetsimportmnist（xtrain，ytrain），（xtest，ytest）mnist。loaddata（）
　　显示MNIST训练数据集中的前面6张图片：plot6imagesasgrayscaleimportmatplotlib。pyplotaspltplt。subplot（321）plt。imshow（xtrain〔0〕，cmapplt。getcmap（gray））plt。subplot（322）plt。imshow（xtrain〔1〕，cmapplt。getcmap（gray））plt。subplot（323）plt。imshow（xtrain〔2〕，cmapplt。getcmap（gray））plt。subplot（324）plt。imshow（xtrain〔3〕，cmapplt。getcmap（gray））plt。subplot（325）plt。imshow（xtrain〔4〕，cmapplt。getcmap（gray））plt。subplot（326）plt。imshow（xtrain〔5〕，cmapplt。getcmap（gray））showplt。show（）
　　数据的预处理
　　首先，将数据转换为4维向量〔samples〕〔width〕〔height〕〔pixels〕，以便于后面模型的输入reshapethedatatofourdimensions，duetotheinputofmodelreshapetobe〔samples〕〔width〕〔height〕〔pixels〕xtrainxtrain。reshape（xtrain。shape〔0〕，28，28，1）。astype（float32）xtestxtest。reshape（xtest。shape〔0〕，28，28，1）。astype（float32）
　　为了使模型训练效果更好，通常需要对图像进行归一化处理normalizationxtrainxtrain255。0xtestxtest255。0
　　最后，原始MNIST数据集的数据标签是09，通常要将其表示成onehot向量。如训练数据标签为1，则将其转化为向量〔0，1，0，0，0，0，0，0，0，0〕onehotytrainnputils。tocategorical（ytrain）ytestnputils。tocategorical（ytest）
　　模型的建立与计算
　　训练模型的参数设置：parametersEPOCHS10INITLR1e3BS32CLASSNUM10normsize28
　　本文使用Lenet网络架构，下面定义Lenet网络结构，若要更改网络结构，如用VGGNet，GoogleNet，Inception，ResNets或自己构建不同的网络结构，可以直接在这一块函数内进行修改。definelenetmodeldeflmodel（width，height，depth，NBCLASS）：modelSequential（）inputShape（height，width，depth）ifweareusingchannelslast，updatetheinputshapeifK。imagedataformat（）channelsfirst：fortensorflowinputShape（depth，height，width）firstsetofCONVRELUPOOLlayersmodel。add（Conv2D（20，（5，5），paddingsame，inputshapeinputShape））model。add（Activation（relu））model。add（MaxPooling2D（poolsize（2，2），strides（2，2）））secondsetofCONVRELUPOOLlayersmodel。add（Conv2D（50，（5，5），paddingsame））model。add（Activation（relu））model。add（MaxPooling2D（poolsize（2，2），strides（2，2）））first（andonly）setofFCRELUlayersmodel。add（Flatten（））model。add（Dense（500））model。add（Activation（relu））softmaxclassifiermodel。add（Dense（NBCLASS））model。add（Activation（softmax））returntheconstructednetworkarchitecturereturnmodel
　　再附上两个经典的模型：
　　VGG16：importinspectimportosimportnumpyasnpimporttensorflowastfimporttimeVGGMEAN〔103。939，116。779，123。68〕classVgg16：definit（self，vgg16npypathNone）：ifvgg16npypathisNone：pathinspect。getfile（Vgg16）pathos。path。abspath（os。path。join（path，os。pardir））pathos。path。join（path，vgg16。npy）vgg16npypathpathprint（path）self。datadictnp。load（vgg16npypath，encodinglatin1）。item（）print（npyfileloaded）defbuild（self，rgb）：loadvariablefromnpytobuildtheVGG：paramrgb：rgbimage〔batch，height，width，3〕valuesscaled〔0，1〕starttimetime。time（）print（buildmodelstarted）rgbscaledrgb255。0ConvertRGBtoBGRred，green，bluetf。split（axis3，numorsizesplits3，valuergbscaled）assertred。getshape（）。aslist（）〔1：〕〔224，224，1〕assertgreen。getshape（）。aslist（）〔1：〕〔224，224，1〕assertblue。getshape（）。aslist（）〔1：〕〔224，224，1〕bgrtf。concat（axis3，values〔blueVGGMEAN〔0〕，greenVGGMEAN〔1〕，redVGGMEAN〔2〕，〕）assertbgr。getshape（）。aslist（）〔1：〕〔224，224，3〕self。conv11self。convlayer（bgr，conv11）self。conv12self。convlayer（self。conv11，conv12）self。pool1self。maxpool（self。conv12，pool1）self。conv21self。convlayer（self。pool1，conv21）self。conv22self。convlayer（self。conv21，conv22）self。pool2self。maxpool（self。conv22，pool2）self。conv31self。convlayer（self。pool2，conv31）self。conv32self。convlayer（self。conv31，conv32）self。conv33self。convlayer（self。conv32，conv33）self。pool3self。maxpool（self。conv33，pool3）self。conv41self。convlayer（self。pool3，conv41）self。conv42self。convlayer（self。conv41，conv42）self。conv43self。convlayer（self。conv42，conv43）self。pool4self。maxpool（self。conv43，pool4）self。conv51self。convlayer（self。pool4，conv51）self。conv52self。convlayer（self。conv51，conv52）self。conv53self。convlayer（self。conv52，conv53）self。pool5self。maxpool（self。conv53，pool5）self。fc6self。fclayer（self。pool5，fc6）assertself。fc6。getshape（）。aslist（）〔1：〕〔4096〕self。relu6tf。nn。relu（self。fc6）self。fc7self。fclayer（self。relu6，fc7）self。relu7tf。nn。relu（self。fc7）self。fc8self。fclayer（self。relu7，fc8）self。probtf。nn。softmax（self。fc8，nameprob）self。datadictNoneprint（（buildmodelfinished：ds（time。time（）starttime）））defavgpool（self，bottom，name）：returntf。nn。avgpool（bottom，ksize〔1，2，2，1〕，strides〔1，2，2，1〕，paddingSAME，namename）defmaxpool（self，bottom，name）：returntf。nn。maxpool（bottom，ksize〔1，2，2，1〕，strides〔1，2，2，1〕，paddingSAME，namename）defconvlayer（self，bottom，name）：withtf。variablescope（name）：filtself。getconvfilter（name）convtf。nn。conv2d（bottom，filt，〔1，1，1，1〕，paddingSAME）convbiasesself。getbias（name）biastf。nn。biasadd（conv，convbiases）relutf。nn。relu（bias）returnreludeffclayer（self，bottom，name）：withtf。variablescope（name）：shapebottom。getshape（）。aslist（）dim1fordinshape〔1：〕：dimdxtf。reshape（bottom，〔1，dim〕）weightsself。getfcweight（name）biasesself。getbias（name）Fullyconnectedlayer。Notethattheoperationautomaticallybroadcaststhebiases。fctf。nn。biasadd（tf。matmul（x，weights），biases）returnfcdefgetconvfilter（self，name）：returntf。constant（self。datadict〔name〕〔0〕，namefilter）defgetbias（self，name）：returntf。constant（self。datadict〔name〕〔1〕，namebiases）defgetfcweight（self，name）：returntf。constant（self。datadict〔name〕〔0〕，nameweights）
　　GoogleNet：fromkeras。modelsimportModelfromkeras。utilsimportplotmodelfromkerasimportregularizersfromkerasimportbackendasKfromkeras。layersimportInput，Flatten，Dense，Dropout，BatchNormalization，concatenatefromkeras。layers。convolutionalimportConv2D，MaxPooling2D，AveragePooling2DGlobalConstantsNBCLASS20LEARNINGRATE0。01MOMENTUM0。9ALPHA0。0001BETA0。75GAMMA0。1DROPOUT0。4WEIGHTDECAY0。0005LRN2DNORMTrueDATAFORMATchannelslastTheano：channelsfirstTensorflow：channelslastUSEBNTrueIMWIDTH224IMHEIGHT224EPOCH50defconv2Dlrn2d（x，filters，kernelsize，strides（1，1），paddingsame，dilationrate（1，1），activationrelu，usebiasTrue，kernelinitializerglorotuniform，biasinitializerzeros，kernelregularizerNone，biasregularizerNone，activityregularizerNone，kernelconstraintNone，biasconstraintNone，lrn2dnormLRN2DNORM，weightdecayWEIGHTDECAY）：l2normalizationifweightdecay：kernelregularizerregularizers。l2（weightdecay）biasregularizerregularizers。l2（weightdecay）else：kernelregularizerNonebiasregularizerNonexConv2D（filtersfilters，kernelsizekernelsize，stridesstrides，paddingpadding，dilationratedilationrate，activationactivation，usebiasusebias，kernelinitializerkernelinitializer，biasinitializerbiasinitializer，kernelregularizerkernelregularizer，biasregularizerbiasregularizer，activityregularizeractivityregularizer，kernelconstraintkernelconstraint，biasconstraintbiasconstraint）（x）iflrn2dnorm：batchnormalizationxBatchNormalization（）（x）returnxdefinceptionmodule（x，params，concataxis，paddingsame，dilationrate（1，1），activationrelu，usebiasTrue，kernelinitializerglorotuniform，biasinitializerzeros，kernelregularizerNone，biasregularizerNone，activityregularizerNone，kernelconstraintNone，biasconstraintNone，lrn2dnormLRN2DNORM，weightdecayNone）：（branch1，branch2，branch3，branch4）paramsifweightdecay：kernelregularizerregularizers。l2（weightdecay）biasregularizerregularizers。l2（weightdecay）else：kernelregularizerNonebiasregularizerNone1x1pathway1Conv2D（filtersbranch1〔0〕，kernelsize（1，1），strides1，paddingpadding，dilationratedilationrate，activationactivation，usebiasusebias，kernelinitializerkernelinitializer，biasinitializerbiasinitializer，kernelregularizerkernelregularizer，biasregularizerbiasregularizer，activityregularizeractivityregularizer，kernelconstraintkernelconstraint，biasconstraintbiasconstraint）（x）1x13x3pathway2Conv2D（filtersbranch2〔0〕，kernelsize（1，1），strides1，paddingpadding，dilationratedilationrate，activationactivation，usebiasusebias，kernelinitializerkernelinitializer，biasinitializerbiasinitializer，kernelregularizerkernelregularizer，biasregularizerbiasregularizer，activityregularizeractivityregularizer，kernelconstraintkernelconstraint，biasconstraintbiasconstraint）（x）pathway2Conv2D（filtersbranch2〔1〕，kernelsize（3，3），strides1，paddingpadding，dilationratedilationrate，activationactivation，usebiasusebias，kernelinitializerkernelinitializer，biasinitializerbiasinitializer，kernelregularizerkernelregularizer，biasregularizerbiasregularizer，activityregularizeractivityregularizer，kernelconstraintkernelconstraint，biasconstraintbiasconstraint）（pathway2）1x15x5pathway3Conv2D（filtersbranch3〔0〕，kernelsize（1，1），strides1，paddingpadding，dilationratedilationrate，activationactivation，usebiasusebias，kernelinitializerkernelinitializer，biasinitializerbiasinitializer，kernelregularizerkernelregularizer，biasregularizerbiasregularizer，activityregularizeractivityregularizer，kernelconstraintkernelconstraint，biasconstraintbiasconstraint）（x）pathway3Conv2D（filtersbranch3〔1〕，kernelsize（5，5），strides1，paddingpadding，dilationratedilationrate，activationactivation，usebiasusebias，kernelinitializerkernelinitializer，biasinitializerbiasinitializer，kernelregularizerkernelregularizer，biasregularizerbiasregularizer，activityregularizeractivityregularizer，kernelconstraintkernelconstraint，biasconstraintbiasconstraint）（pathway3）3x31x1pathway4MaxPooling2D（poolsize（3，3），strides1，paddingpadding，dataformatDATAFORMAT）（x）pathway4Conv2D（filtersbranch4〔0〕，kernelsize（1，1），strides1，paddingpadding，dilationratedilationrate，activationactivation，usebiasusebias，kernelinitializerkernelinitializer，biasinitializerbiasinitializer，kernelregularizerkernelregularizer，biasregularizerbiasregularizer，activityregularizeractivityregularizer，kernelconstraintkernelconstraint，biasconstraintbiasconstraint）（pathway4）returnconcatenate（〔pathway1，pathway2，pathway3，pathway4〕，axisconcataxis）classGoogleNet：staticmethoddefbuild（width，height，depth，NBCLASS）：INPSHAPE（height，width，depth）imginputInput（shapeINPSHAPE）CONCATAXIS3Dataformat：tensorflow，channelslast；theano，channelslastifK。imagedataformat（）channelsfirst：INPSHAPE（depth，height，width）imginputInput（shapeINPSHAPE）CONCATAXIS1xconv2Dlrn2d（imginput，64，（7，7），2，paddingsame，lrn2dnormFalse）xMaxPooling2D（poolsize（2，2），strides2，paddingsame）（x）xBatchNormalization（）（x）xconv2Dlrn2d（x，64，（1，1），1，paddingsame，lrn2dnormFalse）xconv2Dlrn2d（x，192，（3，3），1，paddingsame，lrn2dnormTrue）xMaxPooling2D（poolsize（2，2），strides2，paddingsame）（x）xinceptionmodule（x，params〔（64，），（96，128），（16，32），（32，）〕，concataxisCONCATAXIS）3axinceptionmodule（x，params〔（128，），（128，192），（32，96），（64，）〕，concataxisCONCATAXIS）3bxMaxPooling2D（poolsize（2，2），strides2，paddingsame）（x）xinceptionmodule（x，params〔（192，），（96，208），（16，48），（64，）〕，concataxisCONCATAXIS）4axinceptionmodule（x，params〔（160，），（112，224），（24，64），（64，）〕，concataxisCONCATAXIS）4bxinceptionmodule（x，params〔（128，），（128，256），（24，64），（64，）〕，concataxisCONCATAXIS）4cxinceptionmodule（x，params〔（112，），（144，288），（32，64），（64，）〕，concataxisCONCATAXIS）4dxinceptionmodule（x，params〔（256，），（160，320），（32，128），（128，）〕，concataxisCONCATAXIS）4exMaxPooling2D（poolsize（2，2），strides2，paddingsame）（x）xinceptionmodule（x，params〔（256，），（160，320），（32，128），（128，）〕，concataxisCONCATAXIS）5axinceptionmodule（x，params〔（384，），（192，384），（48，128），（128，）〕，concataxisCONCATAXIS）5bxAveragePooling2D（poolsize（1，1），strides1，paddingvalid）（x）xFlatten（）（x）xDropout（DROPOUT）（x）xDense（outputdimNBCLASS，activationlinear）（x）xDense（outputdimNBCLASS，activationsoftmax）（x）CreateaKerasModelmodelModel（inputimginput，output〔x〕）model。summary（）SaveaPNGoftheModelBuildplotmodel（model，tofile。。imgsGoogLeNet。png）returntheconstructednetworkarchitecturereturnmodel
　　设置优化方法，loss函数，并编译模型：modellmodel（widthnormsize，heightnormsize，depth1，NBCLASSCLASSNUM）optAdam（lrINITLR，decayINITLREPOCHS）model。compile（losscategoricalcrossentropy，optimizeropt，metrics〔accuracy〕）
　　本文使用生成器以节约内存：UsegeneratorstosavememoryaugImageDataGenerator（rotationrange30，widthshiftrange0。1，heightshiftrange0。1，shearrange0。2，zoomrange0。2，horizontalflipTrue，fillmodenearest）Hmodel。fitgenerator（aug。flow（xtrain，ytrain，batchsizeBS），stepsperepochlen（xtrain）BS，epochsEPOCHS，verbose2）
　　结果分析
　　作出训练阶段的损失、精确度迭代图，本文将epoch设置为10，已达到0。98的准确率（代码、图像如下所示）。plottheiterationprocessNEPOCHSplt。figure（）plt。plot（np。arange（0，N），H。history〔loss〕，labelloss）plt。plot（np。arange（0，N），H。history〔acc〕，labeltrainacc）plt。title（TrainingLossandAccuracyonmnistimgclassifier）plt。xlabel（Epoch）plt。ylabel（LossAccuracy）plt。legend（loclowerleft）plt。savefig（。。figureFigure2。png）
　　公众号：帕帕科技喵
　　欢迎关注与讨论