redis之AOF文件加载过程

　　redis支持2种持久化功能，分别是RDB持久化和AOF（AppendOnlyFile）持久化。
　　今天总结下redis加载AOF文件过程，以及加载AOF过程中遇到的问题。
　　由于AOF文件里面包含了重建redis数据库状态所需要的所有命令，因此在redis启动过程中需要加载一次AOF文件（前提是redis配置文件中使用的是aof文件），这样就可以还原之前的redis所有状态了。
　　redis在启动时加载AOF过程如下intmain（intargc，charargv）｛。。。如果服务器不是运行在SENTINEL模式，那么执行以下代码if（！server。sentinelmode）｛sentinel和集群只能二选1ThingsnotneededwhenrunninginSentinelmode。redisLog（REDISWARNING，Serverstarted，RedisversionREDISVERSION）；ifdeflinuxlinuxOvercommitMemoryWarning（）；endif从AOF文件或者RDB文件中载入数据loadDataFromDisk（）；判断是否启动集群if（server。clusterenabled）｛在该函数前会先载入cluster配置nodes。conf，见initServerclusterInit；if（verifyClusterConfigWithData（）REDISERR）｛redisLog（REDISWARNING，YoucanthavekeysinaDBdifferentthanDB0wheninClustermode。Exiting。）；exit（1）；｝｝打印TCP端口if（server。ipfdcount0）redisLog（REDISNOTICE，Theserverisnowreadytoacceptconnectionsonportd，server。port）；打印本地套接字端口if（server。sofd0）redisLog（REDISNOTICE，Theserverisnowreadytoacceptconnectionsats，server。unixsocket）；｝else｛sentinel和集群只能二选1sentinelIsRunning（）；｝Warningtheuseraboutsuspiciousmaxmemorysetting。检查不正常的maxmemory配置if（server。maxmemory0server。maxmemory10241024）｛redisLog（REDISWARNING，WARNING：Youspecifiedamaxmemoryvaluethatislessthan1MB（currentvalueisllubytes）。Areyousurethisiswhatyoureallywant？，server。maxmemory）；｝运行事件处理器，一直到服务器关闭为止aeSetBeforeSleepProc（server。el，beforeSleep）；aeMain（server。el）；服务器关闭，停止事件循环aeDeleteEventLoop（server。el）；return0；｝
　　从上面代码得知，redis在loadDataFromDisk（）中加载AOF文件。voidloadDataFromDisk（void）｛loadDataFromDisk和rdbSave对应加载写入记录开始时间longlongstartustime（）；AOF持久化是否已打开if（server。aofstateREDISAOFON）｛尝试载入AOF文件if（loadAppendOnlyFile（server。aoffilename）REDISOK）打印载入信息，并计算载入耗时长度redisLog（REDISNOTICE，DBloadedfromappendonlyfile：。3fseconds，（float）（ustime（）start）1000000）；AOF持久化未打开｝else｛尝试载入RDB文件if（rdbLoad（server。rdbfilename）REDISOK）｛打印载入信息，并计算载入耗时长度redisLog（REDISNOTICE，DBloadedfromdisk：。3fseconds，（float）（ustime（）start）1000000）；｝elseif（errno！ENOENT）｛redisLog（REDISWARNING，FatalerrorloadingtheDB：s。Exiting。，strerror（errno））；exit（1）；｝｝｝
　　若开启使用的是AOF持久化，则调用loadAppendOnlyFile进行加载AOF文件。intloadAppendOnlyFile（charfilename）｛伪客户端structredisClientfakeClient；打开AOF文件FILEfpfopen（filename，r）；、structredisstatsb；intoldaofstateserver。aofstate；longloops0；检查文件的正确性if（fpredisfstat（fileno（fp），sb）！1sb。stsize0）｛server。aofcurrentsize0；fclose（fp）；returnREDISERR；｝检查文件是否正常打开if（fpNULL）｛redisLog（REDISWARNING，Fatalerror：cantopentheappendlogfileforreading：s，strerror（errno））；exit（1）；｝TemporarilydisableAOF，topreventEXECfromfeedingaMULTItothesamefilewereabouttoread。暂时性地关闭AOF，防止在执行MULTI时，EXEC命令被传播到正在打开的AOF文件中。server。aofstateREDISAOFOFF；创建一个伪客户端fakeClientcreateFakeClient（）；设置服务器的状态为：正在载入startLoading（fp）；startLoading定义于rdb。cwhile（1）｛intargc，j；unsignedlonglen；robjargv；charbuf〔128〕；sdsargsds；structredisCommandcmd；Servetheclientsfromtimetotime间隔性地处理客户端发送来的请求因为服务器正处于载入状态，所以能正常执行的只有PUBSUB等模块if（！（loops1000））｛loadingProgress（ftello（fp））；processEventsWhileBlocked（）；｝读入文件内容到缓存if（fgets（buf，sizeof（buf），fp）NULL）｛if（feof（fp））break；文件已经读完，跳出elsegotoreaderr；｝确认协议格式，比如3rif（buf〔0〕！）gotofmterr；取出命令参数，比如3r中的3argcatoi（buf1）；至少要有一个参数（被调用的命令）if（argc1）gotofmterr；从文本中创建字符串对象：包括命令，以及命令参数例如3rSETr3rKEYr5rVALUEr将创建三个包含以下内容的字符串对象：SET、KEY、VALUEargvzmalloc（sizeof（robj）argc）；for（j0；jargc；j）｛if（fgets（buf，sizeof（buf），fp）NULL）gotoreaderr；if（buf〔0〕！39；）gotofmterr；读取参数值的长度lenstrtol（buf1，NULL，10）；读取参数值argsdssdsnewlen（NULL，len）；if（lenfread（argsds，len，1，fp）0）gotofmterr；为参数创建对象argv〔j〕createObject（REDISSTRING，argsds）；if（fread（buf，2，1，fp）0）gotofmterr；discardCRLF｝Commandlookup查找命令cmdlookupCommand（argv〔0〕ptr）；if（！cmd）｛redisLog（REDISWARNING，Unknowncommandsreadingtheappendonlyfile，（char）argv〔0〕ptr）；exit（1）；｝Runthecommandinthecontextofafakeclient调用伪客户端，执行命令fakeClientargcargc；fakeClientargvargv；cmdproc（fakeClient）；ThefakeclientshouldnothaveareplyredisAssert（fakeClientbufpos0listLength（fakeClientreply）0）；ThefakeclientshouldnevergetblockedredisAssert（（fakeClientflagsREDISBLOCKED）0）；Cleanup。Commandcodemayhavechangedargvargcsoweusetheargvargcoftheclientinsteadofthelocalvariables。清理命令和命令参数对象for（j0；jfakeClientargc；j）decrRefCount（fakeClientargv〔j〕）；zfree（fakeClientargv）；｝ThispointcanonlybereachedwhenEOFisreachedwithouterrors。IftheclientisinthemiddleofaMULTIEXEC，logerrorandquit。如果能执行到这里，说明AOF文件的全部内容都可以正确地读取，但是，还要检查AOF是否包含未正确结束的事务if（fakeClientflagsREDISMULTI）gotoreaderr；fclose（fp）；释放伪客户端freeFakeClient（fakeClient）；复原AOF状态server。aofstateoldaofstate；停止载入stopLoading（）；更新服务器状态中，AOF文件的当前大小aofUpdateCurrentSize（）；记录前一次重写时的大小server。aofrewritebasesizeserver。aofcurrentsize；returnREDISOK；读入错误readerr：非预期的末尾，可能是AOF文件在写入的中途遭遇了停机if（feof（fp））｛redisLog（REDISWARNING，Unexpectedendoffilereadingtheappendonlyfile）；文件内容出错｝else｛redisLog（REDISWARNING，Unrecoverableerrorreadingtheappendonlyfile：s，strerror（errno））；｝exit（1）；内容格式错误fmterr：redisLog（REDISWARNING，Badfileformatreadingtheappendonlyfile：makeabackupofyourAOFfile，thenuse。redischeckaoffixfilename）；exit（1）；｝
　　由于AOF文件中保存的都是用户可见的一条条命令，因此loadAppendOnlyFile通过创建一个伪客户端读取AOF文件获取一条条命令来恢复执行。
　　redis读取AOF文件并还原数据库的状态过程如下：
　　以上就是服务器根据读入AOF文件进行还原数据库状态的原理。
　　从上面的介绍可以知道加载AOF文件是redis启动过程中的步骤，当业务线程启动连接redis获取或者保存数据时，若redis正在加载数据，则有可能获取不到数据：127。0。0。1：6379geta（error）LOADINGRedisisloadingthedatasetinmemory
　　原因是当加载过程中，有些客户端发来的命令是不执行的，直接返回上述结果。只有命令带有l（小写的L）标志的才会执行，比如info命令等。
　　那么怎么判断AOF文件是否加载完成呢？
　　刚才说到加载时可以执行info命令，redisinfo命令以一种易于理解和阅读的格式，返回关于Redis服务器的各种信息和统计数值。该统计信息中有Persistence参数，该参数中记录着RDB和AOF的相关信息，其中有个loading字段标志这数据是否正在加载，当正在加载时为1，加载完为0，因此可以根据该字段来判断数据是否加载完毕。127。0。0。1：6379infoPersistencePersistenceloading：11表示正在加载数据。。。127。0。0。1：6379infoPersistencePersistenceloading：00表示数据加载完毕。。。
　　因此业务线程可以根据info命令获取loading进行判断数据是否加载完毕。publicbooleanisLoading（）｛try｛Stringinfo（String）redisTemplate。getRequiredConnectionFactory（）。getConnection（）。info（Persistence）。get（loading）；if（0。equalsIgnoreCase（info））｛returntrue；｝｝catch（Exceptione）｛error（Failedtogetloadingstatus：｛｝，e。getMessage（））；｝returnfalse；｝