用Nginx实现接口慢查询并可示化展示TOP20

　　相信很多小伙伴都见过一些商业产品中的url接口响应时间，实时汇总显示功能。可以理解为web接口的慢查询，与sql的慢查询有异曲同工之妙，但是想做却无从入手不知道怎么实现此功能，所以今天就教大家如何实现用grafananginxmysql来实现此功能。0x0
　　其实nginx本身就带有接口响应时间的功能，只不过还需要改造下，比如说单独记录超过1000ms（1秒）的响应，并写入数据库中。要注意的是并不建议大家将记录直接写入数据库中，因为数据库有时会成为nginx的负担，间接写入即可。需要简单修改下log模块，涉及文件ngxhttplogmodule。c通常位于nginx1。17。9srchttpmodulesngxhttplogmodule。c
　　大约838行，找到ngxhttplogrequesttime函数并修改如下：staticucharngxhttplogrequesttime（ngxhttprequesttr，ucharbuf，ngxhttplogoptop）｛ngxtimettp；ngxmsecinttms；timetttime（NULL）；structtmloctimelocaltime（t）；tpngxtimeofday（）；ucharslowlog〔2048〕；memset（slowlog，0，sizeof（slowlog））；ms（ngxmsecintt）（（tpsecrstartsec）1000（tpmsecrstartmsec））；msngxmax（ms，0）；ngxsprintf（slowlog，04d02d02d02d：02d：02dVV？VwastetimeT。03M，loctimetmyear1900，loctimetmmon1，loctimetmmday，loctimetmhour，loctimetmmin，loctimetmsec，rheadersin。server，ruri，rargs，（timet）ms1000，ms1000）；intlogfd；if（（logfdopen（varlognginxnginxslow。log，ORDWROCREATOAPPEND，SIRUSRSIWUSR））1）｛ngxlogerror（NGXLOGERR，rconnectionlog，0，cannotopenfile：logfile）；｝charServername〔256〕；constcharservername。s；memset（Servername，0，sizeof（Servername））；snprintf（（char）Servername，sizeof（Servername），servername，rheadersin。server。len，rheadersin。server。data）；只记录大于1秒的并且域名不是grafana。sshfortress。comif（ms1000strcmp（grafana。sshfortress。com，Servername）！0）write（logfd，slowlog，strlen（（char）slowlog））；close（logfd）；returnngxsprintf（buf，T。03M，（timet）ms1000，ms1000）；｝
　　之后再编译即可。configureprefixusrlocalnginx1。17。9makej4；makeinstallmkdirpvarlognginx；chmodR777varlognginx
　　简单配置下
　　server｛listen：80；servernameslow。sshfortress。com；location｛proxysetheaderHosthost；proxysetheaderXRealIPremoteaddr；proxysetheaderREMOTEHOSTremoteaddr；proxysetheaderXForwardedForproxyaddxforwardedfor；proxypasshttp：127。0。0。1：3000；｝｝
　　启动nginx即可，如果接口响应时间超过1秒，那么varlognginxnginxslow。log中就会有记录了。但这只是将慢查询记录而已，我们还需要排序以及可示化的展示。记录也可以直接写入mysql但我并没有这么做，为什么不直接写入呢，原因是如果mysql如果响应慢则会影响nginx的响应，但写入磁盘就不会出现这种情形了。接下来就简单实现下把数据同步写入到数据库中。
　　0x01
　　首先建个表用于同步写入记录CREATETABLEnginxslow（idint（11）NOTNULLAUTOINCREMENT，datedatetimeNOTNULL，servernamevarchar（255）NOTNULL，urlvarchar（255）NOTNULL，wastetimedecimal（11，3）NOTNULL，PRIMARYKEY（id））ENGINEInnoDBAUTOINCREMENT1DEFAULTCHARSETutf8mb4；
　　之后实现一个同步数据的工具，这里用shell即可实现，代码如下：！binbashinsertmysql。shsetxif〔！1〕thenechoUsageinsertmysql。shvarlognginxnginxslow。logexit1fitailn1f｛1｝whilereadvardovalueechovarawk｛print3｝value2echovarawk｛print4｝value3echovarawk｛print7｝echovaluevalue2value3mysqlh127。0。0。1usuperpxxxxxxxxxeusenginx；INSERTINTOnginxslow（date，servername，url，wastetime）VALUES（now（），｛value｝，｛value2｝，value3）；done
　　运行脚本就可以同步写入数据了，是不是很简单呢。insertmysql。shvarlognginxnginxslow。log建议后台运行，因为要实时同步嘛nohub。insertmysql。shvarlognginxnginxslow。logdevnull21
　　0x02
　　最后在grafana里面配置下当天接口慢查询TOP20即可，相关语句是selectn。url，avg（n。wastetime）平均响应时长fromnginxslownWHEREn。datecurdate（）groupby1orderby2desclimit20或者selectn。servername，n。url，avg（n。wastetime）平均响应时长，count（1）调用次数fromnginxslownWHEREn。datecurdate（）groupby1，2orderby3desclimit50
　　最后效果图如下