作者：莫那鲁道 原文：http：thinkinjava。cnblog 某天晚上，某环境ES出现阻塞，运行缓慢。于是开始排查问题的过程。 开始 思路：现象是阻塞，通常是CPU彪高，导致业务线程分配不到CPU时间片，或者内存吃紧，频繁GC导致的STW。登录到目标服务器，由于ES的用户不是LZ，因此找运维要了root权限，登录到服务器。sudoi切到root，使用psefgrepElasticsearch找到该用户，然后sues切到es用户（不切是无法处理es用户的Java进程的，例如打印jstack日志）。top查看服务器状态，发现pid4335进程的CPU占用达到180，查看CPU核数：catproccpuinfogrepprocessorwcl，核数为4，根据经验，通常是C2编译器，或者GC线程，最后是业务代码导致。因此需要定位该线程。使用topHp4335，得到线程号30785，使用printfx得到16进制数字7841，方便在jstack日志查找线程。使用jstackl4335gt；jstacklog。txt打印日志，然后找线程，vimjstacklog。txt，开始查找，gg，7841，enter，n，找到ConcurrentMarkSweepGCThreadosprio0tid0x00007fd380063800nid0x7841runnable这个CMSGC线程，看来是内存不够了。使用jpsl找到es启动类名称，然后使用psauxgrepElasticsearch找到启动详细信息，发现启动配置为Xmx2gXms2g，XX：CMSInitiatingOccupancyFraction50，这里为了防止串行FGC，让CMS在old区达到50时就开始GC，所以CMS非常繁忙。为了验证此问题，使用jstatgcutil43351000查看gc状态，发现fgc频繁（5秒一次），ygc正常（3秒一次），这里说一下，CMS的fgc此时和我们想象的不一样，CMSGC只工作在老年代，每次GC会对FGC次数加2，一次是initmark，一次是remark，这两个阶段会影响暂停应用，其他的清理阶段是并行清理的，对业务线程无影响，所以，当使用CMSGC，如果jstat看到FGC次数很多，不用在意。但当CMS出现concurrentmodefailure（CMSGC的速度赶不上对象晋升到old区的速度），则会使用备用收集器Serial，开始串行GC，此时将会彻底STW。因此，这个ES将CMS的阈值调的很低，就是为了防止出现concurrentmodefailure。 原因 原因已经找出，由于CMSGC频繁，导致CPU彪高，ES查询速度变慢，最后业务阻塞。 继续 但是为什么频繁CMS呢？肯定是内存不够，为什么不够呢？通常是通过dump内存文件查看，但是注意，jmap和jcmddump文件时，会导致fgc，线上需要注意，我这里由于不是业务高峰，使用jmapdump：formatb，filetmpdump。hprof3445，导出该文件到tmp目录，方便从跳板机上下载。 从跳板机下载文件，权限不够，使用sudochownRusernamedump。hprof修改权限，然后下载。 LZ使用的是mac，使用mat（Mac的mat有bug，需要替换一个jar包，具体自行搜索）开始分析，发现内存中有1个多g的indexService对象（600多），即ES的索引对象，通过和ES同学的沟通，确实发现有600多索引，有很多都是国企索引，通常一台ES差不多配置100200索引，大量索引引起更新，频繁更新索引对象。 最后，将ES内存升级到4g，XX：CMSInitiatingOccupancyFraction修改为75，减少CMSGC。删除ES无效索引。问题解决。 后期为了检验结果，使用jvisualvm连上服务器Java进程：登录到目标服务器，创建文件jstatd。all。policy，文件内容：grantcodebasefile：｛java。home｝。。libtools。jar｛ permissionjava。security。AllPermission； ｝； 执行jstatdJDjava。security。policyjstatd。all。policyp1222amp；，启动jstatd后台服务，方便jvisualvm连接到这台服务器的Java进程。找到本机Java目录下的VisualVM，连接上目标ip和1222端口服务，安装GC插件，查看GC状态。扩展阅读 从一次线上故障思考Java问题定位思路 排查Java线上服务故障的方法和实例分析 一次内存溢出的排查经历 一次堆外OOM问题排查 记一次线上gc调优的过程
阳台种这8种蔬菜，生长快，易管理，产量高，吃完一茬又长一茬春回大地，气温渐升，最是适合种菜了。今天给大家推荐8种适合在阳台、露台和庭院种植的蔬菜，生长快，易管理，产量高，吃完一茬又长一茬，都不用出门买菜了。1，荆芥荆芥是一……2019年11月2020年10月份发行基金金额及数量2019。11发行金额3481亿元，159只2019。12月份41442372020。01月份21781242020。02月份2087942020。03……罗密欧方程式最佳姐弟恋小奶狗叶之川近日优酷热播的都市爱情剧《罗密欧方程式》中，最受欢迎的CP之一就是邻家花美男叶之川（邓超元饰）vs逗趣御姐曲曼（潘辰饰）的姐弟恋甜爱。叶之川和曲曼的组合是小叶曲CP，还被……罗密欧方程式定档3月19日播出一体双魂开启奇幻浪漫人生由少城时代影业、聚影加壹出品的奇幻甜宠剧《罗密欧方程式》惊喜定档，将于3月19日起中午12点在优酷上线，首周会员抢先看十集，次周起每周三到周五优酷全网独播。该剧由高颜值演员许镇……redissdsredissdsSDS（简单动态字符串simpledynamicstring）是redis构建的一种抽象类型，主要用于储存redis的默认字符串表示、AOF模块中的AOF……宸汐缘会员大结局以初心与行动诠释剧集担当星关系8月19日讯8月16日，由华策克顿旗下剧酷传播极美工作室、爱奇艺联合出品，张震、倪妮领衔主演，李东学、张芷溪、李嘉铭、海铃、刘芊含、张海宇、那广子、王庆祥、黄海冰等实力演……电视组收张震宸汐缘圆满收官上头演技认证被喊再演600集星关系8月19日讯由林玉芬执导，张震、倪妮领衔主演的东方传奇爱情故事《宸汐缘》上周正式大结局。作为张震第一次参演的电视剧作品，该剧从开播至收官一直备受关注和热议，豆瓣评分从开分……用VR反复练习复杂手术，以色列医生为头颅连体婴成功实现分离手查看引用信息源请点击：映维网借助了虚拟现实等先进技术（映维网2021年10月15日）连体双胞胎非常罕见，而头颅连体双胞胎更是少之又少，在连体双胞胎中只有5是头颅连体……辛巴复出场面大直播时派保安封路搞瘫交通，网友果然牛叉说起辛巴，很多人现在都知道了他如今是快手第一大网红，他的粉丝数量高达7000多万，已经超过了原先的快手一哥散打哥。辛巴原名辛有志，网名辛巴，他的电商直播带货可以说是全网第……电视剧猎手圆满杀青管乐生动诠释家里有矿星关系12月21日讯电视连续剧《猎手》日前已在山西顺利杀青。该剧由耿明吉导演，李思博、管乐、魏震等众多实力派演员联袂出演，于震、王挺等前辈戏骨保驾护航，是著名制片人赵伟的一个鬼……悬挂件的总分关系（1）汽车悬挂是连接汽车车架与车轮之间的一系列配件的总称，日常理赔工作中主要涉及摆臂、减震、转向节等。今天给大家简单分享一下我们悬挂件的总分故事。1、下摆臂有时候摆臂可能……再这样充电，手机说坏就坏！90的人都用错了最近宁夏气温飙升，夏天气息扑面而来，甚至有朋友觉得手机烫手了，其实手机发烫大多是因为充电姿势不对！比如这三个3个最常见的错误充电姿势1、使用非车载充电器经常开……