自动化运维从0到1CICD自动化部署落地分享

　　目录
　　一、CICD简介
　　二、CICD实践过程
　　三、含泪踩坑
　　四、历史文章指路
　　一、CICD简介
　　1、CICD定义ContinuousIntegration（CI）持续集成ContinuousDelivery（CD）持续交付ContinuousDeployment（CD）持续部署
　　2、DevOps定义
　　DevOps（Development和Operations的组合词）是一组过程、方法与系统的统称，用于促进开发（应用程序软件工程）、技术运营和质量保障（QA）部门之间的沟通、协作与整合。
　　DevOps的基础核心是CICD。
　　CICD的基础核心是自动化。
　　二、CICD实践过程
　　1、起因
　　在我之前的团队，因为要切换全新业务线，需要为新业务搭建一套全新的环境，所有东西从0开始。
　　原先只是用于部署测试环境，后面决定一起部署生产环境，这个过程中我还造成了一个严重生产环境问题，好在当时的生产环境还未正式使用，未造成严重影响。
　　在当时挺害怕也挺有压力的，但是后面项目完整落地，平稳运行，我还是挺有成就感的，接下来我将整个项目过程完整的分享出来。
　　2、技术栈选型
　　首先进行技术栈选型，我们选择的是Jenkins，Jenkins当属业内持续集成老大哥，有着非常丰富的插件，也可以选择gitlab集成的CICD，因为我们还有其它的测试脚本需要集成，所以Jenkins对于我们来说是最优的选择；
　　Ansible是批量运维工具，通过编写yaml脚本，可以方便实现批量管理多台机器，并且Ansible是比较轻量级应用，很容易上手；
　　shell脚本可以用于执行一系列命令。
　　其它的就结合团队项目情况进行搭建。Jenkins持续集成Ansible下发文件ShellLinux脚本Git版本管理GitLab代码托管Node。js前端编译Maven后端编译JDKJava运行环境Nginx请求代理DubboRPC框架Disconf配置中心Redis缓存数据库（购买阿里云服务）Zookeeper中间件（购买阿里云服务）RDS（MySQL）数据库（购买阿里云服务）
　　3、Jenkins应用部署实现流程
　　首先来梳理下整个项目的实现流程，主要分为Jenkins主节点和应用服务器，是一对多的关系。
　　Jenkins主节点的主要负责项目部署前的工作，主要包含拉取代码，前端打包，后端打包，快照版检测，将压缩包和部署脚本发送到目标机器（即应用服务器），远程调用目标机器上的部署脚本进行代码替换。
　　应用服务器部署脚本执行过程有：解压压缩包，停止服务，覆盖代码，拉取disconf，应用目录分组赋权，重启服务，检查服务是否有进程，查看启动日志，删除tmp目录下旧压缩包。
　　Jenkins应用部署流程图
　　4、任务计划
　　4。1、搭建环境
　　Jenkins
　　指路【Jenkins系列】如何搭建Jenkins环境。
　　Ansible1、安装Ansibleyuminstallansibley2、查看版本信息ansibleversion
　　Git1、安装Gityuminstallgity2、查看版本信息gitversion
　　GitLab
　　因为这个我没有实践成功的教程，所以在这里就不贴啦
　　Node。js1、解压node安装包，注：参数不用ztarxvfnodev6。16。0linuxx64。tarCdata2、安装cnpmnpminstallgcnpmregistryhttps：registry。npm。taobao。org3、在usrbin目录下设置软连接lnsdatanodev6。16。0linuxx64bincnpmusrbincnpm4、查看版本信息cnpmv
　　Maven1、下载Maven方式一：官网下载：http：maven。apache。orgdownload。cgi方式二：wgetMaven下载地址wgethttp：mirrors。tuna。tsinghua。edu。cnapachemavenmaven33。3。9binariesapachemaven3。3。9bin。tar。gz（清华大学开源软件镜像服务）wgethttp：mirror。bit。edu。cnapachemavenmaven33。6。3binariesapachemaven3。6。3bin。tar。gz（北京理工大学开源软件镜像服务）2、解压tar包到usrlocaltarzxvfapachemaven3。3。9bin。tar。gzCusrlocal3、配置环境变量，编辑etcprofile文件，在etcprofile文件末尾增加以下配置：vimetcprofileexportMAVENHOMEusrlocalapachemaven3。3。9exportPATHMAVENHOMEbin：PATH4、使用source命令立即生效，刷新环境变量sourceetcprofile5、查看版本信息mvnversion
　　JDK1、下载JDK：https：www。oracle。comtechnetworkjavajavasedownloadsjdk8downloads2133151。html2、解压tar包到usrlocal目录下tarzxvfjdk1。8。0201。tar。gzCusrlocal3、配置环境变量，编辑etcprofile文件，在etcprofile文件末尾增加以下配置：vimetcprofileexportJAVAHOMEusrlocaljdk1。8。0201exportPATH｛JAVAHOME｝bin：PATHexportCLASSPATH。：JAVAHOMEjrelibrt。jar：JAVAHOMElibdt。jar：JAVAHOMElibtools。jar4、使用source命令立即生效，刷新环境变量sourceetcprofile5、检验JDK是否安装成功，注：version，不是versionjavaversion或者javac6、踩坑如果出现这bash：usrlocaljavajdk1。8。0171binjava：libldlinux。so。2：badELFinterpreter：Nosuchfile问题运行这个命令解决：sudoyuminstallglibc。i686
　　Nginx0、前提安装依赖包yumyinstallgcczlibzlibdevelpcredevelopensslopenssldevel1、下载nginx方式一：官网下载：http：nginx。orgendownload。html方式二：wgethttp：nginx。orgdownloadnginx1。13。7。tar。gz2、解压tar包到usrlocalnginx目录下tarzxvfnginx1。13。7。tar。gzCusrlocalngnix3、安装nginxcdusrlocalnginxnginx1。13。7执行配置。configure编译安装makemakeinstall4、配置nginx。conf，将端口号改成8089，因为可能apeache占用80端口，apeache端口尽量不要修改，选择修改nginx端口vimusrlocalnginxnginx1。13。7confnginx。con5、启动nginxcdusrlocalnginxsbinnginxnginx1。13。7。nginx启动。nginxsstop关闭。nginxsreload重启6、查看nginx进程是否启动psefgrepnginx7、验证nginx是否配置成功nginxt8、查询nginx的安装路径whereisnginx
　　2、编写前置脚本！binbashappbuild。shappname｛1｝项目名称，例：LearnJavagroupname｛2｝分组名称，例：bestenvname｛3｝环境名称，例：test1timedateYmdH：M：S时间检测前端编译是否成功shellcheck（）｛if〔？eq0〕；thenechoe33〔32m｛time｝前端编译成功，继续33〔0melseechoe33〔31m｛time｝前端编译失败，请排查问题再发布33〔0mexit1fi｝if〔〔｛envname｝请选择〕〕；thenechoe33〔31m｛time｝请选择正确环境！33〔0mexit1elif〔〔｛envname｝test1｛envname｝test2〕〕；thenechoe33〔32m｛time｝｛groupname｝｛appname｝｛envname｝前端编译cnpminstall33〔0mcdjenkinsworkspace｛groupname｝｛appname｝｛appname｝viewcnpminstallechoe33〔32m｛time｝｛groupname｝｛appname｝｛envname｝33〔0mnpmrunbuild：test1shellcheckechoe33〔32m｛time｝cpjenkinsworkspacedeploy。shtojenkinsworkspace｛groupname｝｛appname｝33〔0mcpjenkinsworkspacedeploy。shjenkinsworkspace｛groupname｝｛appname｝elseechoe33〔31m｛time｝请输入正确参数！33〔0mfi
　　3、编写应用部署脚本！binbashdeploy。shappname｛1｝项目名称，例：LearnJavaenvname｛3｝环境名称，例：test1timedateYmdH：M：S时间检查上一条命令是否执行成功shellcheck（）｛if〔？eq0〕；thenechoe33〔32m｛time｝28、上一条命令执行成功，继续33〔0melseechoe33〔31m｛time｝28、上一条命令执行失败，退出33〔0mexit1fi｝部署应用服务deployapp（）｛echoe33〔32m｛time｝1、解压｛appname｝。tar。gz33〔0mcdtmp｛appname｝targettarxzvf｛appname｝。tar。gzshellcheckechoe33〔32m｛time｝3、停止｛appname｝服务33〔0mvarcdapp｛appname｝binsu｛appname｝stop。shif〔〔varalive〕〕；thenechoe33〔31m｛time｝var无法正常停止应用进程，请前往服务器进行排查33〔0mexit1elseechoe33〔32m｛time｝var，继续33〔0mfiechoe33〔32m｛time｝4、覆盖代码33〔0mrsyncrtmp｛appname｝targetconfapp｛appname｝configrsyncrdeletetmp｛appname｝targetlibapp｛appname｝libechoe33〔32m｛time｝5、拉取disconf33〔0mcdapp｛appname｝configwgetOconfigs。tar。gzhttp：disconf。demo。comapiconfigdownConfigs？app｛appname｝envname｛envname｝version1。0。0tarxvfconfigs。tar。gzrmrfconfigs。tar。gzechoe33〔32m｛time｝6、分组赋权33〔0mcdappchownR｛appname｝：coreapp｛appname｝echoe33〔32m｛time｝7、重启服务33〔0mcdapp｛appname｝binsu｛appname｝start。shshellcheckpidpsauxgrep｛appname｝grepvgrepawk｛print2｝if〔｛pid｝〕；thenechoe33〔32m｛time｝9、｛appname｝core｛pid｝启动成功33〔0melseechoe33〔31m｛time｝9、｛appname｝core｛pid｝启动失败33〔0mexit1fiechoe33〔32m｛time｝10、查看日志33〔0mcdapp｛appname｝logtailn200stdout。logechoe33〔32m｛time｝11、删除tmp目录下旧压缩包，避免再次部署代码重复33〔0mcdtmprmrf｛appname｝｝deployapp
　　4、Jenkins配置
　　指路【Jenkins系列】如何构建JenkinsJob。
　　新增Job，主要用于拉取代码，执行Maven编译，执行appbuild。sh，将压缩包通过ssh发送到目标机器，远程调用目标机器的deploy。sh。
　　三、含泪踩坑
　　踩坑1
　　问题描述：在错误的路径拉取配置，原因是未成功解压压缩包。
　　解决方案：校验压缩包是否解压成功解压成功，并且在cd到正确的路径后添加（表示上一条命令执行成功再执行下一条命令）才进行拉取配置。
　　踩坑2
　　问题描述：项目没有正常停止，导致无法重新启动。
　　解决方案：虽然执行kill9，但是未找到根本原因，因此加了一个检测机制，如果检测没有正常停止服务，则退出程序。
　　踩坑3
　　问题描述：生产部署脚本拉取了开发环境的的jdbc配置，原因是生产部署脚本写错了开发环境disconf的域名，当时我同时在搞开发生产环境的脚本，开发和生产是两套不同的脚本，一时混乱写错了，吓得一批，好在当时生产环境还没投产使用。
　　解决方案：为了避免后续这种情况的发生，而且是必须避免的，我们通过环境名称来判断走开发还是生产域名，这样就能保证脚本一致性了。
　　在这个项目实际遇到的问题远不止上面这几个，在这个实践过程中，我对整个应用部署流程有了更深的理解，平时方方面面的学习终于集中化起来进行实践了。
　　我习惯将学到的知识和遇到的问题记录起来，在写这篇文章的过程回过头来看，五味杂陈，原来我都经历了这些哈哈哈。。。。。。
　　踩过的坑终究使我更加强大，带你见证呱呱本呱成长为参天大呱
　　关注【嘎嘎软件测试】
　　搞测试，不迷路
　　呱呱大王本呱带你飞！
　　嘎嘎软件测试将分享个人成长、团队管理、软件测试技能知识等内容，更新频率一周两篇，做到有思想、有观点、有深度，欢迎订阅。