聚热点 juredian

通过Jenkins构建CI/CD实现全链路灰度

本文介绍通过 Jenkins 构建流水线的方式实现全链路灰度功能。

在发布过程中,为了整体稳定性,我们总是希望能够用小部分特定流量来验证下新发布应用是否正常。

即使新版本有问题,也能及时发现,控制影响面,保障了整体的稳定性。

01

整体架构

Aliware

我们以如下 Demo 为例:

为了保证稳定,我们约定如下上线流程:

其中,在灰度验证中,有几种不同的策略:

直接使用线上小部分流量来测试(按照百分比放量)

从线上按照特定规则选择流量(比如特定的 header、特定的 cookie 等)

在客户端或浏览器上标识出流量是否灰度(比如通过 header 传递)

02

部署应用&创建泳道

Aliware

按照参考文档部署应用后 ,我们首先要区分线上流量和灰度流量。

创建泳道组,将整个链路涉及到的应用全选:

然后创建泳道组,将符合规则的应用划入 gray 泳道:

注:没有匹配的流量,会走到基线环境,也就是没有打标的应用节点上。

配置完成后,访问网关,如果不符合灰度规则,走基线环境:

如何符合灰度规则,走灰度环境:

03

配置 Jenkins 流水线

Aliware

本文实践需要将源码打包后执行镜像推送,请确保 Jenkins 有权限推送到镜像仓库中。具体操作,请参见 使用 kaniko 构建和推送容器镜像 。

在 Jenkins 命名空间下使用生成的 config.json 文件创建名为 jenkins-docker-cfg 的 Secret。

kubectl create secret generic jenkins-docker-cfg -n jenkins --from-file=/root/.docker/config.json

01

在 Jenkins 中创建全链路灰度发布流水线

基于 Jenkins 实现自动化发布的流水线,通过该流水线可以使应用发布具备可灰度、可观测、可回滚的安全生产三板斧能力。

1. 在 Jenkins 控制台左侧导航栏单击 新建任务 。

2. 输入 任务名称 ,选择 流水线 ,然后单击 确定 。

3. 在顶部菜单栏单击 流水线 页签,在 流水线 区域配置相关参数选择,输入 脚本路径 ,然后单击 保存 。

定义 :选择 Pipeline script from SCM。

SCM :选择 Git。

Repository URL :输入 Git 仓库的 URL。

脚本路径 :输入 Jenkinsfile。

您可以参考以下的文件填写好指定的参数,当然您也可以根据需求编写 Jenkinsfile ,并上传至 Git 的指定路径下(流水线中指定的脚本路径)。

#!groovypipeline {    // 定义本次构建使用哪个标签的构建环境,本示例中为 “slave-pipeline”    agent{        node{          label "slave-pipeline"        }    }    //常量参数,初始确定后一般不需更改    environment{        IMAGE = sh(returnStdout: true,script: "echo registry.$image_region.aliyuncs.com/$image_namespace/$image_reponame:$image_tag").trim()        BRANCH =  sh(returnStdout: true,script: "echo $branch").trim()    }    options {        //保持构建的最大个数        buildDiscarder(logRotator(numToKeepStr: "10"))    }    parameters {        string(name: "image_region", defaultValue: "cn-shanghai")        string(name: "image_namespace", defaultValue: "yizhan")        string(name: "image_reponame", defaultValue: "spring-cloud-a")        string(name: "image_tag", defaultValue: "gray")        string(name: "branch", defaultValue: "master")        string(name: "number_of_pods", defaultValue: "2")    }    //pipeline的各个阶段场景    stages {        stage("代码打包") {            steps{                container("maven") {                    echo "镜像构建......"                    sh "cd A && mvn clean package"                }            }        }        stage("镜像构建及发布"){          steps{              container("kaniko") {                  sh "kaniko -f `pwd`/A/Dockerfile -c `pwd`/A --destination=${IMAGE} --skip-tls-verify"              }          }        }        stage("灰度部署") {            steps{                container("kubectl") {                    echo "灰度部署......"                    sh "cd A && sed -i -E "s/${env.image_reponame}:.+/${env.image_reponame}:${env.image_tag}/" A-gray-deployment.yaml"                    sh "cd A && sed -i -E "s/replicas:.+/replicas: ${env.number_of_pods}/" A-gray-deployment.yaml"                    sh "kubectl apply -f A/A-gray-deployment.yaml -n default"                }            }        }        stage("结束灰度") {            input {                message "请确认是否全量发布"                ok "确认"                parameters {                    string(name: "continue", defaultValue: "true", description: "true为全量发布,其他为回滚")                }            }            steps{                script {                    env.continue = sh (script: "echo ${continue}", returnStdout: true).trim()                    if (env.continue.equals("true")) {                        container("kubectl") {                            echo "全量发布......"                            sh "cd A && sed -i -E "s/${env.image_reponame}:.+/${env.image_reponame}:${env.image_tag}/" A-deployment.yaml"                            sh "cd A && sed -i -E "s/replicas:.+/replicas: ${env.number_of_pods}/" A-deployment.yaml"                            sh "kubectl apply -f A/A-deployment.yaml -n default"                        }                    } else {                        echo "回滚"                    }                    container("kubectl") {                        sh "kubectl delete -f A/A-gray-deployment.yaml -n default"                    }                }            }        }    }}

02

构建 Jenkins 流水线

1. 在 Jenkins 控制台单击流水线右侧的 图标。

2. 单击流水线的 开始构建 。

说明:第一次构建因为需要从 Git 仓库拉取配置并初始化流水线,所以可能会报错,再次执行 Build with Parameters,生成相关的参数,填写相关的参数,再次执行构建。

查看部署状态, 代码打包,镜像构建及发布,灰度部署 阶段都已经完成, 结束灰度 阶段等待确认。

如果验证结果符合预期,则执行全量发布,请参见后文的 全量发布应用 。

如果验证结果不符合预期时,则执行回滚,请参见后文的 回滚应用 。

03

结果验证

1. 登录 容器服务控制台 ,在控制台左侧导航栏中,单击 集群 。

2. 在 集群列表 页面中,单击目标集群名称或者目标集群右侧 操作 列下的 详情 。

3. 在集群管理页面左侧导航栏选择 工作负载 > 无状态 。

4. 在 无状态 应用列表页面,spring-cloud-a-gray应用已经自动创建,并且它的镜像已经替换为spring-cloud-a:gray版本。

5. 在集群管理页面左侧导航栏选择 网络 > 服务 ,选择设置的命名空间,单击 zuul-slb 服务的 外部端点 ,查看真实的调用情况。

不带灰度 Header 进行调用,发现路由到 A 的正常节点。

Curl 命令:

curl http://182.92.XX.XX/A/a

执行结果如下:

A[10.4.XX.XX] -> B[10.4.XX.XX] -> C[10.4.XX.XX]%

带上符合条件的参数进行访问,路由到 A 的灰度节点中。

Curl 命令:

curl http://182.92.XX.XX/A/a?name=xiaoming

执行结果如下:

Agray[10.4.XX.XX] -> B[10.4.XX.XX] -> C[10.4.XX.XX]%

6. 登录  MSE 治理中心控制台 ,在应用详情页面,可以看到灰度流量已经进入到灰度的 Pod 中。

04

全量发布应用

结果验证通过之后,确认全量发布。

1. 在 Jenkins 控制台中,单击目标流水线名称。

2. 单击需要全量发布的阶段,在 请确认是否全量发布 对话框中输入 true,然后单击 确认 。

3. 在 容器服务控制台 ,发现 spring-cloud-a-gray 应用已经被删除,并且 spring-cloud-a 应用的镜像已经替换为 spring-cloud-a:gray 版本。

4. 在  MSE治理中心控制台 ,发现灰度流量已经消失。

05

回滚应用

如果发现验证结果不符合预期时,则回滚应用。

1. 在 Jenkins 控制台中,单击目标流水线名称。

2. 单击需要全量发布的阶段,在 请确认是否全量发布 对话框中输入 false,然后单击 确认 。

3. 在 容器服务控制台 ,发现 spring-cloud-a-gray 应用已经被删除,并且 spring-cloud-a 应用的镜像仍然是老版本。

4. 在  MSE 治理中心控制台 ,发现灰度流量已经消失。

04

总结

Aliware

在微服务治理架构中,全链路灰度功能能提供虚拟泳道,极大的方便了测试、发布时的快速验证,能够帮助 DevOPs 提升线上稳定性。

搜索建议:
热博

 寒气逼人下的生存指南

2022年,是全球经济都遇到发展窘境的一年。除此之外,这一天,天热的也不太像话。也许是因为天太热。作为国内科技的头排兵华为的任老板说:在未来10年,全球经济都失...(展开)