教你解决Linux进程调度组调度及带宽控制

　　说明：Kernel版本：4。14ARM64处理器，ContexA53，双核使用工具：SourceInsight3。5，Visio1。概述
　　组调度（taskgroup）是使用Linuxcgroup（controlgroup）的cpu子系统来实现的，可以将进程进行分组，按组来分配CPU资源等。比如，看一个实际的例子：A和B两个用户使用同一台机器，A用户16个进程，B用户2个进程，如果按照进程的个数来分配CPU资源，显然A用户会占据大量的CPU时间，这对于B用户是不公平的。组调度就可以解决这个问题，分别将A、B用户进程划分成组，并将两组的权重设置成占比50即可。
　　带宽（bandwidth）控制，是用于控制用户组（taskgroup）的CPU带宽，通过设置每个用户组的限额值，可以调整CPU的调度分配。在给定周期内，当用户组消耗CPU的时间超过了限额值，该用户组内的任务将会受到限制。
　　由于组调度和带宽控制紧密联系，因此本文将探讨这两个主题，本文的讨论都基于CFS调度器，开始吧。2。taskgroup组调度，在内核中是通过structtaskgroup来组织的，taskgroup本身支持cfs组调度和rt组调度，本文主要分析cfs组调度。CFS调度器管理的是schedentity调度实体，taskstruct（代表进程）和taskgroup（代表进程组）中分别包含schedentity，进而来参与调度；
　　关于组调度的相关数据结构，组织如下：
　　内核维护了一个全局链表taskgroups，创建的taskgroup会添加到这个链表中；内核定义了roottaskgroup全局结构，充当taskgroup的根节点，以它为根构建树状结构；structtaskgroup的子节点，会加入到父节点的siblings链表中；每个structtaskgroup会分配运行队列数组和调度实体数组（以CFS为例，RT调度类似），其中数组的个数为系统CPU的个数，也就是为每个CPU都分配了运行队列和调度实体；
　　对应到实际的运行中，如下：
　　structcfsrq包含了红黑树结构，schedentity调度实体参与调度时，都会挂入到红黑树中，taskstruct和taskgroup都属于被调度对象；taskgroup会为每个CPU再维护一个cfsrq，这个cfsrq用于组织挂在这个任务组上的任务以及子任务组，参考图中的GroupA；调度器在调度的时候，比如调用picknexttaskfair时，会从遍历队列，选择schedentity，如果发现schedentity对应的是taskgroup，则会继续往下选择；由于schedentity结构中存在parent指针，指向它的父结构，因此，系统的运行也能从下而上的进行遍历操作，通常使用函数walktgtreefrom进行遍历；
　　更多linux内核视频教程文档资料免费领取后台私信【内核】自行获取。
　　2。2taskgroup权重进程或进程组都有权重的概念，调度器会根据权重来分配CPU的时间。进程组的权重设置，可以通过sys文件系统进行设置，比如操作sysfscgoupcpuA
　　调用流程如下图：
　　schedgroupsetshares来完成最终的设置；taskgroup为每个CPU都分配了一个schedentity，针对当前schedentity设置更新完后，往上对schedentityparent设置更新，直到根节点；shares的值计算与load相关，因此也需要调用updateloadavg进行更新计算；
　　看一下实际的效果图吧：
　　写节点操作可以通过echoXXXsysfscgroupcpuABcpu。橙色的线代表传入参数指向的对象；紫色的线代表每次更新涉及到的对象，包括三个部分；处理完schedentity后，继续按同样的流程处理3。cfsbandwidth
　　先看一下sysfscgroupcpu下的内容吧：
　　有两个关键的字段：cfsperiodus和cfsquotaus，这两个与cfsbandwidth息息相关；period表示周期，quota表示限额，也就是在period期间内，用户组的CPU限额为quota值，当超过这个值的时候，用户组将会被限制运行（throttle），等到下一个周期开始被解除限制（unthrottle）；
　　来一张图直观理解一下：
　　在每个周期内限制在quota的配额下，超过了就throttle，下一个周期重新开始；3。1数据结构
　　内核中使用structcfsbandwidth来描述带宽，该结构包含在structtaskgroup中。此外，structcfsrq中也有与带宽控制相关的字段。还是来看一下代码吧：structcfsbandwidth｛ifdefCONFIGCFSBANDWIDTHu64quota，s64u64intidle，structhrtimerperiodtimer，statisticsintnrperiods，u64endif｝；period：周期值；quota：限额值；runtime：记录限额剩余时间，会使用quota值来周期性赋值；hierarchicalquota：层级管理任务组的限额比率；runtimeexpires：每个周期的到期时间；idle：空闲状态，不需要运行时分配；periodactive：周期性计时已经启动；periodtimer：高精度周期性定时器，用于重新填充运行时间消耗；slacktimer：延迟定时器，在任务出列时，将剩余的运行时间返回到全局池里；throttledcfsrq：限流运行队列列表；nrperiodsnrthrottledthrottledtime：统计值；
　　structcfsrq结构中相关字段如下：structcfsrq｛。。。ifdefCONFIGCFSBANDWIDTHu64s64u64throttledclock，u64intthrottled，endifCONFIGCFSBANDWIDTH。。。｝runtimeenabled：周期计时器使能；runtimeexpires：周期计时器到期时间；runtimeremaining：剩余的运行时间；3。2流程分析3。2。1初始化流程
　　先看一下初始化的操作，初始化函数initcfsbandwidth本身比较简单，完成的工作就是将structcfsbandwidth结构体进程初始化。
　　注册两个高精度定时器：periodtimer和periodtimer定时器，用于在时间到期时重新填充关联的任务组的限额，并在适当的时候unthrottlecfs运行队列；slacktimer定时器，slackperiod周期默认为5ms，在该定时器函数中也会调用distributecfsruntime从全局运行时间中分配startcfsbandwidth和startcfsslackbandwidth分别用于启动定时器运行，其中可以看出在dequeueentity的时候会去利用slacktimer，将运行队列的剩余时间返回给tgcfsb这个unthrottlecfsrq函数，会将throttledlist中的对应cfsrq删除，并且从下往上遍历任务组，针对每个任务组调用tgunthrottleup处理，最后也会根据cfsrq对应的schedentity从下往上遍历处理，如果schedentity不在运行队列上，那就重新enqueueentity以便参与调度运行，这个也就完成了解除限制的操作；
　　doschedcfsperiodtimer函数与doschedcfsslacktimer（）函数都调用了distrbutecfsruntime（），该函数用于分发tgcfsb的全局运行时间runtime，用于在该taskgroup中平衡各个CPU上的cfsrq的运行时间runtime，来一张示意图：
　　系统中两个CPU，因此taskgroup针对每个cpu都维护了一个cfsrq，这些cfsrq来共享该taskgroup的限额运行时间；CPU0上的运行时间，浅黄色模块表示超额了，那么在下一个周期的定时器点上会进行弥补处理；3。2。2用户设置流程
　　用户可以通过操作sys中的节点来进行设置：
　　操作sysfscgroupcpu下的cfsquotauscfsperiodus节点，最终会调用到tgsetcfsbandwidth函数；tgsetcfsbandwidth会从roottaskgroup根节点开始，遍历组调度树，并逐个设置限额比率；更新cfsbandwidth的runtime信息；如果使能了cfsbandwidth功能，则启动带宽定时器；遍历taskgroup中的每个cfsrq队列，设置runtimeremaining值，如果cfsrq队列限流了，则需要进行解除限流操作；3。2。3throttle限流操作
　　cfsrq运行队列被限制，是在throttlecfsrq函数中实现的，其中调用关系如下图：
　　调度实体schedentity入列时，进行检测是否运行时间已经达到限额，达到则进行限制处理；picknexttaskfairputprevtaskfair在选择任务调度时，也需要进行检测判断；3。2。4总结
　　总体来说，带宽控制的原理就是通过taskgroup中的cfsbandwidth来管理一个全局的时间池，分配给属于这个任务组的运行队列，当超过限额的时候则限制队列的调度。同时，cfsbandwidth维护两个定时器，一个用于周期性的填充限额并进行时间分发处理，一个用于将未用完的时间再返回到时间池中，大抵如此。
　　首页内核技术中文网构建全国最权威的内核技术交流分享论坛
　　转载地址：教你解决Linux进程调度组调度及带宽控制圈点内核技术中文网构建全国最权威的内核技术交流分享论坛