1、Cgroup與單機資源管理楊毅 yangyi2019-12;提綱 業(yè)界聲音 Cgroup實現(xiàn) Cgroup in Baidu;提綱 業(yè)界聲音 Cgroup實現(xiàn) Cgroup in Baidu;Kernel Summit 2019; Cgroup的發(fā)展是不可逆轉(zhuǎn)的 Memory Controllermemcg） Workshop Google的云計算平臺 OpenVZ的虛擬計算平臺 RedHat 6和openSUSE 11.3 Ying Han (Google) programmer/9202/;“So I think this is firmly one of those real impro

2、vement patches. Good job. Group scheduling goes from useful for some specific server loads to thats a killer feature.”Linus Torvaldsmarc/?l=linux-kernel&m=128979084506774&w=2;小補丁 大改善 200+行代碼+config SCHED_AUTOGROUP+bool “Automatic process group scheduling”+select CGROUPS+select CGROUP_SCHED+s

3、elect FAIR_GROUP_SCHED;提綱 業(yè)界聲音 Cgroup實現(xiàn) CGROUP與資源管理 框架和子系統(tǒng) CPU，MEM，NET，IO子系統(tǒng) Cgroup in Baidu;Control Groups Resource Control in Process Groups Paul Menage (Google) since linux-2.6.24;資源 = 硬件CPUNETIOMEMORY;進程組更適合作為資源管理的單位 進程P8P5P7P3P1P6P4P2G1G2G3 進程組;提綱 業(yè)界聲音 Cgroup實現(xiàn) CGROUP與資源管理 框架和子系統(tǒng) CPU，MEM，NET，IO

4、子系統(tǒng) Cgroup in Baidu;Cgroup細節(jié) Cgroup框架 Hierachical Inherit Cgroup子系統(tǒng) 使用框架的分組機制 對一組進程就某種資源進行管理 Cgroup框架Cgroup子系統(tǒng)vfsext4/btrfs文件系統(tǒng);Cgroup子系統(tǒng) Resource Control CPU, MEMORY, NET, IO Isolation and special Control debug, perf, ns, freezer, devices;聯(lián)合或獨立的子系統(tǒng) 結(jié)合 獨立silvercpu: 30%mem: 30%goldencpu: 50%mem: 40%

5、Ironcpu: 20%mem: 30%silvercpu: 30%goldencpu: 50%Ironcpu: 20%silvermem: 30%goldenmem: 40% Ironmem: 30%;提綱 業(yè)界聲音 Cgroup實現(xiàn) CGROUP與資源管理 框架和子系統(tǒng) CPU，MEM，NET，IO子系統(tǒng) Cgroup in Baidu;CPU子系統(tǒng) CFS組調(diào)度 cpu.shares 下限 可搶占 可稀釋;SCHED_AUTOGROUP原理 firefox v.s. make -j64 per-tty/session auto group user space v.s. kernel s

6、pace;CPU子系統(tǒng)進展 多核 cpuset：區(qū)分cpu core及momory nodes(NUMA) Pay-per-use環(huán)境 cfs bandwidth control：cpu硬上限;MEMORY子系統(tǒng) 限制RSS + Page Cache (+ swap) 硬上限 per-group OOM;MEMORY子系統(tǒng)進展 隔離性：per-group vm機制 更友好的OOM Kernel memory accounting;NET子系統(tǒng) net_cls：基于cgroup的filter tc：限制發(fā)送速率，bps/pps;NET子系統(tǒng)進展 用戶程序友好 接收限速;IO子系統(tǒng) dm-ioba

7、nd Device mapper layer 令牌桶，限制帶寬 io-throttle Generic block layer 限制iops和帶寬 io-controller I/O scheduler layer 按比例分配 service time;IO子系統(tǒng)進展 service time v.s. iops v.s. bandwidth 邏輯設備 v.s. 物理設備 隔離對IO調(diào)度策略的影響 異步支持;其他子系統(tǒng) debug：example debug ns：名字空間，用于實現(xiàn)：名字空間，用于實現(xiàn)container devices：進程訪問設備的黑白名單：進程訪問設備的黑白名單 freezer：暫?；蛑貑⒄M進程：暫?；蛑貑⒄M進程 perf：控制本組進程在特定：控制本組進程在特定CPU上的上的perf_event監(jiān)控監(jiān)控 checkpoint/restart：進程狀態(tài)：進程狀態(tài)dump到到file里，里，可以在別的機器上重啟可以在別的機器上重啟;提綱 業(yè)界聲音 Cgroup細節(jié) Cgroup in Baidu;Cgroup in Baidu 上線5000+臺服務器，穩(wěn)定運行12個月 單機資源管理框架 子系統(tǒng)加強 用戶態(tài)工具封裝;Cgroup in Baidu 場景1：網(wǎng)頁檢索不停服務更新索引庫 響應時間靈敏 寫對讀的影響;Cgroup in