这一章在做什么

什么时候翻这一章

• 服务把 CPU 吃满了，想知道是哪段代码先确认是谁在用（进程、线程），再采样剖析、看火焰图。§6.5.4§6.6.13§6.7.3场景手册 →
• load average 很高，但 top 里 CPU 还有空闲Linux 的负载平均把等磁盘的线程也算进去了，先分清是哪一种负载。§6.6.1场景手册 →
• CPU 没满，请求延迟却在抖可能是线程在排队等 CPU，也可能是某一个核满了、别的核闲着。§6.6.3§6.6.16场景手册 →
• 容器或云主机里，CPU 看着不满却很慢限额先于物理 CPU 用完，饱和度要按限额算。§6.5.2§6.9.8场景手册 →
• 换了主频更高的 CPU，没快多少看 IPC：周期多半在等内存，主频再高也只是等得更快。§6.3.7§6.5.5

这一章的方法来自第 2 章（USE 方法、负载特征），剖析和火焰图第 5 章讲过应用这一侧，perf 和 BPF 工具的细节在第 13、15 章。线程不在 CPU 上的时间（等锁、等 IO）归第 5 章的 off-CPU 分析。

先用中文过一遍

利用率和饱和度：忙和不够是两回事

利用率（utilization）问的是：一段时间里，这个 CPU 有多少时间不在跑空闲线程。80% 就是十秒里有八秒在干活。饱和度（saturation）问的是：有多少线程已经准备好了，却因为 CPU 全被占着而在排队。两者的关系像收银台：收银员一直在忙是利用率，后面排着的队是饱和度。

CPU 和磁盘不同的地方是，到了 100% 也不一定出事：内核有优先级和抢占，高优先级的工作可以插队（§6.3.10）。所以看 CPU 不能只看利用率，要同时看排队：Linux 上是 vmstat 的 r 列（正在跑的加上排队的）、pidstat 的 %wait，以及 BCC 的 runqlat 量出的每次排队等了多久。还有一点：利用率要按核看。8 核机器平均 12%，可能是一个核 100%、其余全闲，这正是单线程瓶颈的样子（§6.6.3）。

负载平均：在 Linux 上不只是 CPU

负载平均（load average）是一个数：正在用资源的加上在排队的，做成指数衰减的移动平均。uptime 给出三个，分别是 1、5、15 分钟的。三个数一比，就知道负载在涨还是在落：如果 1 分钟的远小于 15 分钟的，问题可能已经过去了。

容易误读的地方有两个。第一，在 Linux 上它不只算 CPU：处于不可中断睡眠（D 状态，多半在等磁盘）的线程也算进去，所以负载 8 的机器可能 CPU 很闲、磁盘很忙。第二，「1 分钟平均」不是过去一分钟的算术平均：一个持续占满一个核的线程跑了一分钟，1 分钟的值大约才到 0.6（§6.6.1）。书里的建议是：负载平均只用来起头，别在上面花超过五分钟。要按资源分开看，用 PSI（压力停顿信息）：/proc/pressure/cpu 告诉你有任务因为等 CPU 而停顿的时间比例。

剖析：采样，再叠成火焰图

想知道 CPU 时间花在哪，最省事的办法是定时采样：每秒在每个 CPU 上打断 99 次，记下当时正在跑的调用栈（§6.5.4）。用 99 而不是 100，是因为 100 Hz 可能和某些周期性活动步调一致，让样本系统性地偏向它（书里的说法是 may）。采到几千个栈之后，一条一条读不过来，就把相同的栈合并计数，画成火焰图（flame graph）：每一格是一个函数，下面一格是它的调用者；格子越宽，说明它（连同它调用的函数）在越多的样本里出现。

读火焰图的规矩只有几条：横轴不是时间，从左到右按函数名排序，左右位置没有意义；顶上一层是采样那一刻正在 CPU 上的函数；先看最宽的「塔」，再看顶上又宽又平的一段（平台，plateau），那是直接烧 CPU 的地方。采样只看见在 CPU 上的时间：线程在睡、在等锁、在等 IO 时不会被采到，所以火焰图里看不到「慢在等待」的问题。

IPC：忙不等于在干活

利用率把一个 CPU 周期算作「忙」，不管这个周期是在执行指令，还是在干等内存把数据送上来。IPC（每周期指令数）把这两者分开：perf 用硬件计数器数一段时间里执行了多少条指令、过了多少个周期，一除就是 IPC。书里举的例子是：低 IPC 的负载在 0.2 上下或更低，高的能超过 1，但具体数值看处理器，最好用已知负载自己量一量（§6.3.7）。IPC 低，说明 CPU 多半在等内存，该想的是数据布局、缓存命中，换主频更高的 CPU 帮助不大；IPC 高，说明指令跑得顺，该想的是能不能少执行一些指令。注意 IPC 高不代表代码高效：一个只在寄存器里空转的循环，IPC 很高，干的却是无用功。

方法：按什么顺序查

书里列了十一种 CPU 的方法，作者自己推荐的顺序是：性能监控、USE 方法、剖析、微基准测试、静态调优（§6.5）。落到一次排查上，本站整理成下面几步。前四步几分钟就能做完，用的都是 sysstat 和 procps 里的老工具；第五步开始要 perf 或 BPF。

1. 负载在涨还是在落？

   uptime 看三个负载平均，cat /proc/pressure/cpu 看 CPU 停顿比例。在落，说明问题可能已经过去，别在这一步停留。§6.6.1

2. CPU 忙吗？每个核都忙吗？

   mpstat -P ALL 1：看每个核的 %usr + %sys。全都接近 100% 是整体不够；一个核满、其余闲是单线程或中断集中；虚拟机里顺便看 %steal。§6.6.3

3. 有没有在排队？

   vmstat 1 的 r 长期大于核数，或 pidstat 的 %wait 明显不为零，就是饱和了。要量每次等多久，用 runqlat（BCC，要 root）。容器里还要按限额算。§6.5.2§6.6.16

4. 谁在用？用户态还是内核态？

   pidstat 1 找出进程，pidstat -t -p PID 1 看到线程。%system 高说明时间花在系统调用或中断上，往第 5 章的系统调用分析走。§6.6.7

5. 为什么在用：哪段代码？

   perf record -F 99 -g 采样，perf report 看文本，或者画成火焰图。先看最宽的塔，再看顶上的平台。§6.5.4§6.7.3

6. 周期是在执行指令还是在等内存？

   perf stat 看 IPC。低（比如 0.3 以下）往缓存和内存访问上查；高就去减少指令。§6.5.5

7. 别漏掉的：中断和配置

   mpstat 的 %irq、%soft，/proc/softirqs；频率调节器是不是 powersave；有没有 cgroup 限额。这些在剖析里不显眼，却常常是答案。§6.5.7§6.6.18

工具速查

mpstat、pidstat 在 sysstat 包里；perf 在 Debian 上是 linux-perf 包；带 -bpfcc 后缀的是 Debian 的 bpfcc-tools 包里的 BCC 工具，要 root。工具名的链接到本站的工具卡。常用的几个：mpstat、pidstat、vmstat、perf、runqlat、profile。

动手：在自己的机器上试

// hot.c：假装是一个处理请求的服务，每个请求算一次校验和、写一行日志
#include <stdio.h>
#define NOINLINE __attribute__((noinline))   // 不让编译器内联，剖析时每个函数都看得见

NOINLINE static unsigned checksum(const unsigned char *p, int n) {
    unsigned s = 0;
    for (int i = 0; i < n; i++) s = s * 31 + p[i];
    return s;
}

NOINLINE static void format_log(char *out, int id, unsigned sum) {
    snprintf(out, 256, "req=%d sum=%08x status=ok", id, sum);
}

NOINLINE static void handle(int id, unsigned char *buf, char *line) {
    for (int k = 0; k < 20; k++) buf[k] = (unsigned char)(id + k);
    format_log(line, id, checksum(buf, 4096));
}

int main(void) {
    static unsigned char buf[4096];
    char line[256];
    for (int id = 0; id < 400000; id++) handle(id, buf, line);
    puts(line);
    return 0;
}

# 保留帧指针，perf 才能顺着栈往回走（第 5 章讲为什么）
$ gcc -O2 -g -fno-omit-frame-pointer hot.c -o hot
$ perf stat -e cycles,instructions ./hot
$ perf record -F 99 -g ./hot
$ perf report --stdio --no-children

    93.03%  hot  hot        [.] checksum.constprop.0
     4.03%  hot  libc.so.6  [.] 0x000000000017d375
     0.95%  hot  libc.so.6  [.] snprintf

# 起 2 × 核数个忙循环，25 秒后自动退出
$ N=$(nproc); for i in $(seq $((N*2))); do timeout 25 sh -c 'while :; do :; done' & done
$ vmstat 1 5
$ pidstat -u -C sh 2 1
$ cat /proc/pressure/cpu

vmstat:   r  b   ...   us sy id
         32  0   ...  100  0  0

pidstat:  %usr  %system  %wait   Command
         50.96     0.00  48.08   sh

pressure: some avg10=64.87 avg60=32.98

动手：模拟器

先猜：下面这个编出来的服务，真实的 CPU 时间里 compress 占三成多。只采 10 个样本，画出来的火焰图上它会占多少？采到 300 个呢？再点「采样」验证。

1. 重置后只采 10 次，记下 compress 的占比；再重置、换个时机采 10 次……其实「重置」后结果一样（随机数有固定种子），所以直接再点「采样 100 次」，看占比怎么向 33% 靠拢。样本少时，窄的函数可能根本不出现。
2. 点 handle_req 那一格放大。它下面的 main、event_loop 变成灰色的整条：放大后只看这一棵子树，百分比是相对全部样本算的还是相对它算的？看叙述栏。
3. 搜索 lock：lock_wait 分散在好几条路径上，单看哪一格都不宽，加起来却不小。这就是书里说的「分散但常见」的 CPU 消耗，第三条读图方法。

成书之后

分节地图

这一章按书的固定套路走：背景（§6.1–6.3）、架构（§6.4）、方法（§6.5）、工具（§6.6）、可视化（§6.7）、实验和调优（§6.8–6.9）。上手只需要概念里讲利用率、饱和度、IPC 的几节，方法里的 USE 和剖析，工具里最常用的几个和火焰图。硬件细节和各个 BPF 工具的说明，用到时再查。

1. CPUs drive all software and…约 300 词开篇这一章的学习目标和六个部分，扫一眼当目录用。
2. Terminology约 200 词术语处理器、核、硬件线程、逻辑 CPU 怎么区分。
3. Models约 100 词模型三个简单模型的引子。
4. CPU Architecture约 100 词CPU 架构一颗四核八线程的处理器，在操作系统眼里是八个 CPU。
5. CPU Memory Caches约 100 词CPU 缓存越靠近 CPU 越小越快。
6. CPU Run Queues约 200 词CPU 运行队列排队的线程数是饱和度的指标；每个 CPU 一个队列的好处。
7. Concepts约 100 词概念一组概念的引子，铺垫 IPC。
8. Clock Rate约 200 词时钟频率为什么主频高不一定更快。
9. Instructions约 100 词指令指令执行的五个步骤，体系结构课内容，跳过不影响后面。
10. Instruction Pipeline约 300 词指令流水线流水线和分支预测，同上，用不到。
11. Instruction Width约 100 词指令宽度超标量，同上。
12. Instruction Size约 100 词指令长度x86 和 ARM 指令长度的差别，排查用不上。
13. SMT约 200 词同时多线程超线程的两个逻辑 CPU 不等于两个核。
14. IPC, CPI约 300 词IPC 与 CPI高低 IPC 各说明什么，该往哪个方向调。
15. Utilization约 200 词利用率利用率怎么算，为什么 CPU 高利用率不像磁盘那样可怕。
16. User Time/Kernel Time约 100 词用户态时间与内核态时间两者的比例透露负载类型。
17. Saturation约 100 词饱和度满了以后线程排队；云上的限额也会造成饱和。
18. Preemption约 100 词抢占高优先级线程插队。
19. Priority Inversion约 200 词优先级反转低优先级线程拿着锁挡住高优先级线程；做实时的读者值得看。
20. Multiprocess, Multithreading约 300 词多进程与多线程两种用满多核的方式的对比。
21. Word Size约 200 词字长32 位和 64 位的差别，今天很少成为问题。
22. Compiler Optimization约 100 词编译器优化换个新编译器有时就能变快；细节在第 5 章。
23. Architecture约 100 词架构硬件和软件两部分的引子。
24. Hardware约 2400 词硬件P/C 状态、各级缓存的延迟、MMU、互连、硬件计数器。要看 PMC 时回来查。
25. Software约 1100 词软件调度器的三件事、调度类和策略、空闲线程。改调度策略前读。
26. Methodology约 100 词方法十一种方法的总表和作者推荐的顺序。
27. Tools Method约 200 词工具法把工具挨个跑一遍；简单，但会漏。
28. USE Method约 300 词USE 方法对每个 CPU 查利用率、饱和度、错误；限额环境下怎么算。
29. Workload Characterization约 400 词负载特征用几个数描述施加的负载；后面一张值得照着问的清单。
30. Profiling约 900 词剖析定时采样和函数跟踪的区别，样本怎么处理，作者读火焰图的三步。
31. Cycle Analysis约 300 词周期分析从 IPC 起步往下查停顿类型；要花功夫。
32. Performance Monitoring约 100 词性能监控长期监控看哪两个指标，采样间隔为什么不能太粗。
33. Static Performance Tuning约 200 词静态性能调优一张检查配置的问题清单：核数、频率、BIOS、微码、限额。
34. Priority Tuning约 300 词优先级调优用 nice 给后台任务让路；实时调度类的风险。
35. Resource Controls约 100 词资源控制固定上限和份额两种方式。
36. CPU Binding约 100 词CPU 绑定绑核和独占 CPU 集合，换缓存热度。
37. Micro-Benchmarking约 300 词微基准测试CPU 基准测试常常测的是编译器而不是 CPU。
38. Observability Tools约 100 词观测工具工具总表：传统工具和基于 BPF 的工具。
39. uptime约 700 词uptime负载平均的来历、在 Linux 上为什么含磁盘，以及 PSI。
40. vmstat约 200 词vmstatr、us、sy、id、wa、st 各是什么。
41. mpstat约 200 词mpstat按核看各项时间，找热核。
42. sar约 100 词sar和 mpstat 对应的选项，能看历史。
43. ps约 200 词psps 的 %CPU 是进程一生的平均，不是现在。
44. top约 400 词top%CPU 不除以核数；top 自己的开销；短命进程会漏。
45. pidstat约 100 词pidstat按进程、线程分开用户态和内核态。
46. time, ptime约 200 词time 与 ptime从 real 减去 user 和 sys，估计等待的时间。
47. turbostat约 100 词turbostat读处理器 MSR 的工具，只在 x86 上有；云上的虚拟机常常读不到。
48. showboost约 100 词showboost作者为 Netflix 环境写的工具，别处未必能用。
49. pmcarch约 200 词pmcarch同上，针对 AWS EC2 的 PMC 工具；用 perf stat 代替。
50. tlbstat约 200 词tlbstat同上，看 TLB 的 PMC 工具。
51. perf约 1600 词perf全系统和单进程剖析、火焰图、调度延迟、硬件事件。要剖析时回来查命令。
52. profile约 300 词profileBCC 的剖析器，在内核里汇总，开销更低。
53. cpudist约 100 词cpudist线程每次上 CPU 跑多久的分布。
54. runqlat约 200 词runqlat量每次排队等了多久；一个被宿主限流的例子。
55. runqlen约 200 词runqlen采样队列长度，比 runqlat 便宜。
56. softirqs约 100 词softirqs每类软中断花的时间，剖析里常常看不到。
57. hardirqs约 100 词hardirqs每个硬中断花的时间。
58. bpftrace约 300 词bpftrace现场写单行命令问具体问题；调度器的跟踪点。
59. Other Tools约 400 词其他工具lscpu、lstopo、cpupower、valgrind 等；GPU 工具。
60. Visualizations约 200 词可视化为什么折线图在几千个 CPU 面前失效。
61. Utilization Heat Map约 100 词利用率热图要成规模的机器和专门工具，单机排查用不到。
62. Subsecond-Offset Heat Map约 200 词亚秒偏移热图同上；它的用法在 FlameScope 一节会再见到。
63. Flame Graphs约 900 词火焰图火焰图的特征、配色、交互和读法。这一章最值得精读的一节。
64. FlameScope约 200 词FlameScope在时间上选一小段再画火焰图，找短暂的抖动。
65. Experimentation约 100 词实验主动测试时让 mpstat 一直开着。
66. Ad Hoc约 100 词临时负载用一个死循环验证工具显示的对不对。
67. SysBench约 100 词SysBench一个简单的 CPU 基准测试。
68. Tuning约 100 词调优最大的收益来自去掉不必要的工作。
69. Compiler Options约 100 词编译选项指向第 5 章。
70. Scheduling Priority and Class约 100 词调度优先级和调度类nice、renice、chrt 的用法。
71. Scheduler Options约 100 词调度器选项书里自己说很少需要调；新内核换了调度器，表里的参数未必还在。
72. Scaling Governors约 200 词频率调节器powersave 和 performance 怎么切；作者劝：锁最高频率没有明显收益，就留在省电模式。
73. Power States约 100 词电源状态禁用退出延迟太高的深度睡眠状态。
74. CPU Binding约 100 词CPU 绑定taskset 的用法。
75. Exclusive CPU Sets约 100 词独占 CPU 集合cpuset 独占和中断亲和性。
76. Resource Controls约 100 词资源控制cgroup 的份额和带宽上限，细节在第 11 章。
77. Security Boot Options约 100 词安全相关的启动参数关掉漏洞缓解换性能，作者自己不推荐，知道有这回事即可。
78. Processor Options (BIOS Tuning)约 100 词处理器选项（BIOS 调优）默认值通常就是最好的；做基准测试时才关睿频。
79. Exercises约 300 词习题习题；动手部分本页已经给了替代。

词与短语

只收先读和用到再查两档的节。斜体那一行是原句里连续的几个词，在电子书里搜它就能找到那一句。

§6.3.1 Clock Rate

§6.3.8 Utilization

§6.3.10 Saturation

§6.3.13 Multiprocess, Multithreading

§6.5 Methodology

§6.5.1 Tools Method

§6.5.2 USE Method

§6.5.4 Profiling

§6.5.5 Cycle Analysis

§6.5.6 Performance Monitoring

§6.5.8 Priority Tuning

§6.5.11 Micro-Benchmarking

§6.6.1 uptime

§6.6.2 vmstat

§6.6.3 mpstat

§6.6.6 top

§6.6.13 perf

§6.6.16 runqlat

§6.7 Visualizations

§6.7.3 Flame Graphs

§6.9.4 Scaling Governors

诊断题：换成你来查

场景和输出都是本站编的。先自己判断，再点选项看解释。

CPU   %usr   %sys  %soft   %idle
all   13.1    1.2    0.3    85.4
  0    3.0    1.0    0.0    96.0
  3   98.0    2.0    0.0     0.0
  5    2.0    1.0    1.0    96.0
(其余各核和 0 号相近)

vmstat:    r    us  sy  id
          18    82  17   1
pidstat:  %usr  %wait  Command
          41.0   38.5  server
          60.3   12.0  gzip
pressure: some avg10=44.10

  41,200,000,000   cycles
  11,500,000,000   instructions  #  0.28  insn per cycle

值得停下来的句子

My suggestion is to use the following, in this order: performance monitoring, the USE method, profiling, micro-benchmarking, and static performance tuning.— §6.5。本站译：我的建议是按这个顺序用：性能监控、USE 方法、剖析、微基准测试、静态性能调优。

十一种方法摆在面前，最容易的是挑自己熟的工具先跑。作者给了顺序，而且这个顺序是从便宜到贵：监控数据现成就有；USE 几分钟能扫完；剖析要采样、要符号；微基准测试要搭环境；静态调优要一项项核对配置。本站「方法」一节的七步就是照这个思路排的。

they are only a starting point, so you shouldn’t spend more than five minutes considering them before moving on to other metrics.— §6.6.1。本站译：（负载平均）只是起点，琢磨它们别超过五分钟，然后就该去看别的指标。

这句话说在负载平均那一节的开头，后面作者却花了几页讲它的来历和算法。两者不矛盾：要知道它包含什么（Linux 上包括等磁盘的线程），才知道为什么不能拿它下结论。排查时它只回答「在涨还是在落」，剩下的交给 mpstat、vmstat 和 PSI。

带走的几条

一句话：先分清忙和不够，再按核、按线程找到是谁，最后用采样把时间落到函数上。