这一章在做什么

什么时候翻这一章

• 服务的内存一直涨，不知道是泄漏还是正常先问「它本来就该这样吗」：缓存预热、分配器不还内存，都会让 RSS 只涨不落。确认在涨，再用缺页采样或 memleak 找代码路径。§7.4.6§7.3.3场景手册 →
• ARM 板内存小，进程被 OOM 杀掉没有 swap 的机器没有「先变慢」的缓冲期，内存一用完 OOM killer 就出手。先从 dmesg 里看清杀了谁、它当时占多少。§7.3.2场景手册 →
• free 显示内存快没了多半是页缓存占着，看 available 那一列。真正要担心的是换页和页扫描。§7.2.6§7.4.2
• 机器突然变慢，swap 在动vmstat 的 si、so 持续不为零就是在换匿名页，应用访问被换出的页要等磁盘。§7.2.2§7.5.1
• 容器里的进程被杀，宿主机内存还很多是容器的 cgroup 限额用完了，内存紧张要按限额算。§7.3.2§7.6.5场景手册 →
• 多路服务器上，同一个程序时快时慢可能是内存分到了另一个插槽上（远程 NUMA 节点），每次访问多绕一跳。§7.5.6§7.6.4

CPU 缓存和 TLB 的硬件细节在第 6 章；页缓存（文件系统缓存）和 free 命令在第 8 章（§8.6.2）；容器的内存限额在第 11 章。这一章的方法框架来自第 2 章的 USE 方法。

先用中文过一遍

虚拟内存和按需分页：VSZ 大不等于占内存

每个进程看到的是自己的一大片线性地址空间，这就是虚拟内存（virtual memory）。它不是真的内存：malloc 或 mmap 只是在地址空间里划出一段，内核这时一页物理内存都没给。等程序第一次写这一页，MMU 查不到映射，触发缺页（page fault），内核才找一页空闲的物理内存挂上去。这叫按需分页（demand paging）（§7.2.3）。

所以进程有两个「大小」。VSZ（虚拟内存大小）是划出来的全部地址，碰没碰过都算；RSS（驻留集大小）是此刻真正在物理内存里的页。缺页分两种：能直接从内存满足的叫次缺页（minor fault），比如给新页分配内存；要读磁盘的叫主缺页（major fault），比如访问被换出到 swap 的页、或者还没读进来的映射文件。对排查最有用的一条推论是：次缺页的次数就是 RSS 增长的足迹，匿名内存大致每 4 KB 一次。想知道内存是被哪段代码长起来的，就去采缺页的调用栈（§7.5.10）。

VSZ 和 RSS 差得远是常态：线程栈、分配器给各线程预留的区域、映射了却没读的文件，都先占地址不占内存。Linux 还允许过量分配（overcommit）：申请的总量可以超过物理内存加 swap，赌的是程序不会把申请的全用上（§7.2.4）。代价是到真的用不起时，malloc 不会失败，而是由 OOM killer 收场。

内存紧张时，内核按什么顺序腾地方

空闲页从空闲链表（free list）里拿。空闲页低于某条水位线，后台的 kswapd 被唤醒，开始扫描 LRU 链表找能回收的页（页扫描，page scanning），回收到更高的一条水位才停。最先腾的是页缓存：干净的文件页直接丢，脏页要先写回磁盘。再不够，有 swap 的话就把不常用的匿名页换出去，Linux 把这叫 swapping（§7.3.2）。vm.swappiness（默认 60；书里写的范围是 0 到 100，新内核允许设到 200）决定更偏向回收页缓存还是换出应用内存。

如果分配来得比 kswapd 回收得快，空闲页掉到最低水位，申请内存的线程就得自己动手回收，这叫直接回收（direct reclaim）：线程在分配内存时被卡住，延迟直接算在请求上。最后一步是 OOM killer：挑一个进程杀掉，系统日志里留下「Out of memory」。这几步每一步都是内存饱和的信号，对应的指标也不同。

有没有 swap 决定了内存一直涨的服务怎么出事。有 swap：先是换页、变慢，你有时间在现场查；没有 swap（很多云主机和 ARM 板）：没有缓冲期，用完就被杀，问题可能要跑几个小时才冒出来。书里提到 Netflix 的云主机就不配 swap，宁可让一台实例被杀、流量转走，也不要它慢慢换页。哪种好要看你的部署：一块独自干活的板子，没有「别的实例」可以接流量。

堆只涨不落：泄漏、增长和分配器

用户态程序的 malloc 和 free 不直接对着内核，中间隔着分配器（glibc malloc、jemalloc、TCMalloc）。分配器向内核要来大块内存，切小了发给程序；程序 free 之后，内存多半回到分配器自己的空闲链表里留着下次用，不一定还给内核。所以 RSS 只涨不落，可能完全正常（§7.3.3）。

书里把「内存一直涨」分成两种：泄漏（leak），内存不再用了却没释放，是代码的 bug；增长（growth），程序正常地用内存，只是用得比你想要的多，比如缓存设得太大、还在预热（§7.4.6）。两种的修法不同，后者常常被误判成前者。glibc 的规矩大致是：大块分配（默认从 128 KB 起，会动态调高）直接用 mmap，free 时立刻 munmap 还给内核；小块从堆里切，堆顶空出来足够多时才用 brk 缩回去。只要堆顶还有一块在用，下面空了再多也缩不回去。

大页和 NUMA：两种和硬件有关的调优

MMU 把虚拟地址翻译成物理地址，结果缓存在 TLB 里。TLB 条目不多，页越大，同样多的条目能覆盖越多的内存，TLB 未命中就越少。Linux 的大页（huge pages）常见是 2 MB，可以预先配好给程序用，也可以交给透明大页（THP）自动合并（§7.6.2）。多插槽的服务器还有 NUMA：每颗 CPU 挂着自己的内存，访问别的插槽上的内存要经过互连，延迟更高（§7.3.1）。内核会尽量就近分配，numastat 看它做得怎么样，numactl 可以把进程和它的内存绑在一个节点上（§7.6.4）。单插槽的机器和多数 ARM 板只有一个节点，这一段可以先跳过。

方法：按什么顺序查

书里列了十种内存的方法，排查时作者建议先做三样：性能监控、USE 方法、刻画内存用量（§7.4）。USE 里又建议先查饱和度，因为持续的饱和就是内存出了问题的标志（§7.4.2）。本站把它们排成下面几步：前三步回答「够不够」，后三步回答「谁、为什么」。

1. 内存真的不够吗？

   free -m 看 available，不看 free；cat /proc/pressure/memory 看有没有任务在等内存。available 还多、PSI 是 0，就不是内存的事。§7.2.6§7.5.2

2. 有没有饱和：换页、扫描、OOM？

   vmstat 1 的 si、so 持续不为零是在换页；sar -B 1 的 pgscand/s 不为零说明有线程在直接回收；dmesg | grep -i 'out of memory' 查有没有杀过进程。§7.4.2§7.5.4

3. 有没有限额先到了？

   容器和 systemd 服务都在 cgroup 里：看所在组的 memory.max、memory.current、memory.events。宿主机再空，组内到了限额照样回收、照样杀。§7.4.2§7.6.5

4. 谁在用？

   ps aux --sort=-rss | head 或 top 里按 M。几十个进程共享同一批库时，RSS 相加会超过总内存，按 PSS 看（/proc/PID/smaps_rollup、pmap -X）。内核自己用的看 /proc/meminfo 的 Slab、slabtop。§7.5.7§7.5.9§7.5.5

5. 它在涨吗？涨的是哪一段？

   pidstat -r -p PID 60 长期记 RSS；pmap -x PID 隔一段时间比一次，看是堆、匿名映射还是文件映射在长。先问「它本来就该这样吗」：看配置里的缓存大小，看涨到某个值会不会停。§7.4.5§7.4.6

6. 为什么涨：哪段代码？

   缺页就是 RSS 在长：perf record -e page-faults -g 采缺页时的调用栈，画成火焰图。疑似泄漏用 BCC 的 memleak 看哪些分配没释放（开销不小）。也可以先做普通的 CPU 剖析，找分配函数所在的路径，最便宜。§7.5.10§7.4.6

7. 配置对不对？

   overcommit、swappiness、THP、有没有 swap、NUMA 怎么分布、应用自己配了多少缓存。这些在出事之前就能查。§7.4.7§7.6.1

工具速查

free、vmstat、ps、top、pmap、slabtop 在 procps 包里；pidstat、sar 在 sysstat；numastat 在 numactl 包；perf 在 linux-perf；带 -bpfcc 后缀的在 bpfcc-tools。slabtop 要读 /proc/slabinfo，要 root；BCC 工具都要 root。工具名链接到本站的工具卡：free、vmstat、sar、ps、pidstat、pmap、slabtop、numastat、perf、memleak、drsnoop。

动手：在自己的机器上试

// grow.c：先要 200 MB 不碰，再每两秒碰 50 MB，最后释放
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <sys/resource.h>
#define MB (1024L * 1024)

static void show(const char *what) {
    char line[128]; long vsz = 0, rss = 0;
    FILE *f = fopen("/proc/self/status", "r");
    while (fgets(line, sizeof line, f)) {
        sscanf(line, "VmSize: %ld", &vsz);
        sscanf(line, "VmRSS: %ld", &rss);
    }
    fclose(f);
    struct rusage ru; getrusage(RUSAGE_SELF, &ru);
    printf("%-16s VSZ %4ld MB  RSS %4ld MB  minflt %6ld\n",
           what, vsz / 1024, rss / 1024, ru.ru_minflt);
}

int main(void) {
    printf("pid %d\n", getpid());
    show("start");
    char *p = malloc(200 * MB);
    show("malloc 200 MB");
    sleep(2);
    for (int i = 0; i < 4; i++) {
        memset(p + i * 50 * MB, 1, 50 * MB);   // 第一次写，才真正分到物理页
        show("touch +50 MB");
        sleep(2);
    }
    free(p);
    show("free");
    sleep(2);
    return 0;
}

$ gcc -O2 -g -fno-omit-frame-pointer grow.c -o grow
$ ./grow
# 另开一个终端，在它跑的时候看
$ pidstat -r -p $(pgrep -n grow) 1
$ ps -o pid,vsz,rss,min_flt,maj_flt,comm -p $(pgrep -n grow)
$ pmap -x $(pgrep -n grow) | grep -E 'Address|anon'

start            VSZ    2 MB  RSS    1 MB  minflt     88
malloc 200 MB    VSZ  202 MB  RSS    1 MB  minflt     89
touch +50 MB     VSZ  202 MB  RSS   51 MB  minflt  12891
touch +50 MB     VSZ  202 MB  RSS  101 MB  minflt  25691
touch +50 MB     VSZ  202 MB  RSS  201 MB  minflt  51291
free             VSZ    2 MB  RSS    1 MB  minflt  51291

pidstat:  minflt/s  majflt/s     VSZ     RSS  Command
          12800.00      0.00  207364   52736  grow
pmap:     Kbytes     RSS   Dirty  Mode   Mapping
          204816   51212   51212  rw---  [ anon ]

$ perf stat -e page-faults,minor-faults,major-faults ./grow
$ perf record -e page-faults --call-graph dwarf ./grow
$ perf report --stdio --no-children

51,261  page-faults:u
51,261  minor-faults:u
     0  major-faults:u

99.85%  grow  libc.so.6  [.] 0x000000000017dc40
        ---0x754872844c40
           main
           __libc_start_main

// frag.c：20 万个 1000 字节的小块，释放掉除最后一个以外的全部
#include <malloc.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>

#define N 200000

static long rss_mb(void) {
    char line[128]; long rss = 0;
    FILE *f = fopen("/proc/self/status", "r");
    while (fgets(line, sizeof line, f)) sscanf(line, "VmRSS: %ld", &rss);
    fclose(f);
    return rss / 1024;
}

int main(void) {
    static char *blk[N];
    for (int i = 0; i < N; i++) { blk[i] = malloc(1000); memset(blk[i], 1, 1000); }
    printf("allocated      RSS %4ld MB\n", rss_mb());
    for (int i = 0; i < N - 1; i++) free(blk[i]);   // 只留最后一块
    printf("freed all but 1 RSS %4ld MB\n", rss_mb());
    malloc_trim(0);
    printf("malloc_trim(0) RSS %4ld MB\n", rss_mb());
    return 0;
}

$ gcc -O2 frag.c -o frag
$ ./frag

allocated      RSS  194 MB
freed all but 1 RSS  195 MB
malloc_trim(0) RSS    2 MB

成书之后

分节地图

这一章的骨架和第 6 章一样：背景（§7.1–7.2）、架构（§7.3）、方法（§7.4）、工具（§7.5）、调优（§7.6）。上手只需要概念里讲按需分页、换页、缓存的几节，§7.3.2 里内核怎么腾内存（含 OOM），方法里的 USE 和泄漏检测，加上 vmstat、PSI、ps、pmap 四个工具。硬件、各个跟踪工具和调优参数用到时再查。

1. System main memory stores application and…约 300 词开篇内存不够的两种后果：换页变慢、进程被杀。扫一眼当目录。
2. Terminology约 300 词术语swapping 在 Linux 和传统 Unix 里意思不同，读工具输出前看一眼。
3. Concepts约 100 词概念一句引子。
4. Virtual Memory约 300 词虚拟内存虚拟内存为什么能超过物理内存；「虚拟内存耗尽」是什么意思。
5. Paging约 500 词换页文件页换页和匿名页换页，为什么后者才伤性能。
6. Demand Paging约 400 词按需分页缺页怎么发生，次缺页和主缺页，RSS 和虚拟大小的定义。
7. Overcommit约 100 词过量分配为什么 malloc 很少失败，代价落在哪里。
8. Process Swapping约 200 词整进程换出历史背景，Linux 根本不这样做。
9. File System Cache Usage约 100 词文件系统缓存占用开机后空闲内存越来越少为什么是正常的。
10. Utilization and Saturation约 100 词利用率和饱和度缓存算不算「用了」；哪些动作说明内存饱和。
11. Allocators约 100 词分配器分配器能让程序变快，也能因碎片浪费内存。
12. Shared Memory约 100 词共享内存共享库算谁的；PSS 怎么分摊。
13. Working Set Size约 100 词工作集大小真正常用的那部分内存，概念有用但难量。
14. Word Size约 200 词字长32 位地址空间的限制；做 32 位 ARM 的读者知道 3 GB 用户空间这回事即可。
15. Architecture约 100 词架构硬件和软件两部分的引子。
16. Hardware约 1200 词硬件DRAM、UMA 和 NUMA、DDR 带宽、MMU 和 TLB。查 NUMA、大页时回来看。
17. Software约 1200 词软件内存不够时内核按什么顺序腾地方：页缓存、换出、收缩、OOM；kswapd 和水位。这一章最该精读的一节。
18. Process Virtual Address Space约 1100 词进程虚拟地址空间各段的用途；堆为什么只涨不落；slab、glibc、jemalloc 等分配器。
19. Methodology约 100 词方法十种方法的总表和作者建议先做的三种。
20. Tools Method约 300 词工具法在 Linux 上挨个看哪些工具、看哪个数。
21. USE Method约 400 词USE 方法内存的利用率、饱和度、错误各看什么；为什么先看饱和度；限额环境怎么算。
22. Characterizing Usage约 400 词刻画内存用量用几句话描述内存去了哪；一张深入分析时可以照着问的清单。
23. Cycle Analysis约 100 词周期分析从 IPC 看负载有多依赖内存，指向第 6 章。
24. Performance Monitoring约 100 词性能监控长期记哪几个数；按进程记能看出泄漏的速度。
25. Leak Detection约 300 词泄漏检测泄漏和增长的区别，先问哪个问题，memleak 能做什么不能做什么。
26. Static Performance Tuning约 200 词静态性能调优一张检查内存配置的问题清单。
27. Resource Controls约 100 词资源控制内存和虚拟内存的上限，细节在 §7.6。
28. Micro-Benchmarking约 100 词微基准测试测内存速度和缓存大小，排查内存用量时用不到。
29. Memory Shrinking约 100 词内存收缩实验故意压缩内存估计工作集，作者自己说不要在生产上用。
30. Observability Tools约 100 词观测工具工具总表，从全系统到进程再到跟踪。
31. vmstat约 300 词vmstatswpd、free、buff、cache、si、so 各是什么，哪一列持续不为零要警惕。
32. PSI约 100 词PSI内存压力的 some 和 full 两行怎么读，看趋势。
33. swapon约 100 词swapon配了哪些 swap、用了多少。
34. sar约 300 词sar换页、页扫描、大页、swap 的统计；%vmeff 和 pgscand 两个最有用。
35. slabtop约 100 词slabtop内核各个 slab 缓存占了多少。
36. numastat约 200 词numastat多插槽机器上内存分配有多少落在了本地节点。
37. ps约 200 词ps%MEM、RSS、VSZ；为什么 RSS 相加会超过总内存。
38. top约 200 词top按内存排序，各个内存列的含义去看手册。
39. pmap约 200 词pmap进程的每段映射占多少，PSS 从哪里看。
40. perf约 500 词perf缺页采样和缺页火焰图：找出 RSS 是哪段代码长起来的。
41. drsnoop约 100 词drsnoop量每次直接回收让进程等了多久。
42. wss约 300 词wss用页表的访问位估计工作集；实验性质，先读警告。
43. bpftrace约 600 词bpftrace跟踪 malloc、brk、缺页、回收；跟踪 malloc 开销很大。
44. Other Tools约 300 词其他工具memleak、oomkill 等 BPF 工具，dmesg、valgrind、/proc 下的几个文件。
45. Tuning约 100 词调优最重要的调优是让应用待在内存里、不换页。
46. Tunable Parameters约 400 词可调参数脏页、水位、overcommit、swappiness、NUMA 平衡等参数。改之前读。
47. Multiple Page Sizes约 200 词多种页大小配置大页的几种方式和透明大页。
48. Allocators约 100 词分配器用 LD_PRELOAD 换分配器。
49. NUMA Binding约 100 词NUMA 绑定numactl 把进程的内存和 CPU 绑在一个节点。
50. Resource Controls约 100 词资源控制ulimit 和 cgroup 的内存限额（书里是 v1 的文件名）。
51. Exercises约 300 词习题习题；动手部分本页已经给了替代。

词与短语

只收先读和用到再查两档的节。斜体那一行是原句里连续的几个词，在电子书里搜它就能找到那一句。

§0 开篇

§7.1 Terminology

§7.2.1 Virtual Memory

§7.2.2 Paging

§7.2.4 Overcommit

§7.2.6 File System Cache Usage

§7.2.7 Utilization and Saturation

§7.3.2 Software

§7.3.3 Process Virtual Address Space

§7.4.1 Tools Method

§7.4.2 USE Method

§7.4.6 Leak Detection

§7.5.7 ps

§7.5.9 pmap

§7.5.12 wss

§7.5.13 bpftrace

§7.6.1 Tunable Parameters

§7.6.2 Multiple Page Sizes

诊断题：换成你来查

场景和输出都是本站编的。先自己判断，再点选项看解释。

$ free -m
       total   used   free   shared   buff/cache   available
Mem:    7821   2411    312       18         5369        5410
Swap:      0      0      0

pidstat -r（流量回落后）：
  minflt/s   majflt/s      RSS   Command
      0.40       0.00   921344   gateway

Out of memory: Killed process 812 (camd)
total-vm:402112kB, anon-rss:318420kB

vmstat 1:
   swpd    free    si    so   us  sy  id  wa
 812044   98120  2310  4120    8  12  41  39
/proc/pressure/memory:
 full avg10=18.40 avg60=11.02

$ ps -o pid,vsz,rss,comm -p 2741
  PID       VSZ      RSS   COMMAND
 2741  37748736   624380   server

值得停下来的句子

Memory growth issues are often misidentified as memory leaks. The first question to ask is: Is it supposed to do that?— §7.4.6。本站译：内存增长的问题常常被误判成内存泄漏。第一个要问的问题是：它本来就该这样吗？

「内存一直涨」报到你这里时，最省时间的一步不是开 valgrind，而是去看配置：缓存上限设了多少、连接池多大、队列有没有上限。很多「泄漏」是缓存在按设计填满，或者分配器留着已经 free 的内存。把这个问题问在前面，排查就分成两条清楚的路：设计如此，就改配置或改用法；不该如此，才去找没释放的代码路径。

With swap, this is likely to first become a performance issue due to paging, which is an opportunity to debug the issue live.— §7.3.2。本站译：有 swap 时，这类问题多半先表现为换页带来的性能问题，这让你有机会在现场调试。

这句话说的是内存一直涨的应用。对 ARM 板的读者，它解释了为什么问题总是「跑了两天突然没了」：没有 swap，就没有那段慢下来的预警期，等你看到时进程已经被杀、现场也没了。能做的是把预警挪到前面：定时记关键进程的 RSS、盯 /proc/pressure/memory，或者在 OOM 之前由自己的看门狗按阈值重启并留下记录。要不要为此配 swap（比如 zram），要看你的存储寿命和延迟要求，书里没有替你决定。

带走的几条

一句话：先看换页和压力判断够不够，再看 RSS 的走向判断是不是在涨，最后用缺页采样找是谁长起来的。