这一章在做什么

读之前：先预测

第 6 章讲复制时留了几个尾巴：故障转移要靠超时判断主节点死没死，两个节点可能都以为自己是主（脑裂），「最后写入者胜」会悄悄丢掉写入。原因都要到这一章才摆出来：网络、时钟、进程停顿。第 8 章的快照隔离要一个单调递增的事务 ID，这一章讲能不能拿同步过的时钟来当它。下一章（第 10 章）开始讲解法：线性一致性、逻辑时钟和共识。书里说，共识算法里的选票号（Paxos）、任期号（Raft）和这一章的防护令牌起的作用类似。

1. 发出请求迟迟没有回音，可能是哪几种情况？为什么超时设多长没有「正确答案」？§2§2.4
2. 两种时钟各适合回答什么问题？拿时间戳给不同节点上的写排先后，危险在哪？§3.1§3.3
3. 持租约的节点停了几十秒，醒来接着写。谁能挡住它，凭什么？§3.4§4.2
4. 安全性和活性有什么区别？为什么分布式算法对前者要求得更严？§4.4

这一章的骨架

这一章前半是一份「坏事清单」，按三种不可靠排：网络（§2）、时钟（§3.1–3.3）、进程停顿（§3.4）。§4 换了个角度：既然什么都靠不住，一个节点能「知道」什么、该信谁。容易乱的是租约的例子：它在 §3.4 开头出场（停顿怎么让租约失效），到 §4.2 才接着讲怎么防。读 §4.2 之前，回头看一眼 §3.4 的开头。

边读边填：每行一个问题，读到答案就写一两句。只存在你这台设备的浏览器里，别人看不到。

分节地图

全章约 1.8 万词（不算代码和图注），建议分四次读。第一次全是网络，读着顺；第二次的 §3.3 是时钟部分的重心；第三次从进程停顿一路读到防护令牌，中间别断；第四次偏理论，§4.4 的几个定义值得慢读。

1. 第一次坐下§0–§2.5 · 约 5300 词 · 部分失效和不可靠的网络
2. As discussed in “Reliability and Fault Tolerance”…约 300 词开篇为什么要把悲观调到最大；全章的路线：网络、时钟，再到怎样推理。
3. Faults and Partial Failures约 600 词故障与部分失效单机为什么被设计成「要么好、要么全坏」，多台机器为什么做不到。
4. Unreliable Networks约 500 词不可靠的网络发出请求没有回音，可能是哪几种情况，为什么分不清。
5. The Limitations of TCP约 600 词TCP 的局限TCP 说的「可靠」可靠到哪一步，哪些事它管不了。
6. Network Faults in Practice约 500 词现实中的网络故障几项研究和一串轶事：网络故障有多常见、多古怪。方框区分网络分区和分片。
7. Fault Detection约 400 词故障检测什么时候能拿到明确的「它挂了」，大多数时候为什么拿不到。
8. Timeouts and Unbounded Delays约 1100 词超时与没有上限的延迟超时设多长；延迟的波动从哪几处排队里来；超时为什么只能靠测。
9. Synchronous Versus Asynchronous Networks约 1200 词同步网络与异步网络电话网能保证延迟，数据中心为什么不学它。抓住方框里「利用率」那条线。
10. 第二次坐下§3–§3.3 · 约 3700 词 · 不可靠的时钟
11. Unreliable Clocks约 300 词不可靠的时钟应用拿时钟回答两类问题：一段时长，和一个时间点。
12. Monotonic Versus Time-of-Day Clocks约 600 词单调时钟与日历时钟两种时钟各保证什么、不保证什么，各适合做什么。
13. Clock Synchronization and Accuracy约 800 词时钟同步与精度一串让时钟出错的原因：漂移、NTP、闰秒、虚拟机、用户自己改时间。
14. Relying on Synchronized Clocks约 2000 词依赖同步的时钟用时间戳排先后会出什么事；读数为什么该看成区间；Spanner 怎么用这个区间。
15. 第三次坐下§3.4–§4.2 · 约 4200 词 · 停顿、多数派、租约和防护令牌
16. Process Pauses约 1900 词进程停顿持租约的主节点停顿会怎样；停顿从哪来；实时系统和减轻 GC 停顿的办法。
17. Knowledge, Truth, and Lies约 400 词知识、真相与谎言节点只能靠消息去猜别人的状态。引出「系统模型」这个词。
18. The Majority Rules约 500 词多数说了算一个节点为什么不能信自己的判断；多数派为什么安全。
19. Distributed Locks and Leases约 1400 词分布式锁与租约两个客户端同时以为自己持锁怎么办：防护令牌，以及它在多副本上的用法。
20. 第四次坐下§4.3–§5 · 约 5100 词 · 撒谎的节点、系统模型、怎么验证
21. Byzantine Faults约 1200 词拜占庭故障节点会撒谎时难在哪；什么场合才需要防，本书为什么默认不防。
22. System Model and Reality约 1600 词系统模型与现实时间和故障各有几种假设；安全性与活性；模型和现实对不上时怎么办。
23. Formal Methods and Randomized Testing约 1600 词形式化方法与随机化测试模型检查、故障注入、确定性模拟测试，各测什么、各有什么盲区。
24. Summary约 700 词小结全章回顾。先自己回忆一遍再读它。

先用中文过一遍

没有回音：发生了什么，只能猜

你给另一台机器发了一个请求，迟迟没有回音。毛病可能出在三个地方。回来的路上：对方其实已经处理完了，回应丢了或者堵在半路，这时请求已经生效，你却不知道。对方那边：进程崩了，或者正卡在一次很长的垃圾回收里，过一会儿还会回话。去的路上：请求丢了，或者还在某个交换机的队列里排着，晚些照样会送到。从发送方这一头看，这些情况一模一样：只有「还没收到」。用了 TCP 也一样，TCP 的确认只说明对方的内核收到了数据，不说明对方的程序处理了它。

唯一普遍可用的办法是超时：等够一段时间，就当它挂了。难处在于这种网络的延迟没有上限。包要在交换机里排队，在对方的操作系统里排队，在虚拟机监视器里排队，TCP 自己还会为了不压垮网络在发送端排队；负载越接近满，队排得越长。所以往返时间的分布拖着一条长尾巴，超时线画在哪都是取舍：画得靠左，偶尔慢一下的活节点会被判死，它的活转给别人，可能把本来就忙的系统压垮；画得靠右，真挂了要等很久才发现。

两种时钟，和一件不该交给时钟的事

每台机器上都有一块石英晶体在计时，它会随温度快一点、慢一点，叫漂移。机器靠 NTP 定期向时间服务器对表，对表的精度又受网络延迟所限。程序能读到两种时钟：日历时钟（time-of-day clock）告诉你现在几月几号几点，和 NTP 对齐，但可能被一下子拨回去或拨过去；单调时钟（monotonic clock）只保证一直往前走，绝对值没有意义，两次读数的差就是经过的时间。测超时、测耗时用单调时钟；要和别的机器比时间，只能用日历时钟，也就得接受它的误差。

危险在于拿日历时钟给不同节点上的事件排先后。比如「最后写入者胜」（LWW）：同一个键有两个版本，留时间戳大的那个。只要两个节点的时钟差比两次写的间隔还大，真正后发生的写就会因为时间戳小而被扔掉，而且不报任何错。更老实的看法是承认读数有误差：把「现在」看成一个区间 [最早, 最晚]。两个区间不重叠，先后就确定了；重叠了就说不准。

停顿的持锁者和防护令牌

很多系统要求某件事同一时刻只有一个人做：一个分片只能有一个主，一个文件只能有一个写者。常用的办法是租约（lease）：一把带过期时间的锁，持有者要定期续；它崩溃了、不再续，租约就自然过期，别人可以接手。

问题出在持有者自己的判断上。它看一眼「租约还剩 18 秒」，下一行代码去写，可就在这两行之间，进程停了 25 秒：一次让所有线程暂停的垃圾回收、虚拟机被挂起或迁移、一次卡住的磁盘读写、一次换页，都可能。它醒来时不知道自己停过，接着写；而租约早已过期，另一个客户端拿到租约正在写。这种「以为自己还持有租约」的前持有者叫僵尸（zombie）。指望它自觉不可靠，把它关掉也来不及，所以要让它写不进去：锁服务每授予一次租约，就附带一个递增的数字，叫防护令牌（fencing token）；客户端每次写都带上它，存储服务记住见过的最大令牌，比它小的一律拒绝。

先说清楚假设：系统模型

一个分布式算法在什么样的世界里正确？把假设写下来，就是系统模型（system model）。时间方面常用三种：同步（延迟、停顿、时钟误差都有固定上界）、部分同步（大多数时候有上界，偶尔被打破）、异步（不许做任何时间假设，连时钟都没有）。节点故障方面：崩溃-停止（坏了就再也不回来）、崩溃-恢复（会回来，盘上的东西还在，内存丢了）、拜占庭（什么都可能做，包括撒谎）。书里还专门提了一种难缠的：节点没死，只是慢得没法干活。

有了模型，「正确」用性质（property）来定义，分两类。安全性（safety）大致是「坏事不发生」：一旦违反，能指出是哪一刻，而且没法挽回，比如发出了两个相同的令牌。活性（liveness）大致是「好事终会发生」：定义里常带着「最终」二字，此刻没做到，将来还有希望。这一对概念的用处，是让你在故障面前分清哪些承诺必须守住、哪些可以附带条件。

这一章点名的系统

动手：模拟器

先猜：租约 10 秒，A 在第 3 秒续约，第 4 秒起停顿 15 秒。它醒来之后，还会写几次才发现自己已经不是持有者？存储会接受这几次写吗？打开防护令牌之后呢？再猜一个：停顿 7 秒和停顿 8 秒，结果会不会不一样？猜好了，一秒一秒地点着看。

1. 默认参数（租约 10 秒、停顿 15 秒、不开防护令牌）一秒一秒走到底。A 醒来时，它自己以为的和锁服务那边的实际情况各是什么？存储里哪几格变红了？
2. 打开防护令牌再走一遍。A 的过期写入被谁拒绝、凭什么？为什么 A 马上就退下了，不用等到下一次查租约？
3. 停顿改成 7 秒、8 秒各走一遍，差一秒，结果为什么不同？把租约加长到 15 秒，能「解决」停顿吗？再换成「写在网络里滞留」试试：A 根本没停顿，防护令牌为什么照样有用？

词与短语

词条按在书里出现的顺序排，按节分组；读一节之前先把这一节的过一遍，读的时候就不用停。斜体小字是原句里连续的几个词，在电子书里搜它就能找到那一句。标着「每个字都认识」的，是字面意思会把你带偏的。行话（quorum、lease 这类）不在这里，在上面的术语表里。

§0 As discussed in “Reliability and Fault Tolerance”…

§1 Faults and Partial Failures

§2.1 The Limitations of TCP

§2.2 Network Faults in Practice

§2.3 Fault Detection

§2.4 Timeouts and Unbounded Delays

§2.5 Synchronous Versus Asynchronous Networks

§3 Unreliable Clocks

§3.1 Monotonic Versus Time-of-Day Clocks

§3.2 Clock Synchronization and Accuracy

§3.3 Relying on Synchronized Clocks

§3.4 Process Pauses

§4 Knowledge, Truth, and Lies

§4.1 The Majority Rules

§4.2 Distributed Locks and Leases

§4.3 Byzantine Faults

§4.4 System Model and Reality

§4.5 Formal Methods and Randomized Testing

§5 Summary

读完：回到你的预测

判断题：换成你来选

场景都是本站编的。先选，再看解释；解释里写了对应的节号，拿不准就回原书看那一节。

和本站其他书对照

值得停下来的句子

In distributed systems, suspicion, pessimism, and paranoia pay off.— §1。本站译：在分布式系统里，多疑、悲观和偏执是有回报的。

这句话定下了全章的姿态。写单机程序时，「这种情况几乎不会发生」是一个合理的理由；在足够大的分布式系统里，百万分之一的事每天都在发生，而且发生时往往不报错，只是悄悄写错数据。读后面的每一节，都可以拿这句话问一遍：如果我假设的那件事偏偏不成立，会坏在哪里？

The moral of these stories is that a node cannot necessarily trust its own judgment of a situation.— §4.1。本站译：这几个故事的教训是，一个节点未必能相信自己对局面的判断。

这一句是全章从「问题」转向「怎么想」的枢纽。前面的网络、时钟、停顿，归结起来都是「一个节点看到的不一定是真的」。由此推出后面两件事：重大决定交给多数派，而不是某一个节点；被多数派判死的节点要服从，而它写进去的东西，要由存储用防护令牌来把关。第 10 章的共识，就是在这个前提上搭起来的。

检查一下理解

用一句话说这一章（写给一个没读过的朋友）：

精彩回顾

一句话：网络、时钟、进程都靠不住，一个节点什么都不能确知；能做的是把假设写清楚，让多数派和令牌替单个节点做判断。