第1部分 开 篇/ x9 k) B: A& V8 b* g: ^
第1章 分布式系统的核心特性：一致性 2
& c. M9 I7 r0 i1 G9 ^3 t1.1 拆分是解决大规模应用的本质 29 N& T! i$ O4 ^% @1 t
1.2 分布式技术是大规模应用的后一个考验 4
g9 c5 m& y5 b5 h3 I1.3 一致性是这个考验的核心 6
' n- U3 |4 k7 u! p* D: C
, X8 y/ x& h( g2 |( R1 _* u第2部分 系统案例
5 e! d8 i( X6 h( e8 a. {第2章 Google的文件系统 8
4 `8 l. E6 y4 v, G4 w V2.1 GFS的外部接口和架构 8" p5 a6 V+ V6 ?# P' V
2.1.1 GFS的外部接口 8
4 w' A, ^% r4 t, K2.1.2 GFS的架构 97 o7 G8 p: L6 X
2.2 GFS的写流程细节 117 z: O* r8 w0 S! O
2.2.1 名字空间管理和锁保护 11) @5 r. J. `6 s/ P& o$ N
2.2.2 租约 11- |2 r, a( k l5 O
2.2.3 变更及变更次序 11
y* }- a3 ^) l7 N6 x+ H+ H2.3 GFS的原子性 132 H. Y) q, a8 U. H8 c+ W# t% G& r6 P. w2 Q
2.3.1 write和record append的区别 13. C& V; m5 v- ~1 s Q' E0 n
2.3.2 GFS中原子性的含义 14% t% Q0 ^+ K( ~: m' @) M
2.3.3 GFS中多副本之间不具有原子性 159 x$ K0 d. M1 p( ^ W
2.4 GFS的松弛一致性 154 |6 Z* f- Z7 N4 N! `! V5 V
2.4.1 元数据的一致性 15& R: E9 j, _, r2 ], M
2.4.2 文件数据的一致性 15
& Q) ~# U* S1 y2.4.3 适应GFS的松弛一致性 16$ z' [+ q1 Q0 v/ }2 x& A+ S, i
2.4.4 GFS的设计哲学 17
2 b! Y- p+ |8 U* f" o+ ]参考文献 18/ k( q0 @# L- V) h
第3章 开源的文件系统HDFS 19
* _$ U6 v0 `- @6 d8 Y9 I/ L3.1 HDFS的外部接口和架构 19! ?$ P/ e8 }) u8 o0 ]+ g6 K
3.1.1 HDFS的外部接口 19
/ ?+ ^1 H3 [) B1 Q! Q2 P6 {3.1.2 HDFS的架构 20
& b! R. @8 I2 w3.2 HDFS的写流程细节 21! X* q& i }5 q5 _5 p, g
3.2.1 打开文件 22& B- i& Z. ~8 i M8 L( W( I3 a8 T
3.2.2 pipeline写入 223 p& `% H6 E3 l/ y, n$ W
3.2.3 上报block状态 24
" x3 X5 i0 }- z* ]3.2.4 关闭文件 24
: Z/ q- F) X3 [' S" Z. ?3.2.5 DN定期上报信息 241 S. Z% \- z8 q2 H0 T
3.3 HDFS的错误处理 254 R3 d3 I- _# _
3.3.1 DN的错误 25- U) m( v4 }$ W& N6 y% h7 u- J
3.3.2 NN的错误 26) x4 Q6 e8 I2 ?* a+ k2 q
3.3.3 客户端的错误 26" z9 T& C c# M" ? q8 P
参考文献 296 I& h. }/ p$ w
第4章 Google的BigTable系统 30
! x' L1 b9 e) s$ W4.1 BigTable的外部接口和架构 30
& i: r- U: E) [% A/ }' @4.1.1 表 308 I, i& i e, L3 v. M2 l
4.1.2 数据 31
( z5 O) {% w& d3 v( D0 K& M" T# F4.1.3 原子性 32
* w5 |/ y% ^$ e) J. Q5 T4.1.4 时间戳 32( U+ h+ L( E, S/ K/ n# l8 b3 L x Q
4.1.5 BigTable的数据模型 33
# l0 _( k& n) n! f, K" H4.1.6 BigTable的架构 34' _" z; u0 K* \
4.2 BigTable的实现 35
, @* R) Z2 {* u3 s f$ H' B; n4.2.1 tablet location 35
/ S( |+ V" m( _, j$ j2 f4.2.2 tablet的指派 36
" ^) K3 K. @) n- b* T! U4.2.3 加载tablet 36
9 r1 ^5 [6 A2 H4 P/ g/ Q4.2.4 tablet的读/写操作 37
) B7 N8 g& ~& G% Z4.2.5 合并 38
$ R& i0 F4 O! {) n1 L参考文献 38
0 H. O7 a$ O1 @; J/ \0 `第5章 文档数据库MongoDB 39
1 V/ \ }9 h6 s$ q- E- ~5.1 MongoDB的外部接口和架构 39
# W9 k; M0 B$ I: M B2 f- \) |5.1.1 MongoDB的基本概念 39; P6 R9 R1 t" p/ ~/ p1 [2 G* _
5.1.2 MongoDB的架构 392 k- }( r$ J$ `7 I
5.2 MongoDB的standalone模式 40& y/ N5 {# d& |/ |
5.2.1 MongoDB的写入过程 40+ n* g5 _- K; d
5.2.2 无确认导致的丢失更新异常 405 B$ S }- m" z+ d0 E- {
5.2.3 未持久化导致的丢失更新异常 41, u/ X6 I7 [3 k& ]0 F0 P
5.3 MongoDB的replica set模式 42% K! h, R3 `: s0 i
5.3.1 MongoDB的复制过程 43+ a: l5 O6 j% z1 x0 ~& P' S
5.3.2 无副本确认导致的丢失更新异常 44* ?: J2 U' @. s
5.3.3 不正确选主导致的丢失更新异常 45& q H+ P: j1 Y7 b) H* y
5.3.4 脑裂导致的丢失更新异常 47
3 _- b; U7 i" E5.3.5 缺失任期信息导致的丢失更新异常 48
) X/ L& u9 `& X8 ]% q4 w# C. t* \5.3.6 脏读异常 51
( E9 j: i6 j: u" m; ~% P5.3.7 陈旧读异常 52
9 }+ {8 q" A: w o4 @8 B8 F第6章 消息系统RabbitMQ 54
% h( L9 R) K/ }( o/ Z' I: @$ K {8 F% l6.1 RabbitMQ简述 548 P1 R6 d& P' `8 o
6.1.1 关于broker 54) K/ Q) @1 b1 ?+ \
6.1.2 RabbitMQ的接口 55. W$ }6 l# |0 k9 K# F
6.1.3 镜像队列 55
# p! Q$ c1 x8 F* Q3 I c. n& `; R8 J6.2 RabbitMQ的基本实现 55" m% H0 h c) Q* W+ b2 e x7 Z
6.2.1 镜像复制 55! n7 p5 y( F f, D, }6 h1 k
6.2.2 镜像加入队列 56
% c5 ?! `& ^. P. {9 ~& f6.2.3 镜像同步过程 56/ a0 `, E! {$ O7 q
6.3 master切换及RabbitMQ的异常处理 57
% w) k# d# _( U7 ]- S6.3.1 意外宕机后的master切换 57$ C" @+ `- d. B( [' A. b
6.3.2 主动运维后的master切换 57* T/ F3 w& O7 V
6.3.3 意外宕机与主动运维的默认行为差异 58
6 Q+ B4 v/ T' v4 s" H( E6.3.4 网络分区后的master切换 58
& ~* X% o& w5 P6.4 确认机制 59
* J( m8 `8 E# m* ]1 H第7章 协调服务ZooKeeper 602 U; M1 q9 h3 [
7.1 协调服务的应用场景 604 X2 _: A" m- i: G
7.2 ZooKeeper简述 61- x6 c9 m, N8 E7 b
7.2.1 ZooKeeper的数据模型 61* \, p% n# o! z9 _3 @1 C% y" F3 a/ z
7.2.2 ZooKeeper的外部接口 626 r9 k; A Z* t2 k% u! P7 k! ~
7.2.3 ZooKeeper的架构 63. I$ P9 p* w& `& b; ^4 b
7.3 ZooKeeper的实现细节 65. J, p( g! O! ]1 }# Y
7.3.1 客户端异步处理 65
4 c8 i/ _/ w) O& _7.3.2 请求处理器 65
~7 `/ `! r: W2 t9 R6 w7.3.3 原子广播 67! n3 k2 C2 q$ J, v* C/ [; W! L6 F
参考文献 68
. B/ ^+ ?; m. n H第8章 Google的Spanner数据库 697 o: c6 H- B* \6 p
8.1 Spanner的数据模型 69
/ z/ Z- R+ _6 Y) F8.1.1 带模式的半关系型表 69( x, J) `2 ]) n% R# [% A" u
8.1.2 通用事务 71; Q8 y$ {, U1 s* `, B: U/ n
8.2 Spanner的架构 72
! ?0 ?! B0 V- s' I# {& s3 s" H% k' l! B8.3 Spanner的实现 73 m! r" A0 C. r! I
8.3.1 tablet与存储 736 f3 L7 N$ M' Y \" |9 S: Z
8.3.2 复制 73% j# p7 }' R7 y# A
8.3.3 TrueTime 74* g, p+ ]" t* R! H! n) G
8.3.4 事务 758 u- D6 D* |4 J: }7 U' B
8.3.5 目录 80% ?1 Z7 J: H3 _2 x* |2 V" @
8.3.6 Paxos的作用 80% O1 |3 v7 L, Y. M
8.4 TrueTime的作用 811 g! s. _9 Z; }5 I- D
8.4.1 Spanner的外部一致性 812 a3 b3 R) [. f/ X0 {+ W
8.4.2 TrueTime生成事务时间戳 82 }. d( n8 }+ g+ _' F9 x
8.4.3 TrueTime管理leader租约 83
# T5 h: r0 f U I/ R9 U8.4.4 TrueTime作用的总结 85 o1 E2 A3 j' Z% w n: z1 c5 P- I% i
参考文献 856 W* G) _& @3 p; f& C+ S
第9章 分布式数据库CockroachDB 864 V7 K2 a3 \+ o8 P5 q2 {& ]) G& ^
9.1 CockroachDB的接口和数据模型 86$ a3 l6 H, P& W8 ~" B
9.2 CockroachDB的架构 87# ^( v. F+ B; T& |5 I
9.3 元数据存储的实现 88
# n# A. E7 B6 l/ X* U9 j9.4 多副本存储的实现 90
1 {/ _& U9 A% i+ d, ^2 K9.5 事务的实现 92! E& F Y) h) ^( V# `
9.5.1 单个事务的执行 92* t! c9 N& x7 f" s" l# k' L) V4 ]
9.5.2 多个事务串行执行 94+ |1 v9 h% q3 o) f
9.5.3 事务的并发执行 96
* _6 m6 n/ _8 B* z8 o6 w, f参考文献 106
" |! B: K, ~+ j. M, Y/ X1 N, h& n0 H# H5 h; V
第3部分 分布式算法 K- S4 ?- q& y& X& I2 L: o
第10章 共识算法Paxos 108( s7 M6 d- k- C* T- Y2 ]
10.1 Paxos的历史 108! F& J% b$ K6 T0 X0 k s
10.2 Consensus vs Paxos 110
1 [6 h- @9 _% L% ?- W) s! L( e10.3 Basic Paxos算法 111+ M% T+ Y0 |; D8 M$ ~) f# |. x6 F! Z
10.3.1 共识问题 111
" w8 r7 n) ?" L3 y7 p0 J10.3.2 算法简述 113
& x: G# N0 q5 E. \' D! f10.3.3 选择值过程 115
5 q7 i' R ~# D1 z2 ~10.4 Multi Paxos 算法 132
9 M2 E' l8 f/ t! G: d- @9 G7 k10.4.1 多个实例 1327 a5 _0 U3 g1 i6 m; x& f. @
10.4.2 独立实例运行的完整Paxos算法 1321 t$ D% O4 ]9 v
10.4.3 只运行一次prepare消息的完整Paxos算法 137
$ E! T5 \+ T- o* c' k+ d10.5 复制状态机 144
+ Y; ?; u. O* x) g10.6 Paxos算法与复制状态机 146' `" S% t8 L$ z( O' h* d
10.6.1 Paxos算法实现复制状态机 146. ?: U; N/ ?, _* {. i
10.6.2 空洞处理 147
& y4 ], Z! q" ]* g- h. v10.7 原子广播 148/ f3 D. w p6 r+ g$ J: n2 G* t
10.7.1 原子广播协议 148
! r$ J2 r8 W/ E) u1 m4 H10.7.2 原子广播的模型 148
6 c' _' Z9 L- v- l- N10.7.3 原子广播的特性 149. a( p4 g5 l, n& X& n" B/ K( S4 S4 n
10.8 Paxos算法与原子广播 149
: Q9 t% l: A) R+ o. o2 S* _# H$ N10.8.1 Paxos consensus实例与原子广播 149
. e+ G% c: n- ]0 s# i! u. D2 q10.8.2 Paxos的角色与原子广播 150
$ K0 v3 X. A/ R4 k, _# a参考文献 151
8 X* t k6 G8 F! @* E2 a9 p第11章 复制日志算法Raft 152
! r7 i/ U8 R8 _3 W% b& z11.1 Raft是复制日志的算法 152( @: n$ t, l+ K. O
11.2 Raft算法的组成 1530 m; w8 w/ B: R; [4 ~9 o% f) L" [
11.3 复制过程 153
( f2 F3 B3 p( i3 x8 z11.4 选举过程 154: `6 F8 S6 s4 x0 T% T, g$ P
11.4.1 选举的基本条件 154. ^8 @' b* @- d$ s
11.4.2 任期 155
6 {$ w( p- J6 ]2 S; X) z: t9 [11.4.3 完整的选举过程 156
% V" {+ @) m5 q: u11.5 异常处理 157" p+ d9 M6 O- Z4 u0 C) M4 b$ n
11.5.1 不一致异常 157* S8 ^0 N5 j e: s" V1 d+ ~4 T
11.5.2 一致性检查 160
1 Z6 P g2 _0 p" b* a+ T: [11.5.3 不提交旧的leader的entry 160
) |' O7 J* i- w参考文献 1620 f3 K H' ^' R8 F/ B* B
第12章 原子广播算法Zab 1635 d. k7 P; T2 U" L- W
12.1 Zab算法简述 163# P4 m5 n9 H' B9 w) p% N3 F
12.1.1 设计的Zab算法与ZooKeeper中实现的Zab算法 163
* G0 v. d& L" E4 B* j$ x) e9 q12.1.2 Zab算法的阶段 1648 u$ H- L' H9 L4 V7 L M
12.2 各版本Zab算法的共有部分 164" A" I- M% l& A7 m8 r6 ?
12.2.1 Zab算法的基本概念 1647 m/ V( x( b A0 ~6 l
12.2.2 Zab算法的broadcast阶段 166$ U8 `. ?/ Q! J N! Z. k
12.2.3 Zab算法的消息通道 169
6 p* ?" I/ s# f7 \, x9 z# e- m12.2.4 Zab算法的broadcast阶段的特性 170
8 s, z5 [1 b. J7 o" G0 g- W12.2.5 已提交的提议 170
8 r' j: f# `: ]7 x12.2.6 故障处理 170
- E) J# f% w. p. G12.3 设计的Zab算法 172: g, Y c. C2 m- x/ Y
12.3.1 Phase0：election阶段 173* T! B+ g+ R/ n. P+ E$ g
12.3.2 Phase1：discovery阶段 1747 b5 N3 L- t3 }6 |; i* ~& i, m2 S6 h
12.3.3 Phase2：synchronization阶段 1748 ]. m2 O, p+ D( S3 Z
12.3.4 Phase3：broadcast阶段 175 P# K R8 [. W+ X; i7 t
12.3.5 设计的Zab算法的问题 176' C# T! h4 |. Q2 O9 o
12.3.6 设计的Zab算法处理leader故障 176& Y0 J m# w7 S
12.4 Zab Pre 1.0算法 177
; Y! h" |- l# k; R6 J# h12.4.1 leader election阶段 177
2 x4 K8 h, ^% G! [1 n) W12.4.2 recovery阶段 177
) P* ^+ C& i6 X+ B, y* M12.4.3 Zab Pre 1.0算法处理leader宕机故障 1781 ~( S# G8 P6 e7 y" j6 c3 L0 d
12.4.4 Zab Pre 1.0算法的缺陷 179* N) B" t% `# e4 `* [3 d3 r
12.5 Zab 1.0算法 179 K' D; `, h; @4 h: z
12.5.1 Phase0：leader election阶段 180- s% O: L# {+ B3 z5 y
12.5.2 Phase1：discovery阶段 180
6 H+ e( v& ^7 c4 d5 F/ F12.5.3 Phase2：synchronization阶段 181" z( _/ F3 G+ @4 j
12.5.4 Zab 1.0算法处理leader宕机故障 181
( a; j% ^# O' [0 a, ~参考文献 182
. D, y0 L0 W& k! r; V- [5 E# u& t+ F6 J. N4 m
第4部分 一 致 性
( n H0 Y* M$ C$ w: w第13章 事务一致性与隔离级别 184% s9 M5 y. o# Y: z5 Q+ v
13.1 ANSI的隔离级别 185
7 @$ L8 [5 U' Y( x- ^13.1.1 ANSI的隔离级别定义 185
! ~' k7 [# ^. B4 i7 P* c% f% C5 i0 O13.1.2 对一致性的破坏 186
9 P+ G& T' x3 U4 E9 K13.1.3 脏写 188
1 o" V) {" {/ S8 m" U* w5 J( d: q13.1.4 锁机制 1884 i: w0 t3 L/ O1 j$ f
13.2 SI和SSI隔离级别 190$ @% c8 _% K5 J5 Q6 }
13.2.1 MVCC 190
0 g) o0 v6 E5 a* k9 v4 O13.2.2 SI隔离级别 190
! ]# }( ^+ i% k2 \8 G! U13.2.3 SSI隔离级别 192
( P% f; E' Q d, O- X参考文献 192. i5 J$ z) s2 e9 P! w
/ k+ v' {; S! W+ N9 b7 P
第14章 顺序一致性 193
* I0 U; [9 v7 k$ @- K' t( |$ j) ~14.1 顺序一致性的正式定义 1933 n$ H$ ?% j( J% M9 u0 Q& B; ?0 \
14.1.1 顺序一致性应用的范围 193! A$ s2 s: h5 l* ^- p
14.1.2 顺序一致性的定义 194
8 W2 \* d/ D5 t! ?# {14.1.3 核心概念的解释 1958 t* D) x% F' O: ^. Q2 H+ p+ X
14.1.4 定义解析 198
8 L/ s. |# j1 V7 W# k14.1.5 在分布式系统中的定义 200
. [. h$ c3 D1 N1 L! H& H14.1.6 举例说明 200) ]6 J3 [2 C5 n2 y6 ], w
14.2 理解顺序一致性 202
+ q) [+ [; D( {0 B& E2 s14.2.1 顺序排序 2029 k0 j1 d& {4 x
14.2.2 程序顺序 202. {( J2 Q3 U' z& ?
14.2.3 顺序一致性是严苛的 2031 |# [, T) ^ L8 H6 h
14.3 顺序一致性的其他描述 204
e& u3 i3 Y/ i( Q5 V14.3.1 种描述：全局视角一致 204
% [* W- c' i% J, ~14.3.2 第二种描述：允许重排序 205
' A$ ]4 f2 K7 p% }0 k' ~14.4 顺序一致性的作用 206
% X& ]2 ]' K" g, |% G' A, \14.4.1 并发条件 206
* [1 @* g8 [2 F7 i- U5 E! B" R14.4.2 原子性 207
: a9 P C J5 P) Y+ b# j参考文献 2093 N% F% g, }$ O6 Q8 x! [. W
第15章 线性一致性与强一致性 210, ~7 a3 o& f% f% Y+ N
15.1 什么是线性一致性 210* J! g. [3 b+ j8 ?; T' t' ?) Y
15.1.1 预备概念 211
. W3 q2 p8 C6 Y) }* S _15.1.2 定义 213
- N: J" U5 @' }15.2 判断系统是否满足线性一致性 213
$ t2 b# X! ~) T, N: U4 |15.3 对线性一致性的理解与强一致性 216
1 Y4 y, g0 K, S15.3.1 线性一致性的其他描述 216- P3 r8 P4 J0 M, _( Q/ y
15.3.2 线性一致性与顺序一致性的比较 217. [; c/ x3 x0 v) u a2 k
15.3.3 强一致性 218
6 t7 d# V) \7 g o) @15.4 ZooKeeper的一致性分析 219
! E+ r8 O( `% m2 i" u: @& L15.4.1 ZooKeeper是顺序一致性的 219" Q/ }$ E* ^& r" w6 L8 x: e
15.4.2 ZooKeeper的一致性的作用 2218 s% `" h/ v, n
15.4.3 ZooKeeper的一致性的描述 2226 ^7 v( C1 K2 `/ g4 l. n( b9 t
参考文献 223
5 j6 o2 H2 u7 w" R: ]( Q, s7 Q第16章 架构设计中的权衡 225
+ g4 m8 |% R( ^1 g* R' S( d16.1 什么是CAP定理 225% \9 K1 f3 D, o$ u, u5 N4 w
16.1.1 CAP历史：从原则到定理 225
+ e+ B4 `6 y; h. {' ~16.1.2 CAP的定义 2260 ^4 l& m$ O* y$ u
16.1.3 CAP定理下的三种系统 226
+ c8 e6 X6 H; D( o! D. d) C16.1.4 深入理解CAP定理中的P和A 227
' c& v- X4 D1 S' F# q9 f- H16.2 关于CAP定理的错误理解 228
1 I% p: P& Z" x16.2.1 不是三选二，不能不选P 228, L. M% f& K# }; k
16.2.2 不是三分法 229 java8.com8 N1 q- _$ n, [9 R
16.2.3 不该轻易放弃任何一个属性 230, v! _2 @& ]6 e& Z; r# I
16.3 CAP中的权衡 230
# X: a1 P/ ^/ X16.3.1 弱CAP原则 230
6 x2 l2 B# D% t+ F, L, d& t) H16.3.2 CAP推动NoSQL 231( z! I. H% W9 l( k7 a
16.3.3 分布式系统中的可用性和一致性 231
" p* b3 i! w1 w; q3 ~% O4 q6 z1 E16.4 进一步权衡：HAT和PACELC 2311 i4 }2 l, m1 X$ S( b6 _ v2 k
16.4.1 HAT 232
# U7 M" g1 X7 t' I16.4.2 权衡 234# a/ q) a* P0 {7 X
16.4.3 PACELC 234* M4 P8 ?/ ~9 G
参考文献 2352 u1 W" m' j3 u& h/ D' z5 F
, G7 r4 l- p1 t4 K# u3 c& S# G
电子书
197 人阅读
|
20 人回复
|
2024-03-13
