TA的每日心情 | 开心
6 小时前 |
|---|
签到天数: 39 天 [LV.5]常住居民I
管理员
- 积分
- 2785
|
Java电子书：Kafka权威指南（第2版） PDF 电子书 Java吧 java8.com& K. [2 h, z. F$ Y, p; y$ v6 @
. F' ]8 Y, b3 s8 Z( r8 N作者:格温·沙皮拉（Gwen Shapira），[美] 托德·帕利诺（Todd出版社:人民邮电出版社出版时间:2022年11月
; E) c z) V) Q0 E+ C# D. v4 [8 h2 L8 U
编号：166-Java吧资源免费-X0186【Java吧 java8.com】
& L0 _1 {# o% X8 H; |
( J4 C5 W8 C/ D2 w* X, Z {1 f L# g6 C
8 V) ^0 I6 X1 V! n目录：
1 L3 Y3 a* _4 o4 T本书赞誉 xvii. m1 w8 p* F! Z! O! g0 q" s) R
8 w$ p" x5 a- b, Y
第 2 版序 xix
! ]5 G% M# _6 k' R% L
, h5 c' [% w$ y* s8 Y! Z: k第 1 版序 xxi
# I+ u( a& ^4 U8 u o8 P+ @: X8 h' k* R$ ~4 E7 |' A
前言 xxiii% H3 f& t! S0 r4 j8 Y# F0 w
; a8 Z" C6 ?! q9 U/ `
第 1 章 初识Kafka 1
6 f k6 J/ F! i9 y1 m3 @8 h
Z! i7 I% y8 p6 n, z1.1 发布与订阅消息系统 1
% T5 Q- a6 v% a) D: R9 u' [2 t" x5 l) G0 Y
1.1.1 如何开始 2
. k3 o( H- N4 s& @, D$ M! \/ M+ A* R/ A
1.1.2 独立的队列系统 36 y" |9 G) _0 m
8 |! e5 q9 b. Q
1.2 Kafka登场 3
3 O/ s7 x) e f& M( P: s5 J. A# a% p- J: ^- ?5 K/ L
1.2.1 消息和批次 4
4 X. w9 u" E" |5 H* g9 S" p
9 f. u' s- l* _6 y1.2.2 模式 4
( E. a' \" ^: L0 N5 v! z$ o3 J$ N# \' R, X
1.2.3 主题和分区 42 f+ t1 N1 b$ X+ w6 q+ d
* O* q. v2 I, ~6 v& r' f" `( C* P
1.2.4 生产者和消费者 5
7 Q$ S$ K# B% }' ^; X8 f r7 j8 N) @: Q: g" O+ ~5 J
1.2.5 broker和集群 65 j# [ X2 E# B" o0 u
# h1 ]3 {5 h2 A1 q
1.2.6 多集群 7# ^ v3 S; d1 C% | [" |& V
h: P4 b3 e; B. ]$ B, v
1.3 为什么选择Kafka 8$ W7 x, @4 p$ ]# D$ ~4 l
V7 X) Y3 \* C! x' _: ?& C& t1.3.1 多个生产者 8
' f* C! a) D. T$ e! C6 M0 w% B; A9 `+ F8 O
1.3.2 多个消费者 8+ G* a+ T1 t4 Z% ^# k& p9 ]2 W
/ [# C0 l& j. M
1.3.3 基于磁盘的数据保留 9- _ M3 p; M3 o5 K
& ]1 L9 k' h7 A, N- @
1.3.4 伸缩性 9( y/ S) _! g- ]+ I) B9 N+ v1 t
# i7 ?' ~& u( S s2 B; K$ F* i+ h1.3.5 高性能 9
, p5 z1 B$ {1 T( G: O$ l4 B
4 Z$ \& h) O% m; V- P$ j% `1.3.6 平台特性 9
: p1 o9 Z; X' @
$ {; L! {4 @0 N1.4 数据生态系统 9
8 v5 m2 f! {- I G: M! a" K/ _' b( N- s; {( j. s& Z
1.5 起源故事 11
" @6 m; `" W7 [) o# N0 A: E3 t
; J/ i' [7 o$ [5 _ E5 E! f) }1.5.1 LinkedIn的问题 11; e1 `" }0 ~4 g7 k% }
& ^: l, a7 g: w& F; N4 d6 p1.5.2 Kafka的诞生 128 a; d4 D- `+ }, r. v6 x' v
! e' \8 C9 ]) s# W( s: ?
1.5.3 走向开源 12
5 T& l2 W5 M) ~
, _% i/ |$ N% q" w1.5.4 商业化 136 `1 T, n1 X9 Z1 o+ x7 l$ _3 S
6 p7 V/ q* I. z1.5.5 命名 13
( F3 h- F0 Z; ?% y* J
! b8 Q; ~3 B3 V8 d1.6 开始Kafka之旅 13
9 E$ Y+ i' j+ P: d" K7 y i% v. V5 ?! r
第 2 章 安装Kafka 14" W/ }& L0 S0 _: B' J" D+ m) y
r' Z- t2 K7 c1 X, l: d4 a
2.1 环境配置 14
+ `$ h* h4 U, _2 X0 Z; F
8 Q1 G8 W! D6 o# j3 F$ t2.1.1 选择操作系统 14# k9 _4 B' l/ ^: z1 s- P
: X: S/ r/ c, `) p8 O2.1.2 安装Java 14
8 A2 r6 D" a7 p) Q# R6 X- m5 P7 N
2.1.3 安装ZooKeeper 156 E* _* }% M6 ?# `" W9 `: Y
. v; A, e& ]+ d' Y0 ?
2.2 安装broker 17
) {8 c( [! L6 F5 X; c$ D4 \& b: j* O! S! g) d
2.3 配置broker 18( Z" S0 u7 d4 L" M& }
; }2 U& ~( y& x. z2 y2.3.1 常规配置参数 182 l8 z/ |; ^5 E+ o! W7 u
. |3 D; }, }% J% }2 A2.3.2 主题的默认配置 20- l0 P. @3 R$ c4 P( k+ ~/ q
# r9 ]$ ?, S" G( T4 |2 W
2.4 选择硬件 246 c& D. Q& P: V# a2 s) Q* D0 N( e
) r) ?2 p0 ~3 h e! N2.4.1 磁盘吞吐量 25
4 y2 u, x2 G5 p+ [$ t' h4 n9 S- u; t% _( |# s
2.4.2 磁盘容量 252 @4 V0 `" \1 ^" l
" C/ O1 Q, s6 {* F& B; @2.4.3 内存 251 D0 v, ?9 e, [% ~
' ?* F( w* G k# U/ C5 b; \/ ?2.4.4 网络 25: i* t* O4 B5 h
+ y+ @3 s* b0 S3 T) [) O3 i9 k
2.4.5 CPU 26
& [2 J: {3 W8 {# n7 [
. `' ^- `& I' h: [& e8 L" P9 Y2.5 云端的Kafka 26
" i% @, R( y4 @9 D' v& `/ U8 D! u& I1 i( _: S/ z1 G ~7 D/ M
2.5.1 微软Azure 264 q. c+ W4 L5 q* X u
+ u5 J6 E9 M9 N. U2.5.2 AWS 26* F$ }. \) i b; R" W$ j
0 G; t' [ W9 b7 u5 e" o& t2.6 配置Kafka集群 27- T9 i$ ~( p6 E" }' V# q; P. A
# w) r$ e. z& g2.6.1 需要多少个broker 27; d9 l- z# A% s- p7 \: k
- B f4 f8 w x6 x9 U$ `+ ~7 X
2.6.2 broker配置 28: ?; n5 Q+ k: z7 x
' |8 ~0 D& ?9 w4 P) m& x t# N" A( u' o
2.6.3 操作系统调优 284 L! G/ K: z; O
/ w- q5 u6 ~9 F2 K3 l; l' J" t& e1 Y
2.7 生产环境的注意事项 31) {- S2 F& S" l% x
5 N! Z4 C0 L* {% i2.7.1 垃圾回收器选项 31' }. R1 W% ~% F- N9 v" v) x
, r" H( l0 {0 N( W8 Q+ P2 _
2.7.2 数据中心布局 32& v! S% r4 S9 D) E' B; H0 L
' w. C g0 h c- o" Z1 D# ^2.7.3 共享ZooKeeper 32
3 r* [" r# g" X6 t% I; ~3 p5 S9 ~ T- t# L- n& o3 e2 W- O# Z% m
2.8 小结 33' H* L! m& K- e( z' M: ^
4 R6 g. w' X$ T( w; w第 3 章 Kafka生产者——向Kafka写入数据 34
& ]. C, D9 B- C# F/ M
1 K1 _0 F f' \7 M' f3.1 生产者概览 35; |3 M" R# s* U
- ]* J3 n7 V3 w: ^3.2 创建 Kafka生产者 364 U/ @4 d* c9 l: r o$ l3 m& d
# a" l. b0 J7 r0 H8 O4 I& }
3.3 发送消息到Kafka 37
: e$ c% z# E8 o8 W; h0 e# O, Q1 k" l. J- ?" w
3.3.1 同步发送消息 38
4 P6 }* [7 K- I$ |% s; T8 E# E# R( `5 W
3.3.2 异步发送消息 399 j( D9 {! e* h# F& D3 z
8 c9 a" q) h2 x8 \6 p3.4 生产者配置 39
; m% H) o5 s4 J; L: ^# s
( B" Q$ A5 Z( L, }: Y7 j& s3.4.1 client.id 40
0 F9 t0 S3 b8 U; r- x R
\$ _+ `% p) N9 v3.4.2 acks 40$ N) C6 e+ f% V" b0 F( [, A5 r
; j5 ^+ g" p4 e' W4 Z
3.4.3 消息传递时间 41
! }1 d1 l0 t4 M/ r* F& N
& }5 z4 R9 X1 k" V7 ]" F! O0 l3.4.4 linger.ms 43* g8 `( C3 k+ j. x5 `7 i
9 Y6 t8 B H2 w8 d0 L Z
3.4.5 buffer.memory 43
0 L9 N$ B3 H, w& `% X" ? X! i' I# l) d- R# Y) Q- e7 {
3.4.6 compression.type 43
0 i3 t4 Q% q2 _; m4 v% ~9 M* b6 _, O* x3 ]* X
3.4.7 batch.size 43
- h V) \" T7 r& z8 T$ J3 g- b8 Q/ `
e: O1 _5 W4 V+ G3.4.8 max.in.flight.requests.per.connection 43; I* i! J1 ~0 L, Q7 W7 P: l7 I
3 ]5 g0 Q/ \! s" W3.4.9 max.request.size 44
$ C1 r7 l: u0 R! u, w( T3 [
! o* T9 @+ I o6 i! [3.4.10 receive.buffer.bytes和send.buffer.bytes 44% {6 C# B, [0 }- H
( A2 s( ?: V( W5 F3 a
3.4.11 enable.idempotence 44
8 Q) [! U6 f: i$ i/ ^5 q m+ E" J+ I& A4 a2 n3 x
3.5 序列化器 455 k( o' Y$ N/ B: U f+ l
+ l' j. B$ |$ z3.5.1 自定义序列化器 45, o% N( ?% u4 a& W
! l9 l0 K* b z/ i! a3.5.2 使用Avro序列化数据 47' D) z( [( ?# A* W8 i. W
! v; }4 b4 k6 @: w
3.5.3 在Kafka中使用Avro记录 48) A) w& q% d7 _, F$ R& A2 b9 B/ b
. ~: ? I7 } c1 X, c& o- m; r* f3.6 分区 51& Z3 d4 Z+ h* l) V+ w5 l& i+ v
' A& c- g1 ]1 h
3.7 标头 52
2 y/ |+ T* X7 y; z \, w0 @+ Y ?
8 p% E1 @. l* x. h; I, p3.8 拦截器 53+ A6 L+ P( G6 @0 K" `! {
2 G( I6 n2 I5 k: h: [0 h; K3.9 配额和节流 54/ H; `5 V/ \( X& [0 _+ F7 i4 M
3 O3 y( [8 M& n# {
3.10 小结 56
* |$ P% `8 s" B6 `
& y: c" _1 R# n7 D/ v第 4 章 Kafka消费者——从Kafka读取数据 57
/ s+ i! {# v# E, b& s
& y) g" L4 C% l! y' O+ b) c0 v4.1 Kafka消费者相关概念 57# K6 |, d; Y, l/ i
' p& r6 a( x3 }8 N5 p* }4.1.1 消费者和消费者群组 573 ^2 E- a- @ n9 {7 o: M* |
$ o0 v: c( Z; A) r
4.1.2 消费者群组和分区再均衡 60
( M. L8 a% u& J: _; Q' |8 o4 O9 B1 n0 y, L+ W# G
4.1.3 群组固定成员 62
. [$ q- \0 m9 \; X1 m2 L' }* T2 s) d+ {: o3 K0 W5 R
4.2 创建 Kafka消费者 63# X/ r" h8 ~/ A$ }% |1 Z6 X% o! A
) G+ G$ b5 R# X6 G0 V$ R4.3 订阅主题 63% ?. Z+ M. x3 Y
, H; C: N$ `3 d) J- Z- a' y* q4.4 轮询 64
/ s. j6 |* Q K, n* W' D" n% `; [4 S5 s+ P, Y% U# r
4.5 配置消费者 66$ u" F5 H3 o* g8 k' U# y: k
$ {( i0 f( _# Y& s* J% H/ e
4.5.1 fetch.min.bytes 66
, b& c& w& n9 j, h/ S
c- F" P0 T3 B: Y4.5.2 fetch.max.wait.ms 66
8 h" _; N" L7 ~& z" |
2 D* D) I* O! i3 a: N4.5.3 fetch.max.bytes 66+ S9 b- ]& W$ `2 Z2 Z
# n( `& l3 Y" Y/ }9 B
4.5.4 max.poll.records 67
! N4 M. U' y0 R+ r7 |
* E( c1 Z J7 N1 P" Q4.5.5 max.partition.fetch.bytes 678 j4 \: L7 `' \
' t- [! x0 l w7 ?; o4.5.6 session.timeout.ms和heartbeat.interval.ms 67( M m! ^# @" Z, m. l, Y
9 H% r3 i; y; [, z4.5.7 max.poll.interval.ms 675 {4 |" P) a7 E3 C: J
- T4 Y2 N. Z' L, C4.5.8 default.api.timeout.ms 68
6 I/ Q# r" A4 F9 n# A9 D" c, `/ m+ I; h
4.5.9 request.timeout.ms 68 m; F" d5 v: h) [1 ?$ I$ J
5 b V' U4 N: f4.5.10 auto.offset.reset 68' e2 z: v, ^- ^. l
/ i8 i# {! b) Q( k* s0 P4.5.11 enable.auto.commit 68
8 m$ `( ~3 N& i& c% z1 Y2 R/ u
8 N8 l; E& x$ Q+ p4.5.12 partition.assignment.strategy 68% V9 [) N; d8 x" {2 K& s7 x
- y8 h$ p& e( d# V) Z, ~7 D' i/ a4.5.13 client.id 69
l! z+ \ E2 @& E9 I3 H) t* @. |: z8 r* s0 S) R) G0 d8 C/ [6 K
4.5.14 client.rack 69
4 { N4 e2 A3 f" g' `( {0 d4 ~; l+ G) {) l# T$ W% w! m
4.5.15 group.instance.id 70
! ]5 h* h A& M9 H' |3 `, @8 [; Q! V5 A1 N
4.5.16 receive.buffer.bytes和send.buffer.bytes 70) H/ w! m3 {3 h# L. W: R, N4 R
: @7 \0 r: m: e4 J- t
4.5.17 offsets.retention.minutes 70 I! ~6 [6 [$ N7 K% ^; E
4 A( s& v( L# C5 Q: q8 R( n
4.6 提交和偏移量 70
" U$ I& B" P* o
, Y. x; U0 j5 \% ~% ?4.6.1 自动提交 71% L+ _# ~$ _" P3 ]7 d
, ]" n" H7 `. z# Z
4.6.2 提交当前偏移量 72/ V; M+ i1 Y. M/ A4 A
: y+ u+ L) i' }. H4 y! _8 @6 ~
4.6.3 异步提交 738 n/ `! X0 f$ J; ]
3 u0 U6 Y& {* r$ ]4 c& M2 j4.6.4 同步和异步组合提交 74% o0 B% {0 s6 e7 h
2 ?6 n* h& _; }9 I8 n+ Y) C
4.6.5 提交特定的偏移量 75
- ], t6 w; c' ?$ K; w5 k9 R" b. ^3 \ ]7 K/ v7 f, O" l7 c
4.7 再均衡监听器 76/ V9 K% {3 Q3 p4 V
" U' o- X/ e# K# ^! M$ g) h4.8 从特定偏移量位置读取记录 78
2 |. J9 Y9 M' K( F: Y5 H$ u8 c/ _ F5 n) ]. ]% V3 J% F U( b
4.9 如何退出 793 R$ o, M1 o4 Z+ Y, x
% _5 [4 ^3 z0 m0 w
4.10 反序列化器 80
1 X* E0 i$ D1 j: F, z/ M+ f# S' m" H5 B0 |
4.10.1 自定义反序列化器 81
$ A+ _+ m: k! V2 m9 s: \1 T1 l5 V0 {" Q& c! R
4.10.2 在消费者里使用Avro反序列器 839 @5 w5 K+ I3 S, }
8 n/ N' a* Y3 B: e
4.11 独立的消费者：为什么以及怎样使用不属于任何群组的消费者 83
/ |# z& y6 y6 @/ D7 @' g. B* y- W' I; y; F# S
4.12 小结 84) k) H( F5 [! l, A& [* u
. q2 N0 r8 `+ f( e0 ^* X第 5 章 编程式管理Kafka 85* Z; @& ^; i0 s# S
: c' f9 u6 j C6 r! v. J7 a5.1 AdminClient概览 85
) f; o5 ]5 ]! j" s+ c. X `8 `! C' t2 \' n7 Z1 r3 c
5.1.1 异步和终一致性API 86
. {# l& ~7 d2 @4 g( x% D% q, E& I7 G- H, y
5.1.2 配置参数 86& j0 h3 f" x8 R
: {9 K% E+ t8 K# V" a8 @
5.1.3 扁平的结构 86
- D: `6 e; G+ m; X3 h7 y. \3 Z5 ? [4 E: f" t, v
5.1.4 额外的话 862 |0 L! U" T. D4 E
' a: _3 Z; b# S, K' U3 G5.2 AdminClient生命周期：创建、配置和关闭 87& e( R7 E9 `. H* s* I& v- {2 k4 r
! m: [7 o4 B- `
5.2.1 client.dns.lookup 87
" C5 h. E% s x; s b6 O
+ o% e+ n3 {% y- t+ N! |5.2.2 request.timeout.ms 88# u) L o8 L1 m8 r0 `* v* A
9 N j8 v, O* Y6 ?' H* F2 m! t2 q& I$ I0 T
5.3 基本的主题管理操作 884 E. m6 M7 c8 D- a& v
. P* o# a' L9 |% J- t1 ]" y
5.4 配置管理 91. b& c9 C& j1 |8 j0 V" L% `
9 ^. s8 Q, [2 E6 c7 R( D. W9 t
5.5 消费者群组管理 92
' I" X" p& ^9 l# {: H2 B4 l2 }" |4 L* |& i
5.5.1 查看消费者群组 93
4 f1 {/ A$ I- d. M, [% n1 Z! g3 x; s- Y2 [% ^# L; e9 H# C
5.5.2 修改消费者群组 94
# Q/ K) u1 T7 q
$ k8 X! R" Z, x5 F! a5.6 集群元数据 95
; p" `- n+ d& _# T; @, E8 n/ U: B
6 B8 K: ]& H t( e5.7 高级的管理操作 96
" V) c6 U5 S1 L( F: l8 ?, B" V3 \5 L) X. V& T1 q; e$ u g @; @* D2 b
5.7.1 为主题添加分区 96
/ o! J% R5 A; [7 W1 ]0 _! E& W Z! U/ ~
5.7.2 从主题中删除消息 96
% K' S4 C" _# Q2 |" c& \) B) i6 |6 h+ A9 G( \* @0 Z
5.7.3 首领选举 97
5 g' x% a2 T* R \- T, K6 I/ F4 Q! E P; T1 ?
5.7.4 重新分配副本 981 f9 d- D V3 o; Y& x6 V
7 g% H) B6 f9 R
5.8 测试 99: Q) L9 `2 v O" i: ~ b
# g3 s8 o) J; N; e; I
5.9 小结 101! G6 M# @6 B. v! E# R5 |- u
1 D4 z- H# Y7 d8 U
第 6 章 深入Kafka 102
! }+ Q' ?* n' y: F
! q( H4 R4 q5 ?: Y3 ~" o! s6.1 集群的成员关系 102
: d5 Z+ L4 u, T6 {4 R* o, \" n6 R8 \& ^- B7 i
6.2 控制器 103
0 D2 A! Z3 c" R: G: ]
$ G, }! b+ p, e# p+ i) T- w5 }6.3 复制 1052 b- A0 n" G! z
8 g4 ~' l8 n x, ~# H4 C* z6.4 处理请求 107/ H# j+ j6 k3 _
! n, j l$ K' @
6.4.1 生产请求 109
* }2 x8 ~ F+ t9 ]% E$ d# J9 F; D5 I! A0 g: M4 L. b* [
6.4.2 获取请求 109
. J' N; q# o+ F I/ P
! y( f( H- @6 B2 O6.4.3 其他请求 111
+ k) K- G* n3 S v3 b7 _
! R( Q m6 {# a6 g5 m6.5 物理存储 112
6 A' Z' l; ]5 y% Q% ^$ h3 N2 w% ^5 ?; Y6 x- u
6.5.1 分层存储 113
/ F. ?) J* }: d! k3 k+ d1 ^6 e5 U, p3 `; T$ g# m* c
6.5.2 分区的分配 114
3 f( |5 |8 i7 I% u2 F( H3 B- X5 E$ h
6.5.3 文件管理 115) f" {9 ?3 p. L+ g3 _
$ g1 n+ L% Q! U2 d6 `6.5.4 文件格式 1153 Y9 W8 T1 D& L I | U
$ n, H; U. {$ [1 }6.5.5 索引 117
- d5 p! g& w- `1 M( J( d3 V/ q, _; T
6.5.6 压实 117
- j) K( Z* N" q( i* \7 e9 V* ?3 \: `5 z+ A, p4 x) C
6.5.7 压实的工作原理 118
' @ V- N$ R* O) @5 S$ p+ y) [' ~
7 U" u/ X+ J6 C- S( c/ F6.5.8 被删除的事件 119
& f/ ^4 y, g$ c, h6 q5 ~6 g K5 K. t3 q2 B& w+ e
6.5.9 何时会压实主题 119( ?6 B( M c5 E( b' d
! K/ K& Z' A0 t0 M8 f4 c+ Z
6.6 小结 1206 \/ Y+ e. d6 C9 e1 U! S V7 ?" ]
3 v4 T: B9 H' @+ Y8 A, x4 h
第 7 章 可靠的数据传递 121
% k' y- Q) [9 W$ Q0 {$ f7 C( a# Q& l3 ~7 n; @: M
7.1 可靠性保证 1213 f* N4 L. _) D! G" u3 |6 t) T* T) e
7 f. U& K3 @( f! d' p( y7.2 复制 122
. I# r, ~! j1 O: j( e" s3 F% `# V- m
7.3 broker配置 123
# f. A6 F5 \0 |/ p3 I! _
7 }1 k8 {( o" [' z6 k7.3.1 复制系数 123
& U/ s1 K; @, X8 r9 m9 X0 F) [& j
7.3.2 不彻底的首领选举 125
6 ~) Y: T& _" | _2 o# Z: M W+ x, i, f! q, u
7.3.3 少同步副本 126- M6 ^# D% y4 v& `, Y& [
5 `3 ]6 H9 z' `) d
7.3.4 保持副本同步 126
: V+ g2 V9 u+ o- g% f) Y6 a# Y# c2 h' [ {" |7 w
7.3.5 持久化到磁盘 126/ K( n8 C& F" \: A
/ n. e6 S& g7 J P, E& A
7.4 在可靠的系统中使用生产者 127
6 r. z2 ?$ [/ X- Y) f% q, K& P
/ t5 }# U7 i$ w" }" s7.4.1 发送确认 127$ o; _4 ?9 E! h" Q8 S
0 B2 f/ E2 `) H7 T I' F4 G- ?% T7.4.2 配置生产者的重试参数 1283 v% R% J* a: |! }* o
l" w3 ^, O v2 u8 ?( K7.4.3 额外的错误处理 129
8 [/ B5 I7 F1 e, d, f. G" E9 I& w& q
g+ f* f+ L F9 n/ Z$ P7.5 在可靠的系统中使用消费者 129
4 i6 g* f; w; I$ B8 U5 e6 |& c, |3 `! P0 B) S
7.5.1 消费者的可靠性配置 130
- x- Z* _6 q- J7 B6 X' ?1 y. h& @- c" h$ y
7.5.2 手动提交偏移量 130" Z9 u, t1 S- v& i
0 Y1 P2 G: B! L, t/ Y* ?& W% f3 @, v
7.6 验证系统可靠性 1329 S. m: O8 Y: x, o1 i6 r
N9 z9 A; y T! i) a" |7.6.1 验证配置 132
4 m- o, ^/ G" E- F2 e4 z S' J
6 S& d8 D7 G1 y" D6 L7.6.2 验证应用程序 1333 N7 J; N$ `, a$ P
9 e, ~& P$ S B8 \6 t2 y. Q7.6.3 在生产环境中监控可靠性 133
# j9 d0 x3 r$ k" W( p, l& Q i* E. Z& @$ g% R
7.7 小结 134
- M* q+ {: J# Q) f( f( F
& v0 A: u4 {# P- k3 K4 B第 8 章 精确一次性语义 135
* z4 V' Q! V. v$ A
# ]: c A# M: h( ~/ t# r8.1 幂等生产者 1357 ^ O. s3 ?$ y/ W+ ]
, v o; i: U8 O1 r8 f8.1.1 幂等生产者的工作原理 136' U# G' F3 q3 V9 R R8 J) _
2 H3 c2 I' }! {) |- l8 Y$ @$ u, O; a8.1.2 幂等生产者的局限性 137( L5 |; v' U) g8 w) T
, }! v9 d0 p5 m. p" k8.1.3 如何使用幂等生产者 138& z7 K1 K: e. D, k3 h% E) F: t
% Z, b! y6 I a4 f8.2 事务 138# `1 b& {/ {0 e, a5 [1 u, s( B
' ]1 z! {+ m( u3 q9 s1 y I
8.2.1 事务的应用场景 139
! q( Q5 ?3 z' Z* G0 O, x
* K3 B% l( L8 ]8 s1 ^$ R# S0 P8.2.2 事务可以解决哪些问题 139
$ p- e5 L0 g" C5 _$ P! v2 m1 v1 |7 H: @ o; `$ y
8.2.3 事务是如何保证精确一次性的 140
% V% O! F3 v8 y$ E4 \# x; h! P' r, [7 d: e
8.2.4 事务不能解决哪些问题 141
$ e. x B* K5 {% \% g, k+ k
* r' m) M6 \" F% f6 e8.2.5 如何使用事务 143+ Z" |- N+ V; t; a
" q' }/ w; r$ R4 a" d4 O3 F) D6 b9 [8.2.6 事务ID和隔离 145
. O% [% `" Z# ?
9 @0 F; ]$ l7 u* M8.2.7 事务的工作原理 146! r9 T1 R6 d* H0 @" V& k7 h6 l
% ]# y/ U% m( [) t3 H: C9 }* E; ?7 l8.3 事务的性能 148
# w3 C7 |0 F+ Y9 V$ |; F: l* N) k I, d. {" i3 j
8.4 小结 148
) N4 j/ U7 S! u u; c1 b+ G% X7 j
5 A4 y9 {; n$ }$ t% r第 9 章 构建数据管道 149: x& G) T5 W, B% E" k
, T2 [; K/ m: L4 o7 x' V' E. W7 Y I
9.1 构建数据管道时需要考虑的问题 150
" j; o* [7 ^/ @2 c( ?& w& G6 \) W/ K3 J, u, f- o. N7 t f W
9.1.1 及时性 1502 t, b& B q. A2 Z
. w6 g! _2 P( h5 d5 @4 v9.1.2 可靠性 150% T. y/ i, T+ W. P! C0 i K
& X' L6 F' y3 x3 x6 J, x1 P e. E9.1.3 高吞吐量和动态吞吐量 151
& Q* ^4 \8 B/ l7 E9 C9 Z- B5 Q H6 J/ {# q! v0 V0 e2 l, ~
9.1.4 数据格式 151
% R* s; W* l) A; A
' T1 @8 ]! `$ I; i+ ~! Y, z0 u- P/ L9.1.5 转换 152
9 w6 a' F* O: p t
$ t- K- ?( D) F3 j9 i9 G3 @ F2 D% X9.1.6 安全性 152
0 z5 r& j9 A7 Q' f1 c7 D1 ?" e
; Z! R+ ?6 f1 m5 l2 Y y( ~9.1.7 故障处理 153# i- e& N W( D/ n7 D+ B6 B% p
; ^; n& G8 w# C
9.1.8 耦合性和灵活性 153) h# q6 V! t" N3 B! A
* ]% i) ^, n* F4 F) e8 j8 I \
9.2 何时使用Connect API或客户端API 154
+ d/ Z' ? {" X r. j
, G" E; g" y$ J8 \- u4 j) B9.3 Kafka Connect 154
7 P% U( h& |" M4 B; u6 j$ }5 H( }
9.3.1 运行Connect 155 y; w; ]4 E5 u- u6 A2 W W
3 G# f: K& F3 q n3 \/ d6 ]/ v9.3.2 连接器示例：文件数据源和文件数据池 157
9 j; Z# I; X- ]: V0 V" `
6 w2 B/ {- i& k9 i i3 U; E- |, p+ R9.3.3 连接器示例：从MySQL到ElasticSearch 159& Y% g9 w3 h" A; M6 @5 S1 V
/ t V: U7 E v+ |: _8 e9.3.4 单一消息转换 164' A6 ?: W9 j) p6 }1 T$ ^+ c
# D! b8 D+ J' i) O- G4 H
9.3.5 深入理解Connect 1674 f* v a3 l ^) l4 A
! n) y4 e* G6 V4 M. P
9.4 Connect之外的选择 169
}. @# l% J: l2 o% G$ t4 y+ F4 A2 o3 r% u- A0 A
9.4.1 其他数据存储系统的数据摄入框架 169
! N [, R, q. a1 z% d7 t
# z/ c+ S0 F b9.4.2 基于图形界面的ETL工具 169
- Q8 Q. \; u+ Y& e
+ S1 [4 Q( N+ a3 c9.4.3 流式处理框架 170" V* c9 O7 i9 ~6 E" L$ e
( q. k# X/ N6 { g9.5 小结 170
% {" Y$ m; \$ i1 ]- I1 x, c- }# a0 U3 `2 \9 C! w/ T& B; F* p: Z. p
第 10 章 跨集群数据镜像 1717 R# m: X: r1 t8 N4 V7 a
/ A( T$ K! w( [10.1 跨集群镜像的应用场景 1715 R: | w- T+ C/ S! x- E7 E
/ J, z y) I3 z7 P# G, v( ~* H4 v. Z/ T10.2 多集群架构 1728 V/ ?( o- _4 s( B: K/ }
) X7 X8 h( E2 r/ O! q* n
10.2.1 跨数据中心通信的一些现实情况 173
" m$ d; e) _6 V- w) i: }$ l% P9 s% P) v
10.2.2 星型架构 173
! c# {, v, [/ j9 V2 M* P" i' ]! x. R
10.2.3 双活架构 1757 A. X/ e, H" ~: E; L0 s9 M
$ `, {7 D" \+ m# T
10.2.4 主备架构 1763 c6 }$ C' w. U
0 G" @( A L1 b' G10.2.5 延展集群 180
* ?+ M8 B* J4 W4 {9 b8 _
+ i0 H& v4 _" n10.3 MirrorMaker 181
, ?7 _% U5 w B- r& L' K* E o6 K( l S( b, V+ U- |1 Y" v) F
10.3.1 配置MirrorMaker 183
7 h! }! E5 ]3 f. B1 @
: Z6 U, c" o K" Q. F7 r10.3.2 多集群复制拓扑 184/ b* _6 L% }6 F, a6 U3 l1 C
$ U6 x) G1 \# Y Q H1 C- f10.3.3 保护MirrorMaker 185
4 {" R# b* M5 _1 K: U0 J0 f' C. P
. F# u S* X4 T% d! z( T10.3.4 在生产环境中部署MirrorMaker 186; q5 @8 @4 J2 w/ B2 Y
" ^" Z0 h7 o( c1 Y
10.3.5 MirrorMaker调优 189" M0 m, s( e: |* W& X% Y. |3 d
. b$ G! r" }: f( f+ W/ V* B
10.4 其他跨集群镜像方案 190
, {5 e m3 j# l- ^2 Y) E; h2 j q& ?% j
10.4.1 Uber的uReplicator 190
" @! w/ P& Z, F7 ~, c* N6 ? G( T6 M7 c5 K6 Q8 t- s$ V
10.4.2 LinkedIn的Brooklin 191' A# D) v) A$ S9 d
/ l: T0 k( W0 O" s
10.4.3 Confluent的跨数据中心镜像解决方案 191. i) Z; g0 a; Z( \: d
- N5 e/ g1 v& _5 L$ l- m& h10.5 小结 193
& W* [. F A0 }9 y3 Y: p* E8 D4 h0 o: B! c, G3 M) a0 M& D" K
第 11 章 保护Kafka 194
* p A' S2 K/ |" F2 N( I% y- c' \/ s; O( N
11.1 锁住 Kafka 194
. A- J. t* i& w/ D* X. _/ D" ]2 W S8 s4 Y4 l. ~
11.2 安全协议 1963 D5 J9 B: L3 G) O
+ z% o" X. j% |$ `$ f11.3 身份验证 197
/ K7 h: O, r9 C0 t! l3 X
; U& k& H1 R) y. E, ^ }4 I11.3.1 SSL 198$ r* A7 |7 K2 }/ ^! N/ O
5 C& G! V. z, i+ p
11.3.2 SASL 2014 F3 q; e9 U+ M* M3 h7 L( O- u" r/ G
! g3 v, w1 A2 {6 C11.3.3 重新认证 210
+ Q8 \2 n# F# j7 y, d- B: ?$ M8 A' y
: F* [8 K( M1 T* _11.3.4 安全更新不停机 211
) p+ g1 w( |+ ^3 U$ E* d% u1 ~. K8 U7 g5 M# Q3 ]+ D
11.4 加密 2125 m. ^7 W* M8 C
6 p' H* r- d% V" {5 [11.5 授权 214. n; F I" R! q0 c6 x' q( q1 G
& \9 ^# b9 g. |! {11.5.1 AclAuthorizer 214
4 g' k w( t& P$ L# J" M
; \5 U" L b/ v g) s11.5.2 自定义授权 217
3 a- D5 y! k% H. w- k9 Q7 d8 C2 E5 w% z B
11.5.3 安全方面的考虑 219$ j- p. _1 k3 P9 P
: {. `9 M+ l, e" X* B11.6 审计 219
* ~# e8 q4 B1 [% ]0 k% }/ H! w/ ^ D. S4 `% l$ t$ [
11.7 保护ZooKeeper 2203 a) i* G3 }: f3 A# \
+ Z+ r! i. d0 D5 c- x
11.7.1 SASL 220
& I8 {2 P8 p( r0 \. a. `4 [
" T6 E$ J0 ]/ o- ^" B. E: d11.7.2 SSL 221% q p9 _, q# p7 y( Y; c8 D4 C
9 z4 t. t! k# S4 h, j. h
11.7.3 授权 2213 \/ C* f$ Y. }( X
9 K S% O# v ]* k* L11.8 保护平台 222
3 _% i0 F; U$ M2 n: s. q7 U
3 t* U# l0 p) _( w3 I11.9 小结 223. v. Q2 w) u) {" r6 t: d
0 f6 M1 `2 z0 L! m* ~4 E
第 12 章 管理Kafka 2250 U1 k* ~6 h/ y& q0 S. O
, G8 c# y# i+ R2 ^12.1 主题操作 225
* p, r( W) @ Q1 {7 H5 B3 {- b$ s6 b
12.1.1 创建新主题 226
( V* n, B! X7 V4 e c' k! M. a1 t3 `' C5 q4 P
12.1.2 列出集群中的所有主题 227
1 @' E6 L& \3 y* k" W: ], z% L2 m' k( a- u
12.1.3 列出主题详情 227* |, Q/ Y* A+ j) s5 P1 O
; h6 H3 U5 F" B, X0 h. l0 r; t12.1.4 增加分区 228/ B$ j' U# W3 U/ d
7 E7 J0 m" R! T2 C. w( H12.1.5 减少分区 229
. x7 x8 @/ V8 t% K% w Z, R
1 A$ I# t% O3 I- |5 j7 z, {12.1.6 删除主题 229+ g: [6 N; @# S
/ w5 M2 d+ m5 E3 C, _12.2 消费者群组 230
& f- L2 Z/ v+ |, ]/ D$ M q0 S- S3 N! s7 _; E0 K* F5 n
12.2.1 列出并描述消费者群组信息 230! }& }2 \8 c: q5 T- v0 z2 h, \
8 v0 z- n% G8 }( P3 B8 }9 P8 n
12.2.2 删除消费者群组 231: F4 D) {6 H9 }8 E
8 {2 g7 d5 [- t3 x0 A
12.2.3 偏移量管理 232
& `# U8 K6 _& g. z4 S" K
3 L9 A9 P' t; W% u3 v5 @12.3 动态配置变更 2330 x3 J5 M$ n7 V
- T: d$ Q6 w! G! k! \# D12.3.1 覆盖主题的默认配置 233
8 {' X3 P' t' X/ Q7 q# n
1 L- F- b1 x( Z3 G/ f4 h+ O12.3.2 覆盖客户端和用户的默认配置 234' d$ ?- |. _# {' i/ x3 a
5 s5 b( d5 {6 k; v/ N8 c6 `9 ]
12.3.3 覆盖broker的默认配置 235& P; v1 S7 Z0 [" s5 j
. G% ]. k4 ?; ]5 G8 a12.3.4 查看被覆盖的配置 236
2 ]- u# E! A6 T0 {: n+ m, M9 e/ h* v; Q P. n+ @+ Y8 U9 q6 X) ]
12.3.5 移除被覆盖的配置 236
3 w5 N& z, n! _% c, W% z+ i/ n8 P' W& v8 |3 B- _ n7 I9 r
12.4 生产和消费 236
2 {$ M' k# }2 c( l2 R. t& \) I4 c. T. S1 y& w7 d
12.4.1 控制台生产者 2372 p6 v0 B) R- ]% J1 S% B1 {
. N8 @ S! E2 ^6 E" G& K, S
12.4.2 控制台消费者 238
& `8 b6 ?. x" @# n1 r3 A6 E" v! k8 r4 q
12.5 分区管理 2417 @+ W: [! ^! j- D% F# N
) T6 m/ ~9 k2 k5 u8 l- B! p12.5.1 首领选举 241/ L e4 N2 e7 F& h+ b
7 g" e! t) q9 |3 `* W12.5.2 修改分区的副本 242
C! r" H( W; _2 D) `2 \( ] e- A/ b- _8 Q# u N: g( ]
12.5.3 转储日志片段 246
# G, N- A$ C% }" m4 P
, i, G& }, w. [* y) C12.5.4 副本验证 248, {/ J3 D2 g% G8 Q. O. y
9 Q9 w. a. Q" _1 g# a
12.6 其他工具 248
5 S. j/ y1 u# v3 Z; x4 X+ _
- |; M$ Z" N: `4 x( }12.7 不安全的操作 249
* J0 k7 g2 F# O# r5 d+ x
# Z1 y3 {! e: `, E0 p* `; O1 Y12.7.1 移动集群控制器 249
1 g9 Y% q% f7 G6 v
4 @$ @7 h8 {, ]$ Y0 m1 T12.7.2 移除待删除的主题 249
$ q" w \5 i# v
* T$ o- S3 d1 x* v, O0 k: }12.7.3 手动删除主题 250" }6 L) u7 o& D* S+ C. F& U
0 a' b2 u1 ?9 O9 _2 l3 e: j12.8 小结 250
8 r( o% Q" C$ m
, v, r4 U. t+ l第 13 章 监控Kafka 251/ W) S# P0 h3 D u
. K- q( G; r1 r# P) X! N$ \( A: I
13.1 指标基础 2519 T9 i6 o& y8 M9 k
3 i' B5 ?+ c! r; t. ^
13.1.1 指标来自哪里 251
5 |7 N H: \. s
! V y/ Q! C) D J. p13.1.2 需要哪些指标 252
+ k9 b% g* i: h b8 G/ G7 p. L! k) c R( K( n+ ~
13.1.3 应用程序健康检测 253- f9 X7 ^: N/ E! y$ \* q
/ H* Y* [* P% R
13.2 服务级别目标 2540 ?/ j9 d. O( o* I+ }! R8 H( W9 X/ E
8 f; e% u& h/ x U7 i4 J. r
13.2.1 服务级别定义 2546 w. n, Y) J2 e0 L
/ f( l6 A, Y6 g! y0 x13.2.2 哪些指标是好的SLI 2553 N+ ]: E& E# M2 i4 c5 x# x
$ A! C4 y1 U9 A4 }, P; W% G
13.2.3 将SLO用于告警 2553 o/ y6 H6 z) N+ R4 r2 C
# ~! E2 V8 S9 y* z% {: L
13.3 broker的指标 256
/ O# C7 \/ f N, ?# b& `! D% A1 F9 m7 l
13.3.1 诊断集群问题 257
! f$ D% ~1 i' D1 g8 V* b3 b" K; W) J8 I7 R# Q. w
13.3.2 非同步分区的艺术 257
/ g2 U& L7 I8 i& L2 M+ I' _
0 y: C) f8 m' H- I9 f" C13.3.3 broker指标 261. j" [; t, P* ~
0 K6 V. E% T5 a: @8 d7 m o13.3.4 主题的指标和分区的指标 268* J8 g/ t4 y+ G- s- e- L, a' w U e
7 ]+ R7 j% D$ }* ^
13.3.5 Java虚拟机监控 269
# x7 F, ]# L% p j; c: e: n9 } D7 p. x- ]1 X/ J: }+ l
13.3.6 操作系统监控 2707 _. `% w+ M F8 _
. x: F2 s' D5 T0 J0 N7 |' Y. v13.3.7 日志 272
( o9 q$ A O X# \ S, J* `% k! d6 s( x2 ]4 Q
13.4 客户端监控 2720 Z% s/ E6 {- H, N1 t" w2 p' v
1 }/ S6 ^) L5 s7 l5 W+ y
13.4.1 生产者指标 2727 {. Q9 y. R( C T
; q( b0 m7 E5 h, k ]0 N- U13.4.2 消费者指标 2741 T% M! U1 ?0 d
. ~8 p! ^+ |6 D6 }; J1 O' S2 ^
13.4.3 配额 276
; Y* s( j5 K/ h: Q$ m, T
B3 ?# \( u+ j7 S6 ?' l( k: h13.5 滞后监控 2774 L) e5 v! Y3 }+ f
. g. U Z1 G' v: ^13.6 端到端监控 277
6 a! G# }# l3 O# Y% i
: ^8 Q) Q! N# a5 l1 A& j13.7 小结 278
% S3 {3 e8 ~! Z) r2 c
# V* e2 |# b' {$ \第 14 章 流式处理 2795 K$ `5 K$ `4 P: T6 |# g
) _( a, u& w6 B2 z. g/ ~
14.1 什么是流式处理 280& H7 X/ L) _9 A& ^6 e
! F, `5 q& D p9 ~& z& r9 B* T. D7 }
14.2 流式处理相关概念 282
/ k7 d* H( i9 G' m( K4 E) T/ a3 U( z/ X* f' F- z( f F
14.2.1 拓扑 282
: x+ v; K4 M, F- A4 |1 [* ^( x
- i, W$ }0 O) X2 a0 L2 l14.2.2 时间 282
; F" a9 m: W1 |8 ]* t% }# ~8 {
0 G; G& A+ z/ h( {14.2.3 状态 284) a9 N, y P/ D5 l& [$ a* V
, [$ s: _5 j9 e O7 r
14.2.4 流和表 284
6 Y. l2 v9 w! D. _: T! V4 M- V0 L3 c( P2 ]. {- W' ^
14.2.5 时间窗口 285 n, H8 i5 A/ F# _
- g/ W" U0 b! l& l, K' m
14.2.6 处理保证 287
" i- O) B8 z/ w. q& M- _1 T6 s+ Q# b) N9 O" D, X
14.3 流式处理设计模式 287: i) p6 }; ` [
- k' P6 k& ^; M) p, v# J6 z14.3.1 单事件处理 287, m! b7 ~2 |% a9 q) O
h/ E2 N0 n0 {0 d3 w% h% H14.3.2 使用本地状态 288( ?- ^! `2 \0 i% Z+ P/ O
% E: P/ d {/ |# _- R& W' u
14.3.3 多阶段处理和重分区 2898 z3 {6 i7 q& ~+ m n+ r m1 Z
5 Q% G! y/ A9 z% p ]3 t7 R/ F
14.3.4 使用外部查找：流和表的连接 290
S/ I' y- B( |( }4 C
" X/ {% N- v2 J Z8 h1 p; e14.3.5 表与表的连接 291) g9 t! n u; S* q/ x, `
- r% d4 }& T, x14.3.6 流与流的连接 2917 e1 t" z) S$ |, l3 y
% j6 `$ ~8 d, q' x) h' Q+ {
14.3.7 乱序事件 292
L3 k, o2 }% B" S* ?- M
# z3 ?" w0 G8 l" L, {9 q: b14.3.8 重新处理 293' I; Y8 K: k5 T% e% [; l0 q# P
! r5 _& h8 ? o% o( Q
14.3.9 交互式查询 294
4 P0 w' x& U( W/ o9 t* s" j
/ O6 r5 y& [& Q& o/ f8 |14.4 Streams示例 294
2 K* }: R% M: Q8 i
J0 U7 c4 z& E) h14.4.1 字数统计 294+ y" ~8 n1 J8 s- f) H' c9 a
+ v( |) ]4 |4 @3 {3 b1 ~$ m
14.4.2 股票市场统计 296/ Y# u" B3 @9 g+ {
' j! ?. f4 D7 O: ~' U4 c+ i( p/ Z) c
14.4.3 填充点击事件流 298
& _! e ~% ]6 S" S; i8 [1 ] t+ i- {6 f) E! B, R; F& G6 z
14.5 Streams架构概览 3004 l. v2 \( e) ^; K F
' f0 N3 B4 F" J6 Q1 x% L7 k14.5.1 构建拓扑 300& Z' R! N3 ~) T$ C! ]
% _" d* N( P! H
14.5.2 优化拓扑 301
E- A) ^" Z% C. P; H
: r4 v! x- c1 s14.5.3 测试拓扑 3013 j1 [' K3 G9 V6 _ P+ N- _9 C4 t) ~
! `( t- o) Q, z+ U2 j
14.5.4 扩展拓扑 3021 {. _5 F& F3 e1 L
java8.com) O' Y' t( S- C' |7 G& h0 X/ x( s; U% T
14.5.5 在故障中存活下来 304
! t: b% g4 _# F$ S- z, D
# v" k( S( \9 O+ Z14.6 流式处理应用场景 305
. ~. e. @$ |0 p( K+ Q, p* ~& T- E" x* g/ y/ H
14.7 如何选择流式处理框架 306
+ d0 R2 u& D& v5 L) r) W( t9 ]
: r8 n9 j0 Y0 j5 b14.8 小结 307
5 ]0 [2 H/ z6 C, d, M1 q7 _9 m: t# U( X+ [
附录 A 在其他操作系统中安装Kafka 309! m$ X3 O+ Y/ ~3 z
3 @) k! j5 \1 ?# V+ j/ M5 B" V2 b
附录 B 其他Kafka工具 314' D I+ t6 u8 w1 T5 K4 O5 w" t
H! `+ T* q) x* C( ]) ~
, \/ a5 R% t% k
2 m1 n& o. ~# F0 t) s' F" t4 i% s: Y; A6 Q
( D. o, N3 P0 s/ f, N
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
|
电子书
387 人阅读
|
34 人回复
|
2024-03-14
