Kafka权威指南（第2版） PDF 电子书 X0186

java8

Java电子书：Kafka权威指南（第2版）  PDF 电子书 Java吧 java8.com
& a# g! a; e4 L5 A$ e% a% Q2 p
作者:格温·沙皮拉（Gwen Shapira），[美] 托德·帕利诺（Todd出版社:人民邮电出版社出版时间:2022年11月
: b  U, V; f$ j; C) R3 A
编号：166-Java吧资源免费-X0186【Java吧 java8.com】


7 O  b/ c; o/ E" A& Y$ @' ]2 v1 I
目录：
% E% A! I; j6 w7 `: ]6 j

本书赞誉 xvii

# `$ u& b$ S! O第 2 版序 xix
; X% x, y! s7 x; Z! ~" L5 d& w" s
第 1 版序 xxi

前言 xxiii
8 @+ Z( t3 |2 j1 {# ?/ [# r" ]
  W7 y4 M; l* ?# H第 1 章 初识Kafka 1

- `+ O; T0 o$ ~0 n  a1.1　发布与订阅消息系统 1

& M/ K' s# E& F8 e  o4 d; J1.1.1　如何开始 2
- S1 A( V7 ~8 t% z0 s
' m  j1 Z+ u6 K4 f8 `1.1.2　独立的队列系统 3
# z# S# a" N7 |/ W
: h2 I+ C% x' t: S8 t: x# e1 Q. A1.2 Kafka登场 3

1.2.1　消息和批次 4

1.2.2　模式 4

) E' J# x: _1 e6 T3 F+ f1.2.3　主题和分区 4
: D) ^! T* I& g/ s
1.2.4　生产者和消费者 5
9 K* c; L& w0 y. T8 r
1.2.5 broker和集群 6

! J# `" {& Q5 t6 \1.2.6　多集群 7
: _+ C" P: V( {% \+ L
3 Y, g+ R8 n# k% ~# @1 K  W1.3　为什么选择Kafka 8

5 Y/ e! U; ~2 E. c5 k# F1 Y% O1.3.1　多个生产者 8

) B0 f9 ]% c$ z& z7 Y1.3.2　多个消费者 8
+ n2 D! G/ L3 [% [2 @, r
& d' v* v- U- \9 A1.3.3　基于磁盘的数据保留 9

1.3.4　伸缩性 9
$ Y5 X! X+ I( z6 J) \
0 I6 |/ R- f8 F- O0 z- m. n& K1.3.5　高性能 9

1.3.6　平台特性 9

# w$ _# J2 V9 g1 f" e+ G1.4　数据生态系统 9

1.5　起源故事 11

1.5.1 LinkedIn的问题 11

  f8 S+ O5 s' G5 I9 K( w1.5.2 Kafka的诞生 12

8 _; O. M4 r: ~1.5.3　走向开源 12

1.5.4　商业化 13

9 \- \( K3 L# t% C- e1.5.5　命名 13
- x4 h0 H0 v/ R( T8 @* O8 d* ?, g
6 i+ y2 C1 E7 H( d: k4 {1.6　开始Kafka之旅 13
+ S; S: R: R. x7 ], a. d
  a8 N6 D' p' m第 2 章 安装Kafka 14
% \' }) B# P- B/ v' K% U1 ?8 o
2.1　环境配置 14

& |4 Z& y& N  ~9 s6 t( m2.1.1　选择操作系统 14

2.1.2　安装Java 14

2.1.3　安装ZooKeeper 15
( W0 y) c1 ]3 i# z& T5 |
2.2　安装broker 17

! F4 h" `8 @( m' `0 I2.3　配置broker 18
1 u8 r+ J; U3 R3 v( R, g( O
2.3.1　常规配置参数 18
# J1 ]+ W, i0 S# W
( v3 K& u2 m& `4 I" `) ]2.3.2　主题的默认配置 20

2.4　选择硬件 24

! }& Q5 ]+ T' Q4 x; _2.4.1　磁盘吞吐量 25

2.4.2　磁盘容量 25
- L0 k) Q* \1 k# _
2.4.3　内存 25

, \/ [. q: H! q: l; R+ v2.4.4　网络 25
2 v( b. K1 B' @0 p/ T
$ H' D7 t: s6 m, E3 z5 a7 ~2.4.5 CPU 26
0 U0 \0 ^( G/ ]0 d4 Z2 [0 b( ]. y. g
9 R8 P# u3 P5 L: s) \: z. B0 A2.5　云端的Kafka 26

1 a3 V0 Z: ?; c& N& H: a5 I  [2.5.1　微软Azure 26
, N2 o$ \! f( [# ^1 u; j
1 O5 e6 _0 J0 O! q+ U% Q$ b2.5.2 AWS 26
( K7 Q' z0 v: m8 |2 N
: w/ b" T) b, c, i% }2.6　配置Kafka集群 27

4 g; C* A" Q( y; s, A; T. k. R. R2.6.1　需要多少个broker 27

6 Y$ @3 n# i+ c8 ]2.6.2 broker配置 28

, Y: c0 K! G! }% g2.6.3　操作系统调优 28
  U3 {2 M- C4 \  a2 x, w' ?/ U- y8 l
4 M5 V. x- x# Z0 u; e- D% V' _7 C$ M0 V2.7　生产环境的注意事项 31
4 l: u$ F2 L% U; |
$ Z; ~1 H! v" ?6 t6 t2.7.1　垃圾回收器选项 31

; ^5 p5 z% {; I! V; e- Z7 _" Q6 s  g2.7.2　数据中心布局 32

* _. p$ Y8 N, v7 C: N- g2.7.3　共享ZooKeeper 32

, `( c) O, b! b2.8　小结 33
- `( k8 g, h0 }
# ]- E4 v- B% Y9 \* x第 3 章 Kafka生产者——向Kafka写入数据 34
  A# v& {2 t8 e! b) _- u) t+ D
3.1　生产者概览 35

) O* M; Z' b. s  W: d9 E4 x3.2　创建 Kafka生产者 36

3.3　发送消息到Kafka 37

& a. s( _5 J1 Z# @+ ?/ s3.3.1　同步发送消息 38

3.3.2　异步发送消息 39

3.4　生产者配置 39

3.4.1 client.id 40
7 Q5 @* E3 d% R# K/ f$ e
% x; ?/ e  _" g: U! N3.4.2 acks 40

6 [" {2 }7 J  o4 }  O4 G) k7 @3.4.3　消息传递时间 41

+ B# p1 ?! R) W5 J- U3.4.4 linger.ms 43

3.4.5 buffer.memory 43
* m, p) N) \$ w$ t5 m
! \$ @7 ^! I, g8 y$ Y! w" g3.4.6 compression.type 43

3.4.7 batch.size 43

' k8 @/ C# t% i& I, D3 m3.4.8 max.in.flight.requests.per.connection 43

3.4.9 max.request.size 44

2 W: \, K9 s0 p1 P/ n6 Y3.4.10 receive.buffer.bytes和send.buffer.bytes 44
0 g; Y6 Z! b# E9 U5 g
; h0 w8 Z! z: i* f/ |. Z. S3.4.11 enable.idempotence 44
4 Q, [  [1 [0 v# B0 X# V, {
2 X) Y5 y2 Q: p3 F: z6 j: f3.5　序列化器 45

3.5.1　自定义序列化器 45

3.5.2　使用Avro序列化数据 47

5 s- x  o3 W6 P; S3.5.3　在Kafka中使用Avro记录 48
! [: k( X- X$ g
6 s& J" S4 o; j* a2 Z6 A- X3.6　分区 51

3.7　标头 52
& e( l, r$ u( R; _3 ^& M4 B3 h( P
3.8　拦截器 53

3.9　配额和节流 54
0 [( P) ?4 A, w0 z+ |; K  _3 N
3.10　小结 56
" Q3 [5 {2 I0 z+ n4 v: L' T
# N: o* P/ l9 \4 R, l% s8 k第 4 章 Kafka消费者——从Kafka读取数据 57
' `3 e+ o! L, E: h% j5 ?
4 {3 e: U. p4 K% v# D4.1 Kafka消费者相关概念 57
0 s' D$ n/ w* G
4 M: ^, w+ k( ]' N# o* s4.1.1　消费者和消费者群组 57

4.1.2　消费者群组和分区再均衡 60
5 `3 I; c! O' j9 l- `' i* X
4.1.3　群组固定成员 62

4.2　创建 Kafka消费者 63

# V' `9 E+ ]% n5 K; \0 X9 q4.3　订阅主题 63

" L4 X- M! R( Q( A( a; _4 H4.4　轮询 64

" l+ n) @  ?5 I. t6 m& v4.5　配置消费者 66
+ y0 u4 H( v) [9 Z
* U& @: v5 l; \7 l4.5.1 fetch.min.bytes 66

4.5.2 fetch.max.wait.ms 66

# |& ~5 J2 A& q7 v2 C3 Z/ D4.5.3 fetch.max.bytes 66
$ q9 y* C# B' Z: C
4.5.4 max.poll.records 67

4.5.5 max.partition.fetch.bytes 67
# r' d) A' S7 h( k
4.5.6 session.timeout.ms和heartbeat.interval.ms 67

+ V7 Y( B, a5 L8 T+ m) R% |% A. R4.5.7 max.poll.interval.ms 67
; w$ M3 f9 W+ |3 f" G5 J- _/ P
+ ]; g: k3 O& `% }4.5.8 default.api.timeout.ms 68

( L5 E# [$ `" O1 f+ |$ \, A" Q4.5.9 request.timeout.ms 68

9 c8 a1 X3 V* n! K4.5.10 auto.offset.reset 68
7 s& C" q$ ]0 J7 ^% X/ k! ~
. j, M' |. d# c  r- ^& @3 w4.5.11 enable.auto.commit 68

  p3 Y" m! v0 V6 [: x7 c4.5.12 partition.assignment.strategy 68

4.5.13 client.id 69
" h3 R! q( U. F8 K  H' \
4.5.14 client.rack 69

. L- Y: V+ @  s9 D  T: Q) ~4.5.15 group.instance.id 70

4.5.16 receive.buffer.bytes和send.buffer.bytes 70

4.5.17 offsets.retention.minutes 70
- M2 a3 Z& \; l- S" p! X# s5 [
4.6　提交和偏移量 70
) E. X  \# p. h
4.6.1　自动提交 71
  A2 R& G6 ?3 ?& z. [
) j3 C/ m. U# N, J5 w: \4.6.2　提交当前偏移量 72

4.6.3　异步提交 73

4.6.4　同步和异步组合提交 74

4.6.5　提交特定的偏移量 75
. ~# _9 a( }& ~
4.7　再均衡监听器 76
; w& v0 @( j; Q, Z+ E, h3 n
4.8　从特定偏移量位置读取记录 78

/ E# x& G2 A( A' ?4.9　如何退出 79

4.10　反序列化器 80
* s5 U5 Y: _* G6 j8 e' S9 `  i5 g
4.10.1　自定义反序列化器 81

4.10.2　在消费者里使用Avro反序列器 83

' ~, X; d9 Y$ Y' Q3 @# G4.11 独立的消费者：为什么以及怎样使用不属于任何群组的消费者 83

4.12　小结 84

# y% A7 p! v, ?, W第 5 章 编程式管理Kafka 85
, ?" t9 ?! v7 Q& D7 N
5.1 AdminClient概览 85
. t6 b5 C! A0 `2 L9 S
3 M4 ~1 V4 {* p2 F+ O, ?' F5.1.1　异步和终一致性API 86

5.1.2　配置参数 86

2 e# }4 m8 j, o0 c5.1.3　扁平的结构 86
7 y. K# b+ }4 D- |5 s- O
0 L6 W8 W5 K8 O% |5.1.4　额外的话 86

5.2 AdminClient生命周期：创建、配置和关闭 87
' z# x0 o9 y5 L5 d% P0 [8 E' c
5.2.1 client.dns.lookup 87

5.2.2 request.timeout.ms 88
% y6 {7 g* ^+ O  i( |; v
- N3 I& X" E8 @& \- ]5 A: Q5.3　基本的主题管理操作 88
+ ^0 O  F) s- P3 X4 G
5.4　配置管理 91
1 i, Z, i. n7 [" w( X
5.5　消费者群组管理 92

- A' g% l! z4 G5.5.1　查看消费者群组 93

5.5.2　修改消费者群组 94

& N5 l4 |, U) O- m& _: `5.6　集群元数据 95

6 Q1 f  C; X; U, X- V& p. K) [5.7　高级的管理操作 96

" F( c; ?' x3 l  ]" U/ j$ m, K5.7.1　为主题添加分区 96

5.7.2　从主题中删除消息 96
$ O* x! |8 r: E% |" A' M, P  k
" t( N$ z) ^2 c& {. _( X5.7.3　首领选举 97

5.7.4　重新分配副本 98
% ^+ U& `/ I/ V
5.8　测试 99

1 r, Q0 |) J  k5.9　小结 101
% S2 z4 y( G9 w
第 6 章 深入Kafka 102

6.1　集群的成员关系 102

# W& Y- I7 u) Y2 u" B4 d6.2　控制器 103
( H; c! J; Z4 w# c7 e. s( d3 {* n
+ A6 `' s! P6 H- P! i9 e$ w6.3　复制 105

3 G, @/ B/ A) x8 @% |6.4　处理请求 107
+ u" Q2 W3 f% h& z0 ~# J
6.4.1　生产请求 109

6.4.2　获取请求 109

, V9 D5 I+ \5 @) p& O+ A% z, H6.4.3　其他请求 111
' ~0 \# U. i5 x" @6 a: a9 y, J5 T
5 B  X( J$ O4 r1 W4 ~, k- {6.5　物理存储 112

" Y% O9 S% x+ o6 K2 W6.5.1　分层存储 113

' O; q) T3 j5 Z# P6.5.2　分区的分配 114
  s) E5 F6 v5 `* D
0 P7 G7 }6 [$ Q+ {6.5.3　文件管理 115

6.5.4　文件格式 115
- ?. f& ]: ]1 k  K0 ^0 Z8 q- a
6.5.5　索引 117

# h+ a( w" R  p) U# \) ]6.5.6　压实 117
' O7 _3 [9 ?0 b! E' x
6.5.7　压实的工作原理 118

6.5.8　被删除的事件 119

! o3 C# x. g5 j; r* F+ c6.5.9　何时会压实主题 119

6.6　小结 120

第 7 章 可靠的数据传递 121
. r: H7 a  o* Q+ G( R2 p! u
- h% j$ z6 V- P  b, O8 c7.1　可靠性保证 121

, Z7 D+ t) U, J# W" B# \, J5 i7.2　复制 122
- Y9 l5 `) z1 y$ r5 q9 R2 L, e
7.3 broker配置 123

" J: G7 k) a; h* ]6 g7.3.1　复制系数 123
; ~) y/ a5 k7 p2 ]% [+ _4 m- J
' U: f$ F8 M0 C! H5 g) u" I3 }7.3.2　不彻底的首领选举 125
: E* ?# L+ I7 T- _$ A) s6 W. T  v
% T. @# T  i2 \1 ?' L& B1 i/ d7.3.3　少同步副本 126
3 ~4 U7 X: @8 [5 K/ S- a
7.3.4　保持副本同步 126

7.3.5　持久化到磁盘 126

& k' l7 V; y, Y2 V# Q: C" s, G7.4　在可靠的系统中使用生产者 127

7.4.1　发送确认 127

7.4.2　配置生产者的重试参数 128

( V) B6 y# W! H3 a. Y7.4.3　额外的错误处理 129
- |3 t% V8 d% q# }
7.5　在可靠的系统中使用消费者 129
# ]5 O+ `7 r* U* g2 O2 r1 a
7.5.1　消费者的可靠性配置 130
% Y9 A% k' ?3 c  ^+ ?
: J, I; p+ E& d6 z! e: S, y7.5.2　手动提交偏移量 130
6 u" Q3 L+ h: I$ K$ h
8 n- y8 Z2 V7 r7.6　验证系统可靠性 132
( J% ^" i$ ^) {' b/ A
! a5 {7 o1 w' d7.6.1　验证配置 132

7.6.2　验证应用程序 133
( ]: l: R4 c- P. V, j# v' P. p
7.6.3　在生产环境中监控可靠性 133
  ]8 ~8 w7 D0 G; m7 Z- v
! ]" m4 K9 H4 l7 n7.7　小结 134

第 8 章 精确一次性语义 135

8.1　幂等生产者 135
" h; K( E/ T/ K
+ K* e/ _2 y- X4 u8.1.1　幂等生产者的工作原理 136

2 q" ]$ R8 j( r% _, L8.1.2　幂等生产者的局限性 137

8.1.3　如何使用幂等生产者 138
8 q9 e  w( w; M; ?" C! Y; r' c, C
2 q; [8 `0 b6 [6 A8.2　事务 138

& U, x1 w0 }: \  |8.2.1　事务的应用场景 139
( w7 L7 Q. w. y/ j# j# O" d, X; \
! O( w2 X" G% f! E' L9 J! Q: {8.2.2　事务可以解决哪些问题 139

+ j' _# u8 @" P+ z( o4 L& z8.2.3　事务是如何保证精确一次性的 140

+ J4 b+ o# u1 r8.2.4　事务不能解决哪些问题 141

8.2.5　如何使用事务 143

8 `+ V4 t3 K9 r& \# D8 ~8 M) e8.2.6　事务ID和隔离 145
/ o- y( X  `1 Q& }
; m% P5 r- l/ T7 M' W9 ^5 R8.2.7　事务的工作原理 146
: \& u+ \5 l% P1 g! h
7 e- [  o* Y4 O5 Z8.3　事务的性能 148

; `2 C$ r4 O& E6 E0 T% z8.4　小结 148
$ i; P* D: f$ ?5 S4 n: j: w
  @: O) W. _  B, [第 9 章 构建数据管道 149

/ P2 K# e" ]0 s9.1　构建数据管道时需要考虑的问题 150
# S. o0 P! q2 [) `) M8 r( E
9.1.1　及时性 150
" C3 ~) [! l8 F  R( H# @* u. m8 o) W* Z; ?
8 i; w* @  N2 {8 G0 j9.1.2　可靠性 150

1 ]# Z" J' k2 N9.1.3　高吞吐量和动态吞吐量 151

7 S( P: t  Y4 u8 T# G6 K9.1.4　数据格式 151

9.1.5　转换 152

9.1.6　安全性 152

+ `& D6 q/ R* X( C+ j9.1.7　故障处理 153

9.1.8　耦合性和灵活性 153

9.2　何时使用Connect API或客户端API 154
/ h" a. h* I0 T. M, |. y5 n
9.3 Kafka Connect 154

! [' M8 E/ e* X0 b! Q9.3.1　运行Connect 155

9.3.2　连接器示例：文件数据源和文件数据池 157

$ `9 ~) v; @3 S1 W. I7 ?9.3.3　连接器示例：从MySQL到ElasticSearch 159
1 Z0 D7 [7 }1 A$ u, N$ Z. C
8 d% S0 `" ?7 \9 Y9.3.4　单一消息转换 164
2 p8 i$ S- h$ J0 f1 U
3 D2 Y* }& j( @  S7 O$ C9.3.5　深入理解Connect 167

; e' \6 u. L, r9 n8 O' }1 d- z9.4 Connect之外的选择 169

9.4.1　其他数据存储系统的数据摄入框架 169

9.4.2　基于图形界面的ETL工具 169
( }; T5 i& d9 O9 ], D0 R( r- C6 {+ j/ ]
9.4.3　流式处理框架 170
& J; c& T% K: J& n- U8 }6 V
9.5　小结 170
- g6 c* ]4 o, s4 T0 c
2 k( Q' N$ P& W% U/ x第 10 章 跨集群数据镜像 171
2 Y7 j/ U/ e, L' A
10.1　跨集群镜像的应用场景 171
+ I" W3 E( ?- E" d5 u# s: H$ l4 p
3 O  `# F% O! Q/ K: Z" g) Z8 }/ n10.2　多集群架构 172
; p3 L. G3 w6 E0 Q" i
10.2.1　跨数据中心通信的一些现实情况 173
* ]$ c8 }) C- p; p( |6 c
" H5 c+ k: y0 M2 s10.2.2　星型架构 173
8 ~$ w4 V; Q4 K1 d8 o& O& [
/ q  v3 y: d+ }" U$ o5 i' |10.2.3　双活架构 175

10.2.4　主备架构 176

; e" |' M, ~5 ^: C+ V) ~3 A10.2.5　延展集群 180

# k8 Y: Z# Y# E10.3 MirrorMaker 181

10.3.1　配置MirrorMaker 183
  z1 |+ Q: z" n9 f
/ Q8 n4 o* v# l  a2 G10.3.2　多集群复制拓扑 184
. I6 c$ V, m$ S- m+ ~0 G  }) W
% r; H9 t+ R6 I! P7 {$ \10.3.3　保护MirrorMaker 185

' X5 Y8 _2 q) m# \7 H+ ?& Z! T+ d( d10.3.4　在生产环境中部署MirrorMaker 186
0 ~0 p3 {; n7 h4 k4 T
10.3.5 MirrorMaker调优 189

10.4　其他跨集群镜像方案 190
. F2 \7 w( b6 m
7 U1 G- c$ _! K: C, k* ]9 Q10.4.1 Uber的uReplicator 190

3 v4 y  K* j' S. Q7 `10.4.2 LinkedIn的Brooklin 191

" @# g% {& S& c5 I# }10.4.3 Confluent的跨数据中心镜像解决方案 191

10.5　小结 193
$ a- n6 @1 o6 [& p5 V
第 11 章 保护Kafka 194

; p4 w- q) R4 {& X8 T9 e2 Q1 \11.1　锁住 Kafka 194

11.2　安全协议 196
$ Z4 z" p2 r1 w# M% e
  l5 k' s) k2 Y4 B8 G" F11.3　身份验证 197
2 e0 u" C6 [- P. y3 R
11.3.1 SSL 198

7 }- w( ^+ k. _% G1 X11.3.2 SASL 201

5 K8 ?' q, m3 x0 M$ b; U) }11.3.3　重新认证 210
# B+ H0 Y3 Z5 c6 {" h% W2 {8 t( C
11.3.4　安全更新不停机 211

- j  K* H& X. O11.4　加密 212

$ m" k8 u; L4 {11.5　授权 214
! D! U( t; T# N  _$ Y% q+ r
" x1 V/ M' N. Q) j11.5.1 AclAuthorizer 214
! Q& u7 k5 y1 ~, t$ ~7 a/ r/ t' O0 i
11.5.2　自定义授权 217

11.5.3　安全方面的考虑 219
* C0 q, k) Y7 A; x3 ^+ ?$ a* T
1 b2 b8 K7 _: r) R11.6　审计 219
9 g# U8 n- B) I) N* [% k
11.7　保护ZooKeeper 220
& a6 n* ^( @3 A$ E
3 h; O: M1 ~1 ~) S0 u, f" N+ p11.7.1 SASL 220

- B6 C. }* f- }  f) @/ n' t11.7.2 SSL 221
) A& A+ ?3 P0 L5 j
11.7.3　授权 221

$ T# w; k( M! ^- r6 p11.8　保护平台 222

11.9　小结 223

第 12 章 管理Kafka 225
' u% B4 q/ z+ k' [" [; Z  G
& N( S2 u& E" G3 E12.1　主题操作 225

12.1.1　创建新主题 226

12.1.2　列出集群中的所有主题 227

12.1.3　列出主题详情 227
+ N$ s7 b% L2 z8 [' v
$ W2 J* b. Y* z4 h12.1.4　增加分区 228

12.1.5　减少分区 229

12.1.6　删除主题 229
+ ~& x9 F& w) L/ O- k
0 g# M+ Y7 w! x( g6 ]' v12.2　消费者群组 230
/ U5 o; {% o4 i) b0 p+ |. N
: X4 G- e+ ]7 M6 |12.2.1　列出并描述消费者群组信息 230

& `! s+ F) Q/ F2 u12.2.2　删除消费者群组 231
5 c3 ~: R6 s$ Y' `( E! X
12.2.3　偏移量管理 232
- {' K1 P4 M0 W: c* k
12.3　动态配置变更 233

5 p3 p4 W; X! O12.3.1　覆盖主题的默认配置 233

12.3.2　覆盖客户端和用户的默认配置 234
; l% q# w) F1 c( }+ v$ p) s
12.3.3　覆盖broker的默认配置 235

( b* C' v* Y8 s6 C8 j5 x8 @! s) u12.3.4　查看被覆盖的配置 236
$ r3 A$ i4 B5 q9 L2 x+ c
12.3.5　移除被覆盖的配置 236

12.4　生产和消费 236

12.4.1　控制台生产者 237
* ^  E. v$ M! d$ i5 y
12.4.2　控制台消费者 238

12.5　分区管理 241

  M9 z* o: A, l1 D( g+ d- l12.5.1　首领选举 241

% d' \1 \' i( ]  z  [12.5.2　修改分区的副本 242
3 g4 f7 R: E: Z1 ?2 W& A9 f
12.5.3　转储日志片段 246
" M5 ~9 i1 A. o% W- j. K
1 L) }6 q4 a: c12.5.4　副本验证 248

12.6　其他工具 248
3 t! z4 A, c1 X4 ~' K
12.7　不安全的操作 249

' I8 `; M. U' I8 |8 h2 o$ D! p12.7.1　移动集群控制器 249

- ~* W3 D+ Y0 h  Q0 }12.7.2　移除待删除的主题 249
( a9 a$ r1 \6 J
  f2 n) ^2 U# |2 b6 i12.7.3　手动删除主题 250

, w' \1 U- j6 F% N& ?12.8　小结 250

第 13 章 监控Kafka 251

7 c3 h+ b/ r/ \6 f7 J13.1　指标基础 251

13.1.1　指标来自哪里 251
/ `) I" }& k3 p/ V
+ c. ]. T+ |' Z. P) L' u! Y& m+ W13.1.2　需要哪些指标 252

13.1.3　应用程序健康检测 253
! M* i: t* G1 G6 n$ Q2 I
9 b( H% Y8 a& d/ K  _" `13.2　服务级别目标 254
3 T% n; _$ D/ j* }, ~4 M2 F
. U% V: o& @- W, {! j13.2.1　服务级别定义 254

13.2.2　哪些指标是好的SLI 255
# T1 j2 X3 D) F* X+ y
13.2.3　将SLO用于告警 255
" V& q. X9 I* ]& e8 A3 T
13.3 broker的指标 256

13.3.1　诊断集群问题 257

1 k4 y; s* k2 B% m# L% e' n& u13.3.2　非同步分区的艺术 257
5 ?2 D, a6 F1 H8 Q
2 d' k) b5 x/ k: u13.3.3 broker指标 261
3 J( m  I& u8 r! W$ z% q! V* y
13.3.4　主题的指标和分区的指标 268
/ Z" F, Y  [4 g: ?4 }9 `( A+ T
13.3.5 Java虚拟机监控 269

1 Z' Y! V" D0 P( f( v# Y0 v13.3.6　操作系统监控 270

" j( E6 `' F0 `; o6 o. K13.3.7　日志 272

13.4　客户端监控 272
( w/ t- Z5 R1 I9 `$ v8 B" c7 r
8 m9 h0 \# S1 u7 d3 n2 z9 t13.4.1　生产者指标 272

/ O+ e3 `$ Y% l# A13.4.2　消费者指标 274

13.4.3　配额 276

13.5　滞后监控 277

13.6　端到端监控 277

13.7　小结 278
' d3 c6 t% ]' Z- g, p/ A4 u; }
' x& j' V2 b1 `# G/ V5 k第 14 章 流式处理 279

( s/ Q) m7 \/ }0 x14.1　什么是流式处理 280
$ f7 t6 p9 k5 j
14.2　流式处理相关概念 282
* n4 K; m9 c% Q, S) U; R
14.2.1　拓扑 282

3 Q$ d. U+ K7 j5 T- H14.2.2　时间 282
8 J, r& {* s2 l* A$ y1 e
: ^, k7 \5 a  J; e; Y14.2.3　状态 284
+ G6 D' A5 K! P* a
14.2.4　流和表 284

  S; S4 h7 D- g% w( W14.2.5　时间窗口 285

14.2.6　处理保证 287
9 ]' e) _6 B7 R, B# u
14.3　流式处理设计模式 287
( h- N7 h4 M( r5 y
14.3.1　单事件处理 287
0 y, W) b. |& d4 O/ ^& p2 C
8 j2 ]5 Q  N$ [5 a, W14.3.2　使用本地状态 288
. u; Y1 A# D3 R$ Z) g
3 M5 K, H' G1 ~$ S0 }14.3.3　多阶段处理和重分区 289
5 r: P& b5 y# I1 U7 \! o8 q9 J- u
* R. i- m) r4 O3 s* L' a14.3.4　使用外部查找：流和表的连接 290
5 T+ G3 S& W6 n2 D' }
14.3.5　表与表的连接 291

14.3.6　流与流的连接 291

14.3.7　乱序事件 292
& h4 ?1 w. D) e+ n( E5 A
, Q4 I# x* R8 b9 X0 N* A14.3.8　重新处理 293

  n  @/ q& _1 r( \14.3.9　交互式查询 294
% z. n" A3 o; m5 X" j6 p1 @
. u- B! c9 q. M" z; m# n$ Z14.4 Streams示例 294
! p; ?+ o; }3 u* D! r
14.4.1　字数统计 294
# g5 j& v) |- @
- i7 N5 _. ^% B5 ^# a( R% M14.4.2　股票市场统计 296
! W) p# h: B. G+ [% ]9 o5 L
* M1 ~, J6 [) s0 V) K14.4.3　填充点击事件流 298

14.5 Streams架构概览 300

14.5.1　构建拓扑 300
# V$ N  ^$ ?- K5 I$ D+ u" n9 H
" p5 K4 Q5 I; C/ Y4 a14.5.2　优化拓扑 301
% u4 S. p6 J4 Y9 n$ R
& e/ ~% W# q! u& p14.5.3　测试拓扑 301
9 y+ M9 U4 X9 ]! j% N8 w
- B$ `3 k7 |% |* e14.5.4　扩展拓扑 302
java8.com
! [: A/ }- x4 w! |4 I7 H2 |8 l2 ?1 }14.5.5　在故障中存活下来 304
) p- `5 r+ v3 s3 n. o+ M. v2 l
' Z( Q4 `# P) H: _. u- Z, t14.6　流式处理应用场景 305

14.7　如何选择流式处理框架 306
6 G8 E4 n) }, c6 }. c0 h
2 K2 k$ R9 ^3 d' D0 P14.8　小结 307

+ }8 @5 {& r' G3 q9 n  M附录 A 在其他操作系统中安装Kafka 309

附录 B 其他Kafka工具 314

百度云盘下载地址(完全免费-绝无套路)：

游客，如果您要查看本帖隐藏内容请回复

7 s! F0 u, I) ]  W  N0 V2 l

6 D; h4 c& L4 a& {. i, h! l& M
, ^' I% }& Z# j' [

爱已成歌喽

不错不错，下载到了

renshuliang

完全免费-绝无套路

三木与月轩

不错，好资源

男孩子

以后学java 就靠java吧了

李玉文

资料免费 给力

袍哥

良心网站，力挺

奔跑的小乳猪

给力，真免费

nebloomy

谢谢分享！！！

手暖心涼

路过，收下了，不错的论坛