第1章 认识Apache Kafka 1/ h; y1 H, i- O, Q
1.1 Kafka快速入门 1
5 }' F$ P) z" e0 Y1 r- A2 ^1.1.1 下载并解压缩Kafka二进制代码压缩包文件 2' _! P$ A+ P( N5 z
1.1.2 启动服务器 3- b" J+ P$ O( R- v2 r @$ c
1.1.3 创建topic 3
& j* A# r0 z( G @6 l1.1.4 发送消息 4
! I$ z- R2 G u6 ^- [# O% E1.1.5 消费消息 49 E( B$ |. s$ k/ ]
1.2 消息引擎系统 5
8 u! V& W# S+ I; F- {' e1.2.1 消息设计 6: c5 Q/ a1 W% D
1.2.2 传输协议设计 6
; c! L5 b& e$ I. `- ]5 h1.2.3 消息引擎范型 6
% c" F+ ]8 `* j1.2.4 Java消息服务 8, B# D. G, J, u( q( @6 w2 B7 o
1.3 Kafka概要设计 8. H8 N& V" J2 [1 e, @
1.3.1 吞吐量/延时 8( Z+ {- N2 l! _8 r) S
1.3.2 消息持久化 11' _/ h8 d5 S7 C4 V7 x2 V- D8 {+ }
1.3.3 负载均衡和故障转移 12
# A8 Y, N/ N: \1 P8 y2 ^# D. l1.3.4 伸缩性 136 N7 y$ \4 { N q: g- @" W, [! \
1.4 Kafka基本概念与术语 13
5 ^+ ?+ E- _" M9 O9 n1.4.1 消息 149 E3 g7 E6 l% n' L
1.4.2 topic和partition 16- [3 ?; N$ }; M$ {( s. [! T
1.4.3 offset 17; o# g5 E% J* o" y& q$ g" N
1.4.4 replica 18# K2 z4 U1 {+ K0 B" R
1.4.5 leader和follower 18
; `% |7 V( g( v8 e7 i- ^0 y1.4.6 ISR 193 `1 t8 o( t# q3 \9 y' g( w
1.5 Kafka使用场景 20. L+ ]9 D8 E. {0 c: v5 o. G
1.5.1 消息传输 20
5 k( w3 G0 m& @/ z1.5.2 网站行为日志追踪 209 K8 \. C Y% `' R" O3 V* K" h) k
1.5.3 审计数据收集 20
% I7 z' G7 Y% m. O, K9 a1.5.4 日志收集 20
2 h+ \5 i+ ^& x1.5.5 Event Sourcing 210 W) R5 C8 j- E/ w
1.5.6 流式处理 21
* n c7 b; j. V8 a% a1.6 本章小结 21; T \/ c) r; X4 ?7 ]$ x
第2章 Kafka发展历史 220 p5 v. Q" ?0 M2 M% G- G( f E; h
2.1 Kafka的历史 22/ J4 h4 M! e9 r2 h) D
2.1.1 背景 22
1 c& I, m% X' b4 i" _0 z2.1.2 Kafka横空出世 231 ]# g0 q" a1 ~8 l
2.1.3 Kafka开源 24- j( ]' {( G" K
2.2 Kafka版本变迁 255 T& R: K6 p0 N3 G; u
2.2.1 Kafka的版本演进 256 m% u$ v# Q1 K
2.2.2 Kafka的版本格式 26
( M; k. ~/ }5 Y {! O2.2.3 新版本功能简介 267 |7 ~. b; j8 J, @2 |( H) R% ]7 ^% p
2.2.4 旧版本功能简介 31, d3 Z. k+ v! E1 R
2.3 如何选择Kafka版本 35
) T5 t5 I, v5 B- W: |$ C) Q5 M& l2.3.1 根据功能场景 351 Q1 a6 T' Z, F3 O
2.3.2 根据客户端使用场景 35
+ H% J# l; h. S" Q3 y$ v0 w2.4 Kafka与Confluent 36
7 k( F, z* A* X9 w2.5 本章小结 374 ^2 s0 l* H, U
第3章 Kafka线上环境部署 38
" Y! n) e1 j* w% L3.1 集群环境规划 38
' y& M, W: u' T9 K+ ]- m3.1.1 操作系统的选型 38
7 c$ f) e$ g4 d6 o3.1.2 磁盘规划 40$ V# m; h/ l* b7 ~% x% p t; ?% F6 x
3.1.3 磁盘容量规划 42. M8 m5 c4 b( m' B" [. \
3.1.4 内存规划 43
& P# C9 @( T0 K/ M3 D" s3.1.5 CPU规划 43
' R$ f9 Q9 ]# E3 R" Q4 s3.1.6 带宽规划 44
! {7 k/ s( g! r& B' C3.1.7 典型线上环境配置 452 |% c y0 X% {1 Y6 L7 D7 ]
3.2 伪分布式环境安装 45
! Q R+ u0 G- ~5 d3.2.1 安装Java 46( X5 M% f8 ?8 V( V
3.2.2 安装ZooKeeper 47" P( c$ H: |. _9 u" s: y" ]
3.2.3 安装单节点Kafka集群 48
! o4 h( P- s% w' b: a3.3 多节点环境安装 49
( b5 X( j3 L! |* ?; j3.3.1 安装多节点ZooKeeper集群 50
0 b$ k0 A& c3 b8 \3 X# O. j3.3.2 安装多节点Kafka 54 n' u1 l2 H2 N8 _9 f' e( |
3.4 验证部署 55) a2 e% ~5 V- q* Z
3.4.1 测试topic创建与删除 55
( v* [3 v& r+ b6 {% }9 U3.4.2 测试消息发送与消费 57
( L- i) W" e+ f3.4.3 生产者吞吐量测试 58
- a" c# I: `* U0 I, K, U3.4.4 消费者吞吐量测试 58. e0 a" Q) ~. h9 \9 g
3.5 参数设置 596 e; {% {( {- |$ W! \5 ^
3.5.1 broker端参数 59, \9 ^7 T, W/ F/ L( C
3.5.2 topic级别参数 62
- S2 q$ `2 o9 [! A3.5.3 GC参数 63$ r M" C2 ?+ l. n7 l
3.5.4 JVM参数 64
: t& ]% x* W, v6 ^( \4 @" w3.5.5 OS参数 64
, f2 G; Q9 a/ Y$ a3.6 本章小结 65; H% ?" G4 {! w/ F) `0 \; Q
第4章 producer开发 66
0 S1 _& `9 t: w8 }8 B4.1 producer概览 66
0 ]2 n* o6 |; ?% _4.2 构造producer 69
% ^8 X/ U! m% [7 i4.2.1 producer程序实例 69( h5 }, u7 @6 c; v: u
4.2.2 producer主要参数 75( V! r4 g& \ \
4.3 消息分区机制 801 o" R# I6 O8 E3 u+ s& E
4.3.1 分区策略 80
5 O+ L6 Q: z8 u4 h0 N! u% |4.3.2 自定义分区机制 80/ L! J6 X* H4 I! f6 ^' h" ?! W/ [
4.4 消息序列化 83
+ w/ X% R& h* |9 _8 |: f4.4.1 默认序列化 83$ r+ K7 q! `8 z( w8 A
4.4.2 自定义序列化 842 F( j+ [9 s2 L4 n5 X' {
4.5 producer拦截器 87/ W0 R" _+ B2 n5 }/ {
4.6 无消息丢失配置 90
$ f9 `2 s* R# I: [# \5 I6 D4.6.1 producer端配置 91
" B) O2 v, h5 H3 ]6 ` S% V' Y4.6.2 broker端配置 92
" L" e7 f( g+ V- N* h/ o4.7 消息压缩 920 Z* d% U" U; M/ b( S: x5 b
4.7.1 Kafka支持的压缩算法 93
r) z) U$ w& b4.7.2 算法性能比较与调优 93
7 }/ r, N+ p( W( p4 O' h4.8 多线程处理 95) H. L- I$ y w/ X: d
4.9 旧版本producer 964 @% t9 j! C7 H$ V" f7 I, K5 v7 ?
4.10 本章小结 98
+ R" N% `0 D j9 P+ K) Y Z第5章 consumer开发 99
/ Z: @& s9 z2 o5 L K& J& w5.1 consumer概览 993 a1 H* ]* c# Y' }9 X7 N
5.1.1 消费者（consumer） 99
5 S: G) b$ g, f7 V( D* X5.1.2 消费者组（consumer group） 101
2 r2 w- i" {" V' |1 n0 a3 M( b5.1.3 位移（offset） 102; F: N E) E9 o; z5 Z5 W# S! v, B" w
5.1.4 位移提交 103
* J; h/ H$ }/ s5.1.5 __consumer_offsets 104) A( L# U1 k0 y5 \5 E2 R
5.1.6 消费者组重平衡（consumer group rebalance） 106
( x! T. b* y# j- H! U2 V5.2 构建consumer 1068 z5 E0 Y) r( R6 B. u9 E7 @3 }$ w
5.2.1 consumer程序实例 106
4 y# {) b2 ] s4 r# I( K0 S# b5.2.2 consumer脚本命令 1119 {% P. P2 k3 C4 z, Y
5.2.3 consumer主要参数 112
: U1 w7 w: `" ^. W+ \& ]3 }) R5.3 订阅topic 115" L2 s0 Y: x0 a4 b+ z9 d9 W
5.3.1 订阅topic列表 115
, f, c0 `9 v5 H; V. R5.3.2 基于正则表达式订阅topic 115" ]1 a0 p8 Q2 U) p* F
5.4 消息轮询 115$ |$ r4 j3 u6 C; o9 h+ f6 q
5.4.1 poll内部原理 115
. b3 E# g& G3 o) A) r" i! Y5.4.2 poll使用方法 116
$ q9 G$ |: \( p5.5 位移管理 1188 {. o8 A6 q: I& L/ g1 U
5.5.1 consumer位移 119
p- N8 ~( [) J$ m6 p4 O% l' d5.5.2 新版本consumer位移管理 120
6 u# Q1 V' E. g, z6 ^3 b& \3 x, P5.5.3 自动提交与手动提交 121
# o6 d- c9 V# R8 K( ]8 e5.5.4 旧版本consumer位移管理 123
8 |% A5 l% |. {- ~# p5 }5.6 重平衡（rebalance） 123
2 v) s I, t6 Z6 m5.6.1 rebalance概览 123; X$ g0 |/ Y4 H3 ]+ `$ B* F7 X
5.6.2 rebalance触发条件 124
& U( r! J; R; C& c0 b/ Z5.6.3 rebalance分区分配 124& r4 M& N, t g/ D |
5.6.4 rebalance generation 126
. n2 O( X1 e' y/ x0 I# j. }5.6.5 rebalance协议 126
2 w/ [% x! F9 N8 g# a: f, G5.6.6 rebalance流程 127
9 O8 T, [6 [* h5.6.7 rebalance监听器 128
8 b" D" C5 ]8 V& K" T5.7 解序列化 1309 z# Y" E5 \5 M* m8 L
5.7.1 默认解序列化器 1301 ~9 }! J( [# k$ c- ]! n+ L
5.7.2 自定义解序列化器 1319 A7 T3 h6 V: `; C( {
5.8 多线程消费实例 132( O& Y0 i% C F8 c& T
5.8.1 每个线程维护一个KafkaConsumer 133- S# _ T L0 _+ u# q# g5 {
5.8.2 单KafkaConsumer实例 多worker线程 135; R0 ~; O( r7 k, j' b. ]
5.8.3 两种方法对比 140
3 k) L7 H3 f8 J5.9 独立consumer 141, U- d( W1 W2 C4 M
5.10 旧版本consumer 142
?1 q S' C5 M5.10.1 概览 142
. X9 ^( L) Y3 j. a+ `; P5.10.2 high-level consumer 143
w+ Y8 \2 d" K2 F! z6 ^5.10.3 low-level consumer 1475 D. Y& t3 w7 m. c; d
5.11 本章小结 1536 Y _2 i2 h7 w j
第6章 Kafka设计原理 154
' G1 y) `. V/ V; h$ N) o! k* R6.1 broker端设计架构 154
- h5 O! K/ L5 J2 R6.1.1 消息设计 155 u6 y: o" M" N
6.1.2 集群管理 1663 U& N2 V) c0 n% V8 w' `( O% l, h
6.1.3 副本与ISR设计 169
8 Q" E* r" E! k: m7 Z" T/ \8 T6.1.4 水印（watermark）和leader epoch 174; d }6 F9 B1 O& T8 u$ {& K
6.1.5 日志存储设计 185
9 j" M( @! J, |. o. q9 e- b$ P6.1.6 通信协议（wire protocol） 194& A/ U3 D* m/ d" S! a
6.1.7 controller设计 205' t. x% ?5 r& g2 x2 p* J7 e
6.1.8 broker请求处理 216
( S) Q) I! Q7 ^: N6.2 producer端设计 2195 Z( }3 d( G. t( Y/ n; H
6.2.1 producer端基本数据结构 219* ~/ G; |; w9 i' f6 ]. Q T
6.2.2 工作流程 220
; T7 J( y2 N: @$ b6.3 consumer端设计 223
2 }2 w/ d, f7 }* E6.3.1 consumer group状态机 223
}8 ?, i- a1 `6 I" s6.3.2 group管理协议 226
3 N+ f3 [% U8 v# `5 ]% |! i4 F6.3.3 rebalance场景剖析 227
. x2 H) [7 R8 }$ @3 M2 F: r5 W8 C: B6.4 实现精确一次处理语义 230
5 f, x6 P. ]' y) V. ^9 H y' k9 l6.4.1 消息交付语义 230
' F- W( j* X \- K1 f5 \ U6.4.2 幂等性producer（idempotent producer） 2319 i4 C: @7 Y" t5 f- O! \0 Y
6.4.3 事务（transaction） 232
( m# u8 O& r3 ] a4 {6.5 本章小结 234
1 @8 l; G. y9 s L0 c% C第7章 管理Kafka集群 235
. g0 E$ @& ]$ i7.1 集群管理 235
2 ^- T" D; L1 o* z7.1.1 启动broker 235
, C/ W" k4 _! V7.1.2 关闭broker 236, `1 H' U! C' o# d3 e- \) }
7.1.3 设置JMX端口 237
3 Y2 C3 C, x, t" J* t, r" k7.1.4 增加broker 238
8 W( t8 _7 q a6 j1 \. y, T1 ?7.1.5 升级broker版本 238
4 I5 Y1 r. P$ \" B7.2 topic管理 241
% g. s8 F* p/ H& M% b8 Z5 u i7.2.1 创建topic 241
# P5 k: j% m" c7.2.2 删除topic 243
+ U; g: U: B: R( B" H9 Q8 I4 I7.2.3 查询topic列表 244
; Q M7 I+ v z& W1 S+ G" _7.2.4 查询topic详情 244
! C) Z6 T( M, v7.2.5 修改topic 245. r, r8 k1 ?$ D2 u3 G
7.3 topic动态配置管理 246
& l) q; k1 m5 W7.3.1 增加topic配置 246
1 l' H' X! c! E' z7 N7.3.2 查看topic配置 247! f0 ^9 V- n1 Y3 \
7.3.3 删除topic配置 248 J! V# x$ M1 t% I/ f0 R
7.4 consumer相关管理 248- T# X- h( s1 s+ W2 x9 ^5 I
7.4.1 查询消费者组 248
) L6 |( s- z) F+ P2 `! {7.4.2 重设消费者组位移 251
+ h# ]" i- ` k7 L7.4.3 删除消费者组 256
0 @4 j l4 i/ e. i) Q+ |- O( j! K# \7.4.4 kafka-consumer-offset-checker 257! |# M( i4 d( x9 N- b
7.5 topic分区管理 2581 J! n. k P/ N8 B. K
7.5.1 preferred leader选举 258: s; B+ j6 @/ q
7.5.2 分区重分配 260
) Y- C. p+ B9 i+ Z0 p w2 u1 ~7.5.3 增加副本因子 263' v! j- H' U' `5 `& W
7.6 Kafka常见脚本工具 264
4 p2 ^: s5 a0 l3 p3 C/ I* E1 l7 b7.6.1 kafka-console-producer脚本 264
$ A! `2 m6 h0 }5 A7.6.2 kafka-console-consumer脚本 265
/ a7 D: u: o7 ^$ O+ Q& P% D7.6.3 kafka-run-class脚本 267
& W6 p& B$ S) Q9 }1 v; G/ t7.6.4 查看消息元数据 2687 {. W, J7 m8 g" J# J$ u
7.6.5 获取topic当前消息数 270
* q% l4 r* b+ g$ @/ ?8 m( _9 `7.6.6 查询__consumer_offsets 271! V3 ^1 {% U3 x- G6 m+ I+ P* t. r
7.7 API方式管理集群 273# D! M! B8 X2 ]# M% X
7.7.1 服务器端API管理topic 273
4 a4 N1 r2 b, C) ]" W! D8 g7.7.2 服务器端API管理位移 275
. r! I3 w9 Z- P1 P/ t7.7.3 客户端API管理topic 276/ ^* y6 Q; A: P% R7 O. \9 X j
7.7.4 客户端API查看位移 280# |+ v" ]7 C0 G3 k4 O: l
7.7.5 0.11.0.0版本客户端API 281
, ^, R( C6 i$ _& P7.8 MirrorMaker 285+ f( {. s7 c4 t; n. l1 z# a: ~1 b
7.8.1 概要介绍 2859 }4 Q+ [% } C) O' Z! W' k1 [6 p
7.8.2 主要参数 286
0 c8 J1 }; g. `4 V8 A' e7.8.3 使用实例 287
! ^% v; u/ B+ { ~4 Y7.9 Kafka安全 2886 d" V) P+ P7 g
7.9.1 SASL ACL 2891 }+ J8 m2 F2 P' x9 q( H
7.9.2 SSL加密 2970 d! S9 ~. W+ I
7.10 常见问题 301
1 B, D w5 Y! i- ]7.11 本章小结 304
; L- O, t9 u. L8 H! z0 Q第8章 监控Kafka集群 305& ]+ S v% y7 q. a9 _3 b
8.1 集群健康度检查 305! j1 d) R; ~" z- a
8.2 MBean监控 306
( \9 y9 R/ _9 k$ d. x8.2.1 监控指标 306
9 }# w; e( Q" y. j- n8.2.2 指标分类 308
$ N% {6 p3 Q. i3 ]. }7 D8.2.3 定义和查询JMX端口 309# w) W( u* l7 v& f/ |: b
8.3 broker端JMX监控 3101 z3 S! Z9 `" j5 Z- p
8.3.1 消息入站/出站速率 3108 V! N& k' c% I: L* `
8.3.2 controller存活JMX指标 311, f0 F2 T$ U! b! L
8.3.3 备份不足的分区数 312
% c! H0 W6 z1 @8.3.4 leader分区数 312
- {( [' H" l) T3 O7 ]% O8.3.5 ISR变化速率 313
2 ^, w9 G K( o- k8.3.6 broker I/O工作处理线程空闲率 313
+ k0 F$ J$ u J" Y0 S; ]' |8.3.7 broker网络处理线程空闲率 314' l E0 O" {; G4 Z
8.3.8 单个topic总字节数 3148 q) n5 \3 L- L, p
8.4 clients端JMX监控 314
0 z- Z0 Q- X; F. j8.4.1 producer端JMX监控 314* D% K( n4 s3 s. y) Y! U0 n
8.4.2 consumer端JMX监控 316) b' V1 S: M9 x3 n( G
8.5 JVM监控 317
! }. m, _! F4 s1 n7 U# k' f7 j8.5.1 进程状态 318
4 p* o4 l4 n3 n! a4 b9 Y8.5.2 GC性能 318
) ~: C" h! q9 U: j+ D' g2 n2 R7 z8.6 OS监控 318% j9 U7 p5 _) C; [
8.7 主流监控框架 319
0 k* p( j5 X/ I+ H8 }4 u8.7.1 JmxTool 320
( {" v2 K2 n2 ]8.7.2 kafka-manager 320! {- z. @ X/ v( D& y [
8.7.3 Kafka Monitor 325
! R) s' \) e0 ~$ Y" P6 R! J9 C( K$ C8.7.4 Kafka Offset Monitor 3276 w! c* Z6 |# k! `9 O' j- G. A
8.7.5 CruiseControl 329- G5 @ c( t J
8.8 本章小结 330
) C8 X9 U% ^- K4 k第9章 调优Kafka集群 331
0 X" E O# w) I# ]+ o3 a. J- e3 K1 a9.1 引言 331
/ @! X9 q9 ^( H9.2 确定调优目标 3339 |. x; t: S1 B3 Y9 d8 e; Q
9.3 集群基础调优 3340 S* J4 m8 f+ r5 T
9.3.1 禁止atime更新 335
, N; K$ j3 d1 M, ~" H% _9.3.2 文件系统选择 335
$ Y; [7 c2 u/ A" z+ X9 ?$ k! @9.3.3 设置swapiness 336
+ f; [2 s; Z6 N$ u% z) p, h9 t5 Y9.3.4 JVM设置 337
& T/ S; y: s9 [) @1 l9.3.5 其他调优 337
' t! \3 x, N- `4 [9.4 调优吞吐量 3382 q( o* M2 @2 {6 k' O" h% Q% s
9.5 调优延时 342
" A) d; L F6 A7 ` _6 v9.6 调优持久性 343: ~! c* o4 g" w8 e$ V* @
9.7 调优可用性 347
/ p( `+ Y+ h( b4 p) e% n* {9.8 本章小结 349
. Y( f0 u' v9 r' n4 x第10章 Kafka Connect与Kafka Streams 3503 O* N5 t5 d6 G' @- _( h3 g% h
10.1 引言 350 java8.com: ~/ r2 Q. F! Y$ [* [
10.2 Kafka Connect 351: b/ s; t( G i# D7 }; ]
10.2.1 概要介绍 351- o: w. M1 t' R" W5 D
10.2.2 standalone Connect 353
4 w# _ @) x# h; V10.2.3 distributed Connect 3561 X- M+ I- F4 K. K+ L1 }/ i
10.2.4 开发connector 359% e0 n& \% L; ~: F
10.3 Kafka Streams 3624 J9 z$ M& J7 O. C& T& M% C! w
10.3.1 流处理 362
4 X* g3 W" Q2 ?: d$ @& o10.3.2 Kafka Streams核心概念 364
+ I: }$ ]7 y8 P0 k10.3.3 Kafka Streams与其他框架的异同 3684 [$ m3 I* E. `% f$ R
10.3.4 Word Count实例 369
{& j$ l# ~" c: Z* V0 E10.3.5 Kafka Streams应用开发 372
4 g! Y. k+ G4 N t. X4 X10.3.6 Kafka Streams状态查询 382
+ ~& J8 `# w( C2 n+ T) J10.4 本章小结 386% Q1 Z U j3 Z/ F4 A# O! u0 m6 q
/ o8 n6 E2 _8 t; k6 ~0 R
电子书
422 人阅读
|
28 人回复
|
2023-12-18
