|
|
Java电子书：Flink设计与实现：核心原理与源码解析 格式 pdf 电子书 PDF 电子书 Java吧 java8.com# L& f% M, N0 J& v* i2 p
$ t& P2 |3 I- |8 d" S9 G7 z8 [2 }* E: a8 H; a: U9 Q& g) w
编号：mudaima-P0304【Java吧 java8.com】 p- {7 e% }9 y2 l2 H
& q% R) p; E+ K3 {) \7 s* D) j
, G N* S& z j. `) [9 j v6 ?
Java电子书目录：第1章 Flink设计理念与基本架构 1! D0 _4 R3 k: k1 {) u5 P8 L( Z
1.1 Flink基本设计思想 1
$ y7 C( Q( a" H/ e! ?8 K9 j1.1.1 Stratosphere系统架构 1# B$ i' u' m4 ^& f2 j
1.1.2 DataFlow模型的设计思想 3
- |! V9 K4 L1 ]$ k1.1.3 分布式异步快照算法 6
- o0 N4 N$ U8 `1 k4 o4 N* O; G1.2 Flink整体架构 9" H$ Y8 K; E0 Y$ g6 Z
1.2.1 架构介绍 9
2 l; k! s7 C% Q1.2.2 Flink集群架构 11
: R- V2 G* b* X( x. {/ |% Q0 F z1.2.3 核心概念 12& U2 B5 ^1 h4 b$ p
1.3 Flink源码分析与编译 14
, @' ?2 w+ m% X* I+ t$ z1.3.1 源码编译 14
- h& G" ~+ b4 u$ v! @, d ]1.3.2 源码调试环境搭建 15+ x+ O8 ^' i; k
1.4 本章小结 192 q: r0 X5 n6 u1 J2 e" V+ B7 E
第2章 DataStream的设计与实现 20
$ H& L% R$ V$ d' t p) w2.1 DataStream API的主要组成 20
- |. X9 u' } n) b M2.1.1 DataStream API应用实例 20
- z8 g2 I) I6 C& W2.1.2 Transformation详解 23/ X4 g# o) Q% l1 Y% ]) I) J3 \( a
2.2 StreamOperator的定义与实现 25
+ ^& u" T# j$ L9 Z( m& R2.2.1 StreamOperator接口实现 26/ I4 e7 Z3 v9 \) {7 _/ b5 k
2.2.2 OneInputStreamOperator与TwoInputStreamOperator 31' f' I$ E& o. f* F) [
2.2.3 StreamOperatorFactory详解 33) c, a* z4 g2 ^) }
2.3 Function的定义与实现 353 Y* \" [% u1 r- u! O. Z* @
2.3.1 RichFunction详解 36
# M, i$ I) a& j4 Z' z( P" o2.3.2 SourceFunction与SinkFunction 38$ v" `4 \2 |7 A8 F
2.3.3 ProcessFunction的定义与实现 44: P$ s2 }1 y' F. ?
2.4 TimerService的设计与实现 475 L( z# }& A. [
2.4.1 时间概念与Watermark 474 h6 [, t2 G, S0 w N: l- B+ g/ s
2.4.2 TimerService时间服务 53+ w- V' Y$ y* D! i, h
2.5 DataStream核心转换 593 ^8 w8 H* Z5 o2 }% X
2.5.1 KeyedStream与物理分区 59) M8 Z) J$ C! d7 l
2.5.2 WindowedStream的设计与实现 62' v* p4 M( H3 _& B
2.6 本章小结 684 ~( E$ v9 j% G
第3章 运行时的核心原理与实现 69
0 C6 f; V7 Y# x: X8 [3 W3.1 运行时的整体架构 69
M) ] `5 o* `/ e. j3.1.1 运行时整体架构概览 69. C" }' m& t# o) @3 N, S" f8 C
3.1.2 集群的启动与初始化 72% e" o" b- o! ? T% E
3.2 运行时组件的创建和启动 79( b+ V) t! f! N# h! A
3.2.1 集群组件的创建和启动 79
+ Z4 a4 f; d% V( m3.2.2 WebMonitorEndpoint的创建与初始化 85
9 b ~5 _- G) t3.2.3 Dispatcher的创建与初始化 91
1 c" r) b# @% Z. F, Q3.2.4 ResourceManager的创建与初始化 98
. y2 Q- {/ v* i- S/ N4 _3.2.5 TaskManager的创建与启动 106# L/ X; v& t" y, x( a
3.3 集群资源管理 115* H. H$ a) M7 u1 r& Y
3.3.1 ResourceManager详解 116, F/ w9 p" s! k1 p0 U$ j5 T# |7 P7 E
3.3.2 ResourceManagerGateway接口实现 118! @: a$ Q5 y" J; p. {+ f
3.3.3 Slot计算资源管理 119
0 ]; X6 c, l# N b& u! D3.4 系统高可用与容错 1309 g' d2 @2 S1 ~$ ^5 @
3.4.1 HighAvailabilityServices的设计与实现 130% h' f; t6 g* o5 Q2 f
3.4.2 基于ZooKeeper实现高可用 135( ]7 Q0 M8 z/ K2 [0 H
3.4.3 JobGraphStore的设计与实现 141) ~+ j2 a3 b3 d; I" B4 T
3.5 本章小结 144% e1 r6 k+ L$ N: H1 ^
第4章 任务提交与执行 145
- q9 }4 K5 ~' O1 W, S4.1 客户端作业提交 145
+ N1 {0 _0 Z3 i! e( n4.1.1 命令行提交 145
/ A. W% o+ L0 j% m6 f4.1.2 创建和初始化CLIFrontend 148# {0 ]" B0 ?/ [ b/ P4 O, @
4.1.3 PackagedProgram构造 150
1 V, {& B# s( P U" M4.2 ExecutionEnvironment初始化 152
9 J" m- W/ _5 u6 }+ m4.2.1 ExecutionEnvironment类型 152) C6 J6 w' G4 H" G
4.2.2 StreamExecutionEnvironment详解 154
, n& w9 ?: v' Z6 j4.3 将Pipeline转换成JobGraph 161$ O7 G6 h3 f0 w, M( Z, W
4.3.1 用Transformation生成StreamGraph 162
! w# L2 g) u* I0 A* I$ \( Z2 e4.3.2 将StreamGraph转换为JobGraph 169/ ~6 [ h) r* v. r8 L
4.3.3 将JobGraph提交到集群运行时 176
7 c6 D; v( M' p8 S( j6 B! K4.4 JobGraph的接收与运行 178& E3 C4 R; I; {3 Q
4.4.1 JobGraph提交整体流程 178
2 J3 T8 Z4 P+ O+ K, h1 ]3 t& D4.4.2 Dispatcher任务与分发 180
9 ]4 J7 Z: ?6 {- {6 l4.4.3 JobManager启动与初始化 1842 b" y8 g# O: f- g, I
4.4.4 JobMaster详解 188( v0 ]8 n: u) M! Y
4.5 ExecutionGraph的调度与执行 195
* X8 E$ s# ~7 f }6 n' H4.5.1 ExecutionGraph生成 198
& L* p7 f2 S7 B$ q5 [4.5.2 SchedulerNG调度器 200
% h4 }1 V9 H* M' n4.6 Task的执行与注销 206
4 ^1 k% }: ?& G6 X- u& A% k4.6.1 Task的启动与注销 208! w/ y" {9 d1 ^' r# P" o; ~
4.6.2 AbstractInvokable的加载与初始化 211+ [! a! T# |3 \( J% W& Q# t2 C
4.6.3 StreamTask详解 212! _! V9 m! U: b
4.6.4 StreamTask线程模型 2160 j8 y( ]( A. T t3 v" ~0 o* f
4.6.5 Task重启与容错策略 2230 P- ?) w0 U7 ^# A# l
4.7 本章小结 234 H5 H; q' ]) q
第5章 集群部署模式 235
( o6 Q* E! h: H$ W4 |5.1 基本概念 235/ Q% m* Y* r% s0 ^% H! ~& l2 V p7 X
5.1.1 ClusterClient的创建与获取 235
q u e7 I% O% Q7 h5.1.2 ClusterEntrypoint集群启动类 241
3 ]9 q8 Y7 R# }+ j+ t5.2 Flink On Yarn的设计与实现 245
# S" w" a) [1 B/ l: r: r! Q5.2.1 Yarn架构的设计与实现 245
6 @: L- V! m3 h) Q8 A5.2.2 Session集群的部署与启动 247% x: ~" f, P$ {) `' u
5.2.3 YarnResourceManager详解 253
+ y/ a) P8 B' Q; ?& Q5.3 Flink On Kubernetes的设计与实现 258
6 Y5 w. l6 q: z5.3.1 Flink On Kubernetes架构 259$ j+ D; P3 A! }
5.3.2 Session集群的部署与启动 261
' O0 k0 n. L6 `( ~* z9 U5.3.3 KubernetesResourceManager详解 268
, Y; S- ]3 C! V: O* W5.4 本章小结 274
9 j0 q2 M, D/ z! D( |. ~; @第6章 状态管理与容错 2755 C$ c% N" Q. @& Q
6.1 状态数据管理 275
+ B' U4 l5 ^, Y3 C) a6.1.1 状态数据类型 2755 ?$ m9 J5 h. x( \' t$ g
6.1.2 状态初始化流程 279* Q& h% _7 W6 _8 | g
6.2 KeyedState的创建与管理 285* G' t" [! a8 J2 J
6.2.1 KeyedStateBackend的整体设计 2852 ^1 ?: E, \" P
6.2.2 HeapKeyedStateBackend的实现 286
5 Q- v6 t( @. A2 Z6.3 OperatorState的创建与管理 295# [/ ]4 {9 @$ q4 o+ Z3 A
6.3.1 OperatorStateBackend的整体设计 295 ^& a, I" Z$ E3 h
6.3.2 基于DefaultOperatorState-Backend创建OperatorState 2965 G% i% k. d Y# w4 K5 G# ^
6.4 StateBackend详解 299& @1 _, A" ^2 y; ?' F
6.4.1 StateBackend的整体设计 299
3 G. w c. I- l) h8 M* \+ M6.4.2 MemoryStateBackend的实现 3038 p; F- [0 }4 y& l+ ]5 K
6.5 Checkpoint的设计与实现 308
" n8 T C9 J z( r0 C; W G5 i- |/ M6.5.1 Checkpoint的实现原理 308
2 ^- S! Y. Y* R7 N6.5.2 Checkpoint的触发过程 315
& L: G3 j7 g; x+ p9 t6.6 本章小结 341
) O* I( k0 j) U# N( D* f: o6 V第7章 网络通信 342
# K1 y. l0 t' s. C. j7.1 集群RPC通信机制 342
, A! {4 c7 P0 s' D1 @' Y7.1.1 Flink RPC框架的整体设计 342
2 f: I; q0 o! W: i, j7.1.2 AkkaRpcService详解 347, s" l6 ]0 Q( c
7.1.3 Rp * x; i- q8 E0 a" X& o
+ t1 o# k. R. L3 g8 l) Z
( U9 m' J: u. B* T) a' T) E百度云盘下载地址(完全免费-绝无套路)：
! ]! ?# D- C' H& I7 I |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
|
电子书
5036 人阅读
|
33 人回复
|
2023-09-01
