|
|
Java电子书：动手学深度学习 格式 pdf 电子书 PDF 电子书 Java吧 java8.com
9 k- S, ^4 @0 b
1 v# ?3 m- G( F3 F+ }3 F+ P, m, b3 X a3 g8 A
编号：mudaima-P0253【Java吧 java8.com】4 q$ g3 }- c0 U" K- A5 l0 u4 c
* h8 R2 N! U1 [; Q L' q
/ w0 M" B0 I& H. @+ t2 f7 p& ~' t* A/ z% q' x( W
Java电子书目录：第 1 章 深度学习简介 1
7 ?. L ^+ d# U* F. s/ ^
$ {* p0 l" J0 B% @: y. c1.1 起源 2
4 S' E0 _* D2 D$ D9 t
5 b8 V; @1 |; K' `8 ^5 k1.2 发展 4" Z, {7 q; _, Z# T; x' F \
% u/ I8 x* S0 u6 a/ W1.3 成功案例 6
# p! `$ C6 |* b4 \* h0 }% z( l
5 d. @7 ?% Y- I8 F1.4 特点 7- ]9 E& S0 u0 H# W; s$ [
# y* S0 j$ n% ^' }+ P
小结 8% `; K; V3 X9 Q
2 @& t% R. C" M. o练习 8$ k4 F5 c. N1 v% H% N
0 S* y$ g, f+ B/ w第 2 章 预备知识 99 B$ F3 U$ n/ O6 W, j
: l4 J; l6 ]' R. M8 b4 h* G! _2.1 获取和运行本书的代码 9
, x& y. I4 c4 r$ V* B% Q5 ^2 W6 v# u3 z
2.1.1 获取代码并安装运行环境 9
8 j: ^, Y* O. b$ Q/ W$ c+ g9 l
# H, v7 M7 z3 E4 X" c2.1.2 更新代码和运行环境 11" b. r, N# x( A4 b
, f) O# v3 W N) w2.1.3 使用GPU版的MXNet 11
6 N) k# a! l% \" W6 F; j! ?* ?
: `! d, O1 x% P小结12; u3 P4 `' B* g$ A8 _
% K; x( D+ B3 H% [
练习124 o6 p+ ~& `7 W6 T! Y+ d* T. i. o/ Z
( |2 l' O& q9 E( R" S( w
2.2 数据操作 12
5 a, k* [ J2 b7 R" D, n" }' A- A3 K4 `9 U3 P6 u
2.2.1 创建NDArray 12" A4 p7 @% s+ d/ S. ^ ^" c5 @
2 C: v9 x$ |5 w2 T( H$ o
2.2.2 运算 14
0 v9 ^, ?- N- ? n3 M5 c& V2 n, L+ r, k) Y
2.2.3 广播机制 16 g9 z0 n. t9 b2 _; n8 F
8 W- ], @% Y6 P* y5 Y5 k2.2.4 索引 17
6 X' l2 X* l. c; s. i$ X" K
$ Y$ d8 A$ e! n( K/ U2.2.5 运算的内存开销 17+ I, w6 u6 ~- Y/ R
: a% g0 c( h3 V- o. N% j2.2.6 NDArray和NumPy相互变换187 g/ u# I- Y5 O7 p
]) x7 h- |" T4 d
小结19
1 Z& y+ |7 S4 F- e& R9 K
. f K, X* M$ O; H3 ^练习19/ x, x8 X! ]/ @. l2 [! |
7 {% {3 E) U2 \, @' P9 x
2.3 自动求梯度 19
; | a$ e, x$ I2 K; w3 v" s4 Y: s% N+ Q2 n; p
2.3.1 简单例子 191 i! e* C" u9 o) Y- s0 u6 q( p8 K
6 C" n8 a+ a* b# u8 s- G, x
2.3.2 训练模式和预测模式 20
& d* z, @' L& ~7 L4 ^3 m$ \
, ?/ H$ D( `, W) m2.3.3 对Python控制流求梯度 20
* {# H9 F6 E9 F$ _
* h/ e+ a$ f3 S8 e* V小结21
: Z, ^! t" a: e* n$ g) p8 s- |
. \, G6 Z4 |! E( b7 C练习21
) E( d. [; n9 ]* ^% p e! [
9 W `4 l' y4 L) |# f2.4 查阅文档 21
% p% E5 l" R3 _2 H! ]7 m5 @$ t
+ [+ M& P: o; w- O+ B$ K) K) a. _2 x8 z2.4.1 查找模块里的所有函数和类 21
8 r. @$ |4 i9 p0 m6 W
4 j/ i! _" `; n5 J; U2.4.2 查找特定函数和类的使用 22
' O; m9 v/ ]8 _: d6 h0 `
- n- n2 ]) Z C# Y: b) d2.4.3 在MXNet网站上查阅 23: P$ Y+ t" w5 ? v/ c% b0 s
/ f( H- C+ o, |0 g1 Q小结 24- y! J. Z( _1 Z4 |0 k c
U' q# K6 `9 \4 {" C练习 24
& ~9 o% C' B, F4 N. m- `1 c/ s4 f1 g* C: N. [# V- ?2 Y) x
第3 章 深度学习基础 25
) k3 B3 Z9 ^% I- t4 a) O+ C$ s2 p5 s; q+ ?( c3 H1 \
3.1 线性回归 25
, Y2 k* W# f% J- X; j' S( g" ]# Q- [. ?# d+ ?. @& O6 D5 d
3.1.1 线性回归的基本要素 25
, `4 p& H. F4 w3 r3 O( X
3 ?$ x6 `0 b) A2 n3 P; X2 M9 O3.1.2 线性回归的表示方法 28+ t( H5 O8 G U0 ^' u
+ e# p5 p3 E& Z小结 305 C B: c% {& X: c6 I
( n0 m3 \% F" n$ K8 v* F, M, s: c练习 30+ \3 _+ m: M- `" \& D) B4 ?
, q9 R* a( }( V4 ^7 V' d
3.2 线性回归的从零开始实现 30
+ [# q5 X% H, I
! g/ j5 w1 i+ L1 r4 G1 F, x3.2.1 生成数据集 30
( v1 p1 B: M! T" u7 j
; N" p% N+ }; L6 L3.2.2 读取数据集 32
$ q+ L6 `2 z5 c/ U: ~2 u* ^( G N; |
3.2.3 初始化模型参数 323 M3 Y# j1 {7 D. Y4 n
' O8 [9 d3 L7 ?' f8 h' x8 }
3.2.4 定义模型 33' ~# S& v6 R7 f. }! o
/ D7 q% h/ J3 q/ P5 a& q/ n3.2.5 定义损失函数 33
& z6 r. a0 m% }, h
- A* `" y- o% ^& e' T3.2.6 定义优化算法 33/ W1 |' Y2 _5 l: j) U* R; N! {
2 B9 d+ P% q+ G3.2.7 训练模型 33
) }2 O/ |" _- W8 A7 S/ i/ t3 y! |1 d
小结 34+ h W% s* n& L# l9 m c# n
7 s! G1 w8 {4 Y C8 t, j
练习 34
: N' y) c. U) v5 U( u; E0 J+ o& H
$ G: v; ~# Q3 z$ h3.3 线性回归的简洁实现 354 [; o1 @6 c& l, K9 I
2 M" U V' N! x# y# c7 c2 B! b
3.3.1 生成数据集 35" ]+ H, f; m$ M7 @1 ~2 _1 @5 {
$ d' ^0 j4 z4 e& K: d. Q# G( ^3.3.2 读取数据集 356 Y% G- h9 J; a
2 a& k6 Y# S6 ?7 g+ i3.3.3 定义模型 36/ d& k' Q8 a& y$ R
1 O$ J6 x: [" I/ n5 ^; O: I9 C
3.3.4 初始化模型参数 36* [ X- v3 f3 |" g
7 X7 p; C) C6 h2 z- G9 C3.3.5 定义损失函数 37
$ K2 K: f) i: P
f. J: O ]3 m3.3.6 定义优化算法 37: u, R9 K" F: o# l; U( H* h% D& F
3 i/ I& _. z' |+ P
3.3.7 训练模型 37
4 c5 U6 Z& v" Z2 p ?- g* g3 V/ F1 R0 V, [4 `$ {
小结 38
/ Z1 c; G3 @6 o, K0 a- d
3 c% s, P% i0 l( c练习 38
' @+ D! [0 r' s9 w* N: D; |& @2 C7 s5 Y
3.4 softmax回归 38
, V4 u: I6 k& ^$ H) ~# s
. l1 f, ?. d. g! l) |; G3.4.1 分类问题 382 f+ }! A% ]. ^% q$ ]
, U7 t' `8 D: g. T3.4.2 softmax回归模型 39& R. ^1 X3 U4 d8 Q" }8 ]' L6 t
0 K U0 e, _8 R/ Z3.4.3 单样本分类的矢量计算表达式 402 e* F0 B3 a" d/ }" M
. D* r5 F- q( ]3.4.4 小批量样本分类的矢量计算表达式 40
, v0 x. Y% A6 d% T" g2 L) K& O$ ~
3.4.5 交叉熵损失函数 41
. K( S" i% ]8 d p, O7 V; L. ^5 _
3.4.6 模型预测及评价 427 @7 F9 s/ c+ Y, X2 L
1 p$ S3 _+ G5 B! J小结 42& a5 X# X$ O2 p3 F
" R, O6 S9 p2 B* P: w0 h
练习 42
. q1 T s3 _3 V) L
! ^$ U g j/ ^. g6 S$ ~3.5 图像分类数据集（Fashion-MNIST） 425 F1 R( c, O' ]+ V3 d' Y# Y$ w6 W
+ N/ u" ]! \" U+ i3.5.1 获取数据集 42
# n9 X3 o) n. ^8 E' i+ D$ p% |5 a2 U( E- _
3.5.2 读取小批量 44% F- Q# I) s6 A) L
( {( D9 N+ k, ?/ y
小结 45
4 _ [# y% K5 ?; C
, f6 v+ x4 B. Q% ]- k& a8 [练习 45
5 Y \& A7 C, I7 d# ` E( {" F3 X8 K* T& l# N" W
3.6 softmax回归的从零开始实现 45 b6 ~ C$ ?& L' t+ Q1 \
: n- @/ b: S2 Q# p
3.6.1 读取数据集 452 N8 x" S( @" D' P& [' m
7 K0 y: R! M+ h7 T- K- m: @
3.6.2 初始化模型参数 45
5 r% C( R P8 q, H2 Y
9 k, J3 p3 @; L9 m+ S7 k3.6.3 实现softmax运算 46. ?9 S5 E, @' M( [( h" R! _
% W0 `# u, |9 d1 J9 F
3.6.4 定义模型 46& P% Q$ C, ?1 q) f
& i8 f- A; n: e3.6.5 定义损失函数 471 |# G5 z/ M" e$ x
, C( ]7 x$ N2 @% I4 C
3.6.6 计算分类准确率 47
$ x3 D( h _" Z- n- r
! t# U m% z# _! V3.6.7 训练模型 48
3 \* _& ~# h1 m% Y( w" d; U2 i6 b# L2 L& U5 k/ o: G
3.6.8 预测 48
* c: k$ n# ]3 i, s ~- @6 O; b8 V |
小结 49& f! i4 ~+ o& l- g( u2 n- s( d6 Y& [
7 Z: Y% i7 m$ ^练习 49& F) g/ g7 d! M( P9 H$ X! `5 N
0 t! h: E7 Q4 ~3 N0 S$ G3.7 softmax回归的简洁实现 498 p& y, r2 i$ l
& F, N' Z# ^ o6 `: z4 U. C
3.7.1 读取数据集 49
' P g" e) N2 E5 z! R" Q6 K$ F: M8 e; K3 v
3.7.2 定义和初始化模型 50
( h P' a8 l2 @1 K5 y- m% p
- T- A4 n9 K( g* D- P: a3 d; s% x3.7.3 softmax和交叉熵损失函数 509 z$ _/ f& `: \" h
; T) I0 c& Q: x" E& x/ {3.7.4 定义优化算法 50
0 V! J% K% D' s0 j& d. T& [; Z: a
3.7.5 训练模型 507 X; J! l! r' x! O
m! f3 U, ?5 W& ?4 |( B/ M
小结 50
" v7 Q7 ~$ K; H+ g, m/ t; c* E% }( i4 f! V8 R* U- [/ S" `$ J
练习 50
" k+ Q- F' i% g% B
/ v' l c% i+ e s+ ?3.8 多层感知机 51
: G5 e3 Z+ T7 M' r
' G5 I" G0 x- }, }% a3.8.1 隐藏层 51: V; U+ }, t: D& ]$ O& j8 T+ h
o, G/ \2 F1 _2 k
3.8.2 激活函数 52
- q8 }6 W" y" I9 S& ~9 e! D
3 C; R( k+ a' o3 [2 m3.8.3 多层感知机 55
8 P' \4 _ @8 b1 N! ?" i- q" X3 E( z2 j
小结 557 e+ o9 x( o$ h; ^6 {' k
- D: p) s$ J0 d6 S& C8 _练习 55
0 P. }$ x- D( R [
6 V1 y O: h/ E3.9 多层感知机的从零开始实现 56
7 w* n; Y4 u4 v/ b. r0 v1 r3 A% n# R
/ ]) q7 g, m8 t) ^9 y, \3.9.1 读取数据集 56; R. p% |0 }4 [: F
" f1 F* o, x$ a% K+ ^/ j( ~3.9.2 定义模型参数 56. w, z* \+ {0 c6 ^6 B; ~# {
$ o- p4 y; K a: Z7 k) G: P+ i. j3.9.3 定义激活函数 565 g' Y. a5 j7 t. ~1 Q$ j
6 W( o9 X6 C; ?" h u
3.9.4 定义模型 56" Z) ]# E, d+ W6 K7 r
# s' y' g% e7 G3.9.5 定义损失函数 57
& ]& n' O9 k% u5 w9 |8 C6 Y
0 R+ F7 ]2 q3 b! m3.9.6 训练模型 57
" t& i: Z" r' \- O% }: O
& e* Z z' K8 |* c4 ~7 Z小结 57
4 S# ]" F* x. a% i: }
) f0 W, ?1 ^( c. i1 l练习 578 e8 | l G5 ~( a
" e: c3 d& }: }0 D3.10 多层感知机的简洁实现 57# w, W, B2 i/ `/ V+ ?9 ~4 m8 o
8 W- @ D1 G0 P$ Y* A* }; W! ^
3.10.1 定义模型 581 Q7 S, [: t' W% M8 L- h) m
/ \9 v- o. f! T! a3.10.2 训练模型 58
G7 b2 M! v% A% d! [! m) a: j* s* `2 Z
小结 58* m! ~. s. N# W$ \
; ^% Z4 x# ]# Q# p) Q! L
练习 580 ~( Y c; q7 u
4 W+ o6 H% b; N; o5 \" b( b
3.11 模型选择、欠拟合和过拟合 58- R( `' ?2 A: d: A- v
& [+ O( @" b7 H* c
3.11.1 训练误差和泛化误差 59
- u7 N. M) m. y. S8 M' G5 D9 b$ l2 D) h( Y7 } U
3.11.2 模型选择 591 ~) ~+ Y" k# d( T
: Y# U+ p, g8 h; U& A0 P! o3.11.3 欠拟合和过拟合 604 m; d- t" F' Q' {9 L
4 M Z3 C% V8 c. G- ~0 [8 L3 r3.11.4 多项式函数拟合实验 61+ a8 G- g4 F4 E. t. `
1 [" V. t8 w2 v, |小结 65. E4 A* D$ b1 b8 U K
w1 U4 x% p1 M+ H练习 65
4 B/ v' }" Y; R5 U. E5 [( v1 U
( p6 M& O% U5 o5 o; K( F) ]0 ~4 e3.12 权重衰减 65
: y2 L, \0 d/ O# }6 k" }1 R6 [) K
% T, [' Q$ ^. s* [8 _5 q3.12.1 方法 65" i/ K7 W& l( C* B/ t# W7 H
2 z) y1 w7 t% I: g) j, p q+ E5 P3.12.2 高维线性回归实验 66, T5 m+ `' ~6 V% c3 o5 k
! S9 j, S. h0 I, h, _3 T3 H1 f. I4 K$ C3.12.3 从零开始实现 66" I- w/ w) C) ?0 \6 ~5 a
, y, n0 i! W3 V+ h- j7 i" J: h
3.12.4 简洁实现 68
' B& N$ ^, ?' I U) |
2 M; ^. x* U9 Y) P3 @小结 70
1 E5 V8 Y) P) v1 O% H) J4 R( h8 B: z
练习 70: d9 R2 e3 d3 _% ~* d E
4 ~. o' |8 U" O4 s' I' l N3.13 丢弃法 70
7 R# }5 R7 m+ u% X8 b
& X! }* D$ E% e! z+ M3.13.1 方法 70( c+ q1 m. m" }
$ p( _+ C( \$ W, s. w3.13.2 从零开始实现 71
, | i# M5 T; ]! i# V* H9 u" s
: D1 l, b3 Z; \ }& W3.13.3 简洁实现 73& a; O+ d1 o) Y) D
$ S- T! Z: ?% l, g* ~
小结 74
+ y" ?* P& w3 j' s0 {. w8 x. ?( I& V- O
练习 74
; V4 v" I) s3 {6 a
( w5 e9 c l+ j3 J4 |3.14 正向传播、反向传播和计算图 74
. X0 V3 b' h" H" ^; j: E. B1 O; q& r/ Z( u$ o+ I U7 P' W! p
3.14.1 正向传播 74( S% c9 ~9 e7 x/ W9 P1 T
& J N* o% D$ e% z$ W+ L
3.14.2 正向传播的计算图 75
7 [+ i2 y, E) X% ^5 z: _$ p2 Z H0 B+ s
3.14.3 反向传播 75% Q- }$ ]$ ^6 b0 }" u2 C. @+ ~
5 D: n" A" L) c" |3.14.4 训练深度学习模型 76! o4 e+ _. J$ d; z
) u. {, D$ l8 _0 ~7 T4 l6 R小结 77
$ j t, g( D1 p# R4 N! R$ D# l
1 j7 ]/ `$ H- e& j练习 770 Z0 a) e& ]/ _/ f- O
0 I# x( {5 v; n: ]; q
3.15 数值稳定性和模型初始化 773 q" b `- U) _- |* F
0 y( z( z$ M# K# _3.15.1 衰减和爆炸 775 N4 C7 \8 O. H2 V. A2 o# i2 z
2 e9 O; D1 ?9 W0 W. z+ e
3.15.2 随机初始化模型参数 78
2 u4 R/ a6 ^/ o# G$ |& S( D8 D1 I6 S* ~
小结 78
6 c; \) Q3 y" b& d
, `' @- w" |; Q" O! T练习 79
9 Z7 V7 P, F6 I3 V; T6 m! x1 B* q8 W" d- H0 m3 a* G9 {' b
3.16 实战Kaggle比赛：房价预测 795 t6 f3 r! y* I `) P7 L
2 }7 C7 j5 K4 y- `/ c+ {3.16.1 Kaggle比赛 79$ l; Q3 h/ e9 q" @
0 q( q c: }9 S: j0 N" c- |4 K3.16.2 读取数据集 808 I: N- J( _$ e/ |, } R! S
; u5 y$ F; P2 u3 c3.16.3 预处理数据集 812 ]9 X, P4 W; r3 b% c$ g
. H9 \& k' k: R' b
3.16.4 训练模型 82
. ]* V0 k( @+ g+ Y7 G5 V
" d, S5 }8 |& ~" U3.16.5 k 折交叉验证 828 H$ o* E4 w3 U3 V
0 Z; T! }0 z8 | C
3.16.6 模型选择 83
8 _! k1 A+ h% W, `3 T. a! C# n& k8 d
3.16.7 预测并在Kaggle提交结果 84) q, ~* h. `- k
! P4 ~3 Y# ?/ D+ \) j3 d
小结 85* W# D. w6 U# \: R
4 `% V. Z2 k1 e1 k; a1 G% q, g练习 85
2 K) @+ m1 E* `1 j4 n X. J; z' b2 I) U& U6 M4 w
第4 章 深度学习计算 86
S' j- U2 T9 q" ^( p# b* P: q% F- ~2 k' {, c# C
4.1 模型构造 86
" j+ w$ c) k0 I" B0 K7 b S- u( m' i1 m3 A( C3 {
4.1.1 继承Block类来构造模型 86
2 b& U' {; s* F; `
3 V/ f9 F( m0 }; d4.1.2 Sequential类继承自Block类 87
- t/ J% Q1 k p5 _
, C# n. v5 [9 _/ |4.1.3 构造复杂的模型 88
2 x1 L! N- o; q/ z5 w7 D" [
2 Z9 v6 K. K$ m9 g1 m小结 89
. ]/ H& S1 {/ w6 \; q- J* Q/ V9 r, N" B4 O3 F# s3 M
练习 90
( V g1 } ~' f4 s7 l0 w5 w H; \, F3 P% _& d) @$ ^/ P' ]
4.2 模型参数的访问、初始化和共享 90+ G+ e' j( z- E( M9 t
6 y' S( L7 p' `6 b( m4.2.1 访问模型参数 90
! w; E; X9 L0 e
0 i1 b- M9 \8 ]1 _& V- A4.2.2 初始化模型参数 92* V K* j' j+ S* E
5 K9 d. \' C+ @8 g% b
4.2.3 自定义初始化方法 937 R: d! E) j' A0 y
2 H+ F: \+ S* s, E3 N! G) B
4.2.4 共享模型参数 94
2 t0 Z1 w' `' `0 S% [5 k
8 t C; S! c4 [$ z% i# T* P, D5 r小结 94
; H" A$ I" \& L4 x Y* _7 B2 z |. E' @! `3 [( O
练习 94
0 t: l2 a, b' H5 Y R) H2 r* O6 K. W
4.3 模型参数的延后初始化 95
; M6 [, ~, Z5 G6 V+ N8 g3 F3 m+ N
/ j p: G$ H# A, y3 O) k4.3.1 延后初始化 95
; P$ b. n, L1 m# a9 U4 ]- r/ O( [+ U& U
4.3.2 避免延后初始化 96
6 ~' W2 o7 j' x( z
P" B. n: g- Q% V! n( ~" P( d' a( i小结 96
# B) A" Z; Z5 B! e- c
) Y# D/ [8 N5 b6 ]: |9 ~4 d9 e% b练习 978 [7 j+ n n+ t! Z8 j9 b+ H
& Q* g+ }1 ~+ o. U& L
4.4 自定义层 97
' k, Q+ j" [3 O0 |* z. v9 m1 F; ~" l7 U8 f; J7 `; `
4.4.1 不含模型参数的自定义层 979 K) v3 I: v" T$ T
% Y$ ]9 q$ D8 f, t
4.4.2 含模型参数的自定义层 98
2 y2 H5 Q" q% b$ t2 q
7 O- J* r$ O ?% p小结 99, e5 @9 M1 Y: @ ]6 }0 l. G
9 g, o! r: o# r2 T/ C练习 997 o4 t E$ j$ i6 M( H0 l
J% ^0 u+ F, K8 r6 _4.5 读取和存储 99
9 Z5 P# T: M4 X" ?) b
% k. g, @ v+ Z: D9 P4 \4.5.1 读写NDArray 99' i! R# g# o7 B% I
z% P: R7 q+ x; V
4.5.2 读写Gluon模型的参数 100& t e& j7 u: O$ m
) l& X* T( r$ V0 H! W* D/ c小结 101 g' W+ F, `' J2 Y% S& Q
5 t- M' }: i. B, `! r* t
练习 101* Z6 Z# K6 o, f& T- ^9 {
3 d3 d% G6 a/ A* n& f4.6 GPU计算 101
, }) z' r& e5 K2 Q2 |% S* F8 ?$ [0 R9 e# a" _+ B
4.6.1 计算设备 102
, H' u5 ^2 x# \# m7 A, V# j+ ]6 k
4.6.2 NDArray的GPU计算 1024 P2 I( K4 W9 D& M5 ]
- |( b6 X7 s& i2 j) a, u g5 t6 R4.6.3 Gluon的GPU计算 104
5 e1 \% F. r& x0 j Y: Z4 f$ t: ^4 }& d; b3 y+ B0 P# x
小结 105) @; x$ f! e" u7 z% O5 V
, x E' @3 W: Y! D. X练习 105
$ f6 b+ c* u+ E* X1 u9 H4 V1 D, O6 _8 h Y7 V$ f- x
第5 章 卷积神经网络 106" ~. w5 |: d0 }! }. O" d f1 @* ?
1 Q+ \* L/ u8 o; J7 ]7 G5.1 二维卷积层 106( k* r' [- ~( C
0 I U* ]" S5 f8 |7 Z5.1.1 二维互相关运算 106; ^. j0 G- g4 `* y; Q' n# x9 i, h8 Y
; T9 a0 {) B+ s/ u/ d: }! r
5.1.2 二维卷积层 107* V0 w2 f& Y* {( E5 ?8 k( }
, R! z! p# x: m7 i+ m* y1 ^5.1.3 图像中物体边缘检测 108
- D- S- I1 E3 L% c- ? B* @( m0 j- g& H/ a, c" R! E
5.1.4 通过数据学习核数组 109
/ H+ V" B* g0 l" ?1 h( g/ X1 k; \
- [! }% U- d; v5 ]' N6 p5.1.5 互相关运算和卷积运算 109
/ s+ p- t$ k1 d/ V( b
2 }/ r) ]9 x( r& W1 X& ~/ C+ i% Q5.1.6 特征图和感受野 110
- P5 L7 B0 y1 O2 O! [0 U
+ V' X$ l( W/ P+ J% b小结 110- k4 a( U0 \1 @, G
4 h6 n5 g+ m9 }2 U6 e, |
练习 1101 C3 x$ Z' J4 x
2 x, l9 D2 ^6 w* j# f3 U6 E' n- b
5.2 填充和步幅 111* {) r Y+ s3 f/ z
5 A7 u. E9 i% g* P8 `2 ~+ V5.2.1 填充 111' J D2 I9 D/ p" |) c; h9 D! }
. q- R6 d) |" W6 d; W
5.2.2 步幅 112
1 _1 T, S* U) E+ [+ p6 v7 S& }8 ?9 D# q/ w6 O
小结 113
# e% ^8 g1 q9 J& V
5 r2 j9 R. Z) h2 b' i# y: H练习 1130 X7 c3 b' r, p, m6 }1 X
3 q4 }0 R% F6 S5.3 多输入通道和多输出通道 114
! a, N0 ?- A4 S7 Q
8 P7 ?. q# D% u5 n6 T5.3.1 多输入通道 114
* a7 i, H$ {+ `, o' @9 Q1 w9 f3 j; ?% n3 o9 Z
5.3.2 多输出通道 1154 V) D2 ?6 \5 v! y' a) k- x
7 ~! N( v3 b' O" _
5.3.3 1×1卷积层 116; p* @" d" y, w' i* W) r
J" `" M! E+ h" j) {
小结 117/ D- S$ }2 D, h9 @8 U; d1 @
+ d' K# F. m9 u7 i* l; {: m
练习 117! U* B: _2 T5 m( z( \9 A+ i# Y/ @7 L# a
; v- Q5 V1 B7 k6 Z3 I/ ~( I
5.4 池化层 117
, J6 b2 X" Q% P. }' i ?$ w. D/ ?( x$ e; E1 Z" M' B4 @, b6 S
5.4.1 二维池化层和平均池化层 117
. ]: e$ k5 s6 H. S \
# @6 F9 x% W& H$ n5.4.2 填充和步幅 119
( f; v$ `/ r8 i0 [/ Q' B8 h
8 B8 X5 S) z5 ^2 o4 p5.4.3 多通道 120! O$ ]) p2 C' F3 i
% q* [7 j$ A( d( I. S6 I- ]小结 120
% [5 A5 N, q$ a) }% N6 Y3 }& K5 X. ^$ w
练习 121' v% t9 B. E r \( o
# {6 r! X) G. t! K U( W6 `5 P
5.5 卷积神经网络（LeNet） 121
9 O) ?- d1 M; r2 F' l! z* A
0 f1 W5 F( |5 p, ?5.5.1 LeNet模型 121% Y" g/ M# Q( c7 E S6 c
$ ~% V1 N' [; n# k. V9 a* q5 P
5.5.2 训练模型 122, S" S4 z4 ~9 f
$ P6 o( ^, e9 |' W0 j i8 o
小结 124( f# T( p( _8 U" T7 [$ J0 ]
, S1 }* B4 {2 {# J. T练习 124+ G1 U1 R9 T. U. b7 i1 O; `
' z$ B4 a- l$ @& w5.6 深度卷积神经网络（AlexNet） 124# B# m* {6 Z; z, k
, Y* |# Y* b( ]4 L& L5.6.1 学习特征表示 125/ |6 G! F6 X) h' w
K' D* E ^% w
5.6.2 AlexNet 126 [, o- O0 Y# D- X
- P1 S7 I& W, [/ o0 @/ n5.6.3 读取数据集 127. x$ X+ n- B5 w; g5 \" h% V) M. `
H; \! D) o. M! O3 q3 B; x0 z, d5.6.4 训练模型 1283 V" u, N' u/ m1 C7 f
; C4 h, f7 I9 c# j. R. L
小结 128% D$ B9 T' |! n
" t p3 t7 L5 o. T5 n9 E练习 129: W! [, Q3 c) u y% w8 Y% E) Y$ [
" e, G& G+ d& a4 k2 K" U; s5.7 使用重复元素的网络（VGG） 129
( p' S: X3 I' r, E& _3 i* u6 t9 w2 y3 H' }* A6 T! B
5.7.1 VGG块 129/ k1 S( O6 {% b
9 ]# M8 d7 u: U! {" S
5.7.2 VGG网络 129
/ N" l$ `0 w# k6 @, H) r( K' _6 o" e+ A5 W4 o
5.7.3 训练模型 130: s4 K) x1 F/ x2 J& }# Y, V
4 k) b; Q1 R- \3 F! H
小结 131" F4 O5 \8 ?# n" l1 |( C3 c9 g; X' M
8 m& b3 w6 e* x, p0 E6 n练习 131- Z$ w' u3 `0 @6 v# C$ D
& N- l6 R% P i9 M
5.8 网络中的网络（NiN） 131& x/ P8 L4 c# S8 q; X
5 n" N8 J! J" e
5.8.1 NiN块 131: D# E8 U! L! X; G" ]. e5 Y( C' z
: I3 B3 \8 o' z2 f, ]
5.8.2 NiN模型 132
2 V$ u% X0 `4 i/ F% J5 I8 F. Q' I; N8 D6 Z/ s
5.8.3 训练模型 1339 _' h1 z# W3 ^7 R- A' h
( i, w: D! G L小结 134
b2 R# z- m# U! B: @
8 e8 T. t5 o' F8 f练习 134
% ], O7 ]/ I* t, L- g3 R1 r
1 W+ `* F$ U. C- _1 I& n/ i5.9 含并行连结的网络（GoogLeNet） 134
! J: o4 @# u' w' F7 C4 ^/ q' w, q
0 b! X' X; c# s( m* Y5.9.1 Inception块 134
- _1 G' q, j* L% S/ i r; d( _" x/ m) |6 @, ]
5.9.2 GoogLeNet模型 135
) l' P# s, Q3 ]; i: M- d
# t" K' K" l6 ~+ L$ s5.9.3 训练模型 137
7 ~# u! t0 G$ e- }! o. x$ Z( a& Y- u
* U" Y& l& F; P2 g! j( R( y小结 1372 ?$ Y! R8 Y. {3 O
) o1 C# c2 a# Q+ b
练习 137
* b7 `# _0 b0 |+ P+ `' M0 c0 @9 S6 \$ M" V- _; [3 p3 q1 u
5.10 批量归一化 138' n- a6 s& _. X2 W }
. d [* s9 \; g4 c, `8 N8 N) X; d5.10.1 批量归一化层 138
, ?0 y# K* h5 j5 `2 f5 a- a9 g% j/ K% K: t! s- |6 I6 S% O* i
5.10.2 从零开始实现 139( e9 P0 \! ~: S! p/ S: n
( o" Q& P1 e2 x' V# w. A, I. b0 ]
5.10.3 使用批量归一化层的LeNet 140
& c+ H" `9 `: d
# T5 ?" d6 I) i3 P3 S( _$ p- l5.10.4 简洁实现 141! F; ]3 M3 p6 t0 F
6 M7 \1 G3 \) v
小结 142, z9 R, e8 |3 m8 V# e8 M
7 W& {( k5 w- p1 B7 S( D
练习 142
5 C G: I5 r ?5 @4 n9 a9 S/ ]$ p' f2 r" o# r& S5 M* [% X2 |6 z
5.11 残差网络（ResNet） 143
3 R& m: g6 Q3 c% ?5 \" B% F0 Q9 \) l+ f( @7 a4 b8 `
5.11.1 残差块 1435 z# H& t8 p, \1 g3 X, U
" f& Q4 H/ L. j
5.11.2 ResNet模型 1452 |; \& N2 G0 h1 d6 B- w2 c
& z3 F' G1 [0 q1 d
5.11.3 训练模型 146
) x7 f! i5 V+ t8 N* e6 y
: O5 q6 {6 @9 U# j4 ^小结 146
0 r0 ^3 S6 z; t( ^6 A
7 R7 A* |& w3 f4 p练习 146
( u% c( H5 m% M$ W6 {, x: w: y
! |1 ~9 a$ Z y6 @4 ]' x6 V1 I5.12 稠密连接网络（DenseNet） 1475 h) T2 i) ^8 j; B' s9 S$ D
6 q* X' h8 Q9 e) x7 r
5.12.1 稠密块 147
; o4 Q8 ^& d. A* Q# B4 ]; s" S% I% F1 F+ n% q
5.12.2 过渡层 148
+ a6 E3 O. d( P6 }7 Y1 ^3 w+ k& I* d/ S% E) L9 n# N1 C
5.12.3 DenseNet模型 1483 x( _" w/ [- a9 B1 H
. K9 o3 z0 N0 o5 }% U* k" x# x) C
5.12.4 训练模型 149% {1 A9 E2 l" M
7 v7 j# E. x; `& _1 h
小结 149+ t- `# a& L7 C+ S( X8 K
6 f* C. p, \- M
练习 149
5 ]0 h3 J( K3 l0 ]- G4 ]1 R% q& n) r8 p
第6 章 循环神经网络 150" E2 I9 ]; M$ i+ V
$ z7 Z, F6 R4 m/ K- o( N6 d; u
6.1 语言模型 1504 C q6 i2 h! g$ @# R ]9 Y
% T8 O2 b1 `' E m& J) r/ ^
6.1.1 语言模型的计算 1514 y: W3 y1 \; j3 a" Q6 m2 p
# G: h' q+ T0 @+ E6 }6.1.2 n 元语法 151+ r+ M6 I% ^6 p% Y
6 r2 ]. R! h% r+ p
小结 1528 P7 j) m& Y5 p+ {% h- r# L
: ?$ M7 R% K- v4 f9 f练习 152
% ?9 u; U# J! x' a; i9 B8 M. M, [7 P7 j. F6 |" B" U2 D
6.2 循环神经网络 152
2 ?4 \% I; u- J6 I9 t0 e
3 z: u; d2 l- b( y" i) p6.2.1 不含隐藏状态的神经网络 1524 L3 H8 `6 r, N: }
9 I. n+ G" U! L) x- Q2 P4 F6.2.2 含隐藏状态的循环神经网络 152" U8 S6 H5 E6 {% r" }
- i( U; K/ D# d/ e0 [/ Y. H6.2.3 应用：基于字符级循环神经网络的语言模型 1547 i7 ]9 a2 W1 M) \
+ L* O% n: j1 `8 E+ U% ]. E6 x+ Y) M小结 155
- X2 u% _2 V p8 @9 ^2 f y5 H+ l$ f0 c" Q, T [
练习 155( n+ a0 C7 x& G6 W9 m, U
h% T3 @3 j2 L" I1 a+ k+ o
6.3 语言模型数据集（歌词） 155
, r! Q; S1 y, t5 c; W H! Q. \$ J2 ]* J U3 l! _& Y/ Y
6.3.1 读取数据集 155) w* I. g) a4 o G8 d/ G: e
" H- `3 I- ?0 a5 F6.3.2 建立字符索引 156
/ s4 T0 {0 D3 n) Z7 k
! R+ v$ J1 _# t* z6.3.3 时序数据的采样 156
9 j" O& L# t6 U# X0 f. Z" A7 D4 @- n4 m# Z% ]8 O9 x) {# X5 q
小结 158# w- e6 q$ C- l5 P
0 N9 i M4 o3 y1 a/ |8 [1 o' W2 c! Z练习 159/ {! I" W& B5 T6 F
# ~! m( B+ Q. j
6.4 循环神经网络的从零开始实现 159! o: K; O9 ^4 i* h, d5 s* _6 Z, i$ h1 N
' @& w. e# @# G6 D7 W2 J R6.4.1 one-hot向量 159. w* S- A5 c% J2 J
9 k, @' M- r+ }9 V4 |% J5 l% O9 @& \
6.4.2 初始化模型参数 160 [" d) Z. n/ ]- j5 i3 ^' @
) P, j2 [4 u, Q4 x# Q: D" |
6.4.3 定义模型 160
+ J/ w" |) h1 P3 t) Z) R3 z- A% b7 L J4 l3 S" h7 n& W1 y
6.4.4 定义预测函数 161
7 K% \- n+ l5 ~+ J. S) @" Q. V9 v. q3 i6 W
6.4.5 裁剪梯度 161% T: j/ V! i; Z+ N
+ y6 C, i8 z; D4 [
6.4.6 困惑度 162
, X8 A& H% e( P
( @1 ]5 S# _5 @0 G' b7 j6.4.7 定义模型训练函数 162
3 d r0 n9 R7 d c
4 p% q* C: R" c- ?8 D6.4.8 训练模型并创作歌词 163
; V# n+ {* v/ e' r2 k* [4 i. W" a) b, W5 x
小结 164
! b: {1 T' N+ R& h
1 m* _2 r v$ [& V8 [! H# @练习 164# g/ J2 |* Q7 R9 g9 q3 v
! U4 f& m4 n+ G9 x" i0 O1 }! F
6.5 循环神经网络的简洁实现 165% ?5 C q( i, L z* ~+ S. @/ {6 N+ Q
# X: U j, C" V" f2 j' `
6.5.1 定义模型 165
# Y* ~8 M1 n, c, |2 ?# Y; g* L) l% E; {& j9 d
6.5.2 训练模型 166
' G; x9 G" i/ x& ?" |6 e( |. Q0 t$ |. Q
小结 168
/ ^/ z. W" k8 \% R3 H% `6 H- u4 f5 X& x7 [) T
练习 168( s9 X/ d- U: i" A9 w. R
$ t" I# g" @) ~. q
6.6 通过时间反向传播 168
# ]$ X1 ^# o) h3 B' P7 g* ]- [2 ~+ D
( d! ]; N! ^6 K {6.6.1 定义模型 1686 q0 y) M' \3 G
6 H) v; ?8 Y$ O+ _3 }) g: J1 S6.6.2 模型计算图 169
( F6 X% O" Y, S
# C; u/ D5 ?$ c6.6.3 方法 169. ]. v1 b4 O1 p5 \
2 L. b* s$ r1 X1 d- x小结 170
W: k8 S% {$ d# b# C' m& a- X
; V) H$ `& G& z, D& X) R练习 1709 p$ P, c9 t3 q2 D
& d' ^: D6 l( L" I- [
6.7 门控循环单元（GRU） 170
4 ~5 H9 t! r( I3 s* ?# {
) J- o4 W n* O* t. ?" c6.7.1 门控循环单元 171
5 I7 a: j5 ~8 b
5 ~- ~- b0 I- ?6.7.2 读取数据集 173; f) u9 S) V# N
3 V y2 w2 }! Z; d% y
6.7.3 从零开始实现 173; h/ I0 K, i6 W, ~
& P4 _- S* e t& E1 |0 q/ C( i5 x/ x
6.7.4 简洁实现 175 e7 |# ]0 R) s& v/ ^. m$ _) Q" E
* V6 X; R( D; Q
小结 176
5 V! o7 F% A' M: `* B; f( [* ^0 u+ Y5 F
练习 176# z2 B& U$ y5 _1 g' Q
6 T5 e2 F+ O/ f
6.8 长短期记忆（LSTM） 176
3 S8 C9 Q& t$ r% A0 g& p
8 [# i- J( s) P' e ~/ U7 h6.8.1 长短期记忆 176
) T+ V1 `) O/ O! x O' b/ G/ F& y9 c t ~$ H4 s0 L. \2 V% f
6.8.2 读取数据集 179+ Y2 q+ B& v7 O) ?, A( [
# T! T: v7 u5 g' ?5 `4 k8 \/ j; S5 i2 L
6.8.3 从零开始实现 1798 p+ B. K: a! {
/ ~4 R6 m3 C" o1 V6.8.4 简洁实现 181
4 X( b7 [& Y% P% s6 \9 l) K5 M; p/ \1 H! H- R/ _3 O
小结 181/ y1 N3 ?! G `( X4 r$ D+ h8 Z
" h1 j: V+ p2 r t1 f% D5 U
练习 1825 ~* o! Y' v' q! S$ d& ~
) o& E0 |9 G% o6.9 深度循环神经网络 182
* v% O2 w, F$ w! h; B: Q2 q9 x7 y7 G. C3 v8 U
小结 183
8 [- a2 r1 V1 X! d6 b
& _- m2 F# L# Q: `( x4 n练习 1834 }) B5 S& A% q3 B- _" z
2 r# }# [, ?- H3 M* h* `
6.10 双向循环神经网络 1834 N2 t1 ^# x% L/ G, [1 v) m' x& Q
& Q. i) n3 H3 K- Z: Z
小结 184
& Z8 S- W' N2 j$ T. {3 Q/ _, ]3 g: ?1 ]5 r5 V" @
练习 1843 E. A6 c$ W$ S# u* n
$ M i- C! G8 Y0 w# x第7 章 优化算法 185& ^2 J2 n, x& c% d7 p% K9 k' M
0 }" h! M/ T$ j5 P/ q
7.1 优化与深度学习 185( k6 L7 _$ a( J( ]- `& k& r
; v4 n! P% l5 m( ^
7.1.1 优化与深度学习的关系 185$ e; e$ @' K8 ] v
# `. o% ?. _# e C& e- I7.1.2 优化在深度学习中的挑战 186, `+ @; x8 A. n# Q+ V& [
6 e5 \, Q: _7 |6 a小结 1885 z1 o Y0 i! `( \) y0 N
- G1 Q0 N! f7 c3 {' r
练习 189
2 W' ^/ p% Q* u# o- [! i- y e$ a3 T) n- g" { z/ _
7.2 梯度下降和随机梯度下降 189( S C3 S) p: ]2 j" Y8 q" a
5 a) D* l) }7 u7.2.1 一维梯度下降 189
: J8 ~8 U* l0 D! R% B
1 [! A7 i# p! a0 B! K* B6 l7.2.2 学习率 190
: }" }* R3 u# p: d) P! k& b9 i% L8 g& e# H' _4 ]- ~8 ]- b( b
7.2.3 多维梯度下降 191; r: A4 v% _! c
0 j% n9 i- K* ?$ G" y- J# q( t
7.2.4 随机梯度下降 193
9 f3 Q" ?" F. r, A( ^) C( H, K. f. j+ k+ X4 }( j4 A/ f
小结 194
' Q. G( Q4 \0 w% G# W1 f4 E- i. C1 O9 @% f8 |# [! ~( s# _. d7 N
练习 194
4 o0 F# [3 P" N/ Y; h
% o; p5 z# `* t3 t7.3 小批量随机梯度下降 194& K( O( c" P# K$ h; y
4 _& d8 r, r0 e) K+ T) k- r7.3.1 读取数据集 195( G/ m% ?; h5 Z! p; X" L
$ }0 ~- q& k' I( U
7.3.2 从零开始实现 1964 Q9 L$ ?8 e. J2 M2 w* E/ `1 ^2 I
: _$ N1 H$ h t) D. M/ D7.3.3 简洁实现 198
2 d, \ b( t: i" G
& Y8 Y9 A- m1 U+ M5 s小结 199* \( }6 ~- `3 d, n
3 B9 L, a) x% V S3 r( q! O, U
练习 199
" v0 @# I7 a1 H, d7 U8 K4 I& I7 t: T7 m% u1 m
7.4 动量法 200! e* Z& a; u) c
9 L& L, X& M: {# ?2 U7.4.1 梯度下降的问题 200
2 F2 h1 E+ v* O" x% F
& D6 C" g& h( Q5 i3 E7.4.2 动量法 2010 _6 o% R$ k1 M; E; |0 h! a2 k5 K
: Y6 S9 H( h1 i- }·6· 目 录0 n+ ~5 x! x- V& o
& q, M* x2 ?3 \0 a+ W8 O2 D
7.4.3 从零开始实现 203( s4 i. e9 v& w
" ~# G7 U' J/ C5 m* \
7.4.4 简洁实现 205' E& N% ?3 D/ d
" j! ~3 |! N& j# q/ D小结 205
/ J: O. e8 z4 G+ g3 j
* U9 p5 M+ x7 ` t( l练习 205
& s2 b8 ? S5 F. d! L1 j/ o. ^" [, y E; N u
7.5 AdaGrad算法206
& J7 X1 K4 J: T3 \, Y+ ^- V3 p) U9 H' s8 K! B; n% ?
7.5.1 算法 2062 K9 Y% @: v C4 C
" U) r5 H5 \2 U1 b l) \4 J
7.5.2 特点 206
& p( `6 y( D, V( z, `/ v
- [% U# r' N& h; a# J7.5.3 从零开始实现 208/ K2 X7 s" j9 Z$ \) i* a
0 I) r$ Y* g) r* D* v) l
7.5.4 简洁实现 2098 ]2 x/ _0 B' N' |7 v4 n# f
! @* u4 o; `" n6 }# [小结 209$ u2 t. C8 m0 E( Q; S) l$ s
, l. v2 N3 x" d( S
练习 209, R" j7 s* [# J" q$ f& c X/ L3 E; V
: I( G+ Y( Z: Q8 ]5 f' d3 r+ s7.6 RMSProp算法 209' q3 b$ w% Q0 H7 p I
$ Z- c @# b: y7 V' R$ d
7.6.1 算法 2100 a- {5 O( i+ {% T1 M* `8 s
" k/ z% k% I+ e5 W7.6.2 从零开始实现 2110 U% O% s0 J0 R. }& j& W+ b
" b! r7 n1 r# A" ?7 b) _% I, i
7.6.3 简洁实现 212* Y* Z: [1 @0 ?1 l+ K
! _9 {, {8 x% ^5 I
小结 212
7 f7 _/ S* W- { E0 q
, A. F& f# u- l练习 212
! \: b5 M4 u6 g8 t
. F+ ^1 p$ r; _+ |7.7 AdaDelta算法 212
8 P/ Z/ k6 |: Q/ N, J1 R# v9 @' P
7.7.1 算法 212
9 t% d( l$ o: u# W" u! _6 G2 C1 `7 E- E6 g! ?9 l* e
7.7.2 从零开始实现 213
4 m: {6 k! {. O0 _1 z
t1 {6 q8 x5 N2 V7.7.3 简洁实现 214) ^# V y3 S, x6 S0 X0 X
: t. a7 e, T0 `
小结 214+ |) l4 l+ ^+ y$ K" x( r, R* J% D9 [8 D
- ~0 P* s5 ?' ?, h5 x练习 214
% N0 Z3 O: y4 s" y+ J- P" ], b% Z' T3 |
7.8 Adam算法 215! a0 L7 E0 B( H
, v9 }3 f) B6 v
7.8.1 算法 215
8 X' S, x5 F {" V/ i; Y- _3 H3 y* E- Y8 p3 i" z9 q/ j
7.8.2 从零开始实现 216
+ V9 _8 x X7 v% t0 m* O) q# U* \' D& d4 V8 C. @9 j: P0 h4 `$ d
7.8.3 简洁实现 216( o. p. ~' G" M
8 f0 @1 t3 [2 s小结 217
$ W2 ~- e) x+ H+ Q8 ` w
( E" r/ c$ q# f, O" v# P练习 217$ r, D c+ K/ m6 g3 v3 W
% r2 U/ F2 P" u- ?7 h
第8 章 计算性能 218
# g. O+ J9 K; c* V, d
, X: [- l# d2 A+ R8 U" _5 @8.1 命令式和符号式混合编程 218
& h7 [" p ?. v, p/ a; t
& q4 B' y7 ~6 l3 G w9 W8.1.1 混合式编程取两者之长 220% T3 _8 Q! Y8 V8 L9 R/ Y
2 E4 p, ~1 Z# B* ^8.1.2 使用HybridSequential类构造模型 220
' x7 L" Q: @/ w" h1 x8 j; L+ C4 P2 r: K+ A _# G
8.1.3 使用HybridBlock类构造模型 222: a3 N1 I9 P0 p
4 n) ]' a) q& V; j
小结 224/ M3 z6 [8 u3 C5 j% K9 C* o Q
3 ~0 M0 r; z! A
练习 224" r* k5 V0 d5 i" p# a! {
, b! ~* I4 @; c! w4 E# T2 R8 V
8.2 异步计算 224
$ A1 z- K! e0 A& }
{6 F0 @3 z: f& ^ T4 n d8.2.1 MXNet中的异步计算 224
* ]. X0 a; M+ X7 E
& g. z$ s, x/ y4 w" t$ u: F8.2.2 用同步函数让前端等待计算结果 226
, e, m5 L1 e3 ], f3 K8 U% x7 Y Q' y; Y" `% b0 w# m) {8 D
8.2.3 使用异步计算提升计算性能 226
# h9 `& Z! k) a5 e2 \% M$ O6 v" `( o% u( p$ ]5 `* H
8.2.4 异步计算对内存的影响 227
" L8 i- h1 B5 S: f& N& D
% D3 m" w9 G5 p0 V$ P/ Y( H; \小结 229
2 K' Z6 I1 w/ l& L5 h+ E; M# q2 T
练习 229
/ J, }5 w, o |% ?4 m; G" f4 t9 N% m
8.3 自动并行计算 229+ j7 Q6 x+ z$ v1 U0 f: \6 q2 K
( u- Y5 J# `: q, Q$ n; q. \/ J8.3.1 CPU和GPU的并行计算 2300 A) D. I+ l( ^4 i* c
8 H# c8 C' ^ X5 Z) u% @: f8.3.2 计算和通信的并行计算 231& L' [& T; y8 I+ D
( w: x" Q: z( j8 O# i/ C3 r+ R小结 231
7 T1 e4 o Z' N1 {! P& B
7 _* q1 }0 n. h/ U& S练习 2314 ]1 D+ {, T s% R& ?4 T
- p. @3 U# a; j* i4 t7 k0 ~
8.4 多GPU计算 232
. m d1 L e) y. i' I) M+ B& U4 A) E- i3 {5 L% k9 J6 l
8.4.1 数据并行 232
" N# B& \ \+ X \9 q& K. N" [ N. {% s# _2 f
8.4.2 定义模型 233
9 n2 N1 \' a X! C
t c- e$ f- Y+ Y( N2 b8.4.3 多GPU之间同步数据 234
+ {6 }. e% H! M+ q/ {$ g/ R( W
4 o( z0 V' L$ D' k: d; \% S& q# M8.4.4 单个小批量上的多GPU训练 236/ T7 E! ^% T' |2 R
' r) K9 K. ]' w) g: H# Y8.4.5 定义训练函数 236; x n) F- Y: m
- L; s0 ]" {9 J0 X. z0 c
8.4.6 多GPU训练实验 2370 @: t* o: }$ X' L2 r) u
7 @: ]+ C& W0 Z- `
小结 2376 q# f. l2 m* ~! a, `9 g$ n
; u7 w: t* z1 U+ U( v1 h# Y4 d9 y
练习 2374 G. O8 L) h* Z
- w; {0 }% k0 G s: n; K8 x+ C" n* x0 r
8.5 多GPU计算的简洁实现 237
4 k& b: r% @: I: T3 [2 ^, L& w$ S. H3 |7 M
8.5.1 多GPU上初始化模型参数 2384 y8 z6 ]2 g- p9 W3 ^1 s
( {( g0 k( m9 L$ n8.5.2 多GPU训练模型 239
) z A* R: g2 |0 t. [- n$ l6 _6 u# o" s; z6 O
小结 241
, p3 f3 ]/ b" v
9 {2 t5 V s) A+ P0 v练习 2410 c, H. T& v1 {/ z7 }7 x( f) A# c
4 D2 u8 T& L' S$ { I1 L- r: l7 M1 _
第9 章 计算机视觉 242% B r S) r$ Q/ E K
% ]0 S: p, G& r: A+ u; _+ h9.1 图像增广242
4 _2 p" f# v# @% b" _+ x: e. m0 v/ _& k: N' q4 g; ^
9.1.1 常用的图像增广方法 243
, M2 V$ a3 ?8 x) ~: y; N" ^2 v9 b% O( L
9.1.2 使用图像增广训练模型 246
4 ]1 G7 N: \2 f9 L. m7 {. J8 h4 k! N& h8 ^
小结 250+ G' ^3 W* W0 \* ^& s2 ?
) {; p G! [7 k8 q
练习 250
" k8 H3 K- s# N. A! r
. }, B& _- u; b& s" c5 c* K9.2 微调 250" f2 J6 o; x5 h( A/ f4 _
, m1 B( @+ ?2 l/ s/ l. j热狗识别 251: y7 `7 Z/ l& o- o" J4 p0 H6 ]- }
x8 Q* ]* z1 D
小结 255. [! a- s) w* _8 G4 p% L
6 k: W. d0 ]' O Z( l3 [ T/ v
练习 255
$ {1 g$ {# z5 p
$ S, n: X' `# L3 Z; B' }$ K$ A; `% T目 录 ·7·
2 E% G1 J! L( @: b4 _5 K% k$ q. z
9.3 目标检测和边界框 255, G5 n3 w2 I8 f( S# X& b
E. R4 ]% a: N [
边界框 256
+ { k6 b% C$ ~" ], N) y+ k3 c, V9 o+ n1 O" f9 x. A) v2 }, g; R
小结 2574 l. o7 Z; b4 r) @, k- g
; {; B0 y5 N% g0 K1 \" Z练习 2576 q% A% b0 ]9 }- q
" n2 `, P; f/ q7 _' b/ w
9.4 锚框 257) P( T& {: @2 z+ Q! K+ K, b+ M
) x5 j- i: d3 ^/ l' H! ^
9.4.1 生成多个锚框 257
' W' P2 ~: k7 v" H. J3 J- X! [! c( w v
9.4.2 交并比 259
- v" j- k; Z0 \: f) c! `9 }( A+ x6 F0 c
9.4.3 标注训练集的锚框 260- q. l8 ^6 G( p u! z2 y' Q
1 W- {; |( {8 Q3 t# x" ^9 {' ^' {& B
9.4.4 输出预测边界框 263
, g7 l5 Y. O' }4 w6 K4 N2 J$ J" h! Z' |1 B4 u. y5 G1 } ~, H% K
小结 265( M3 W9 r) E# [
0 x- ?# f: @5 Q练习 2658 k6 Y8 u( y$ ~; V: a
$ w2 {1 E9 M# u. G8 t7 m) x9.5 多尺度目标检测 265 l- _! B$ g) ?5 K4 G) G$ c' C
- W% |: z9 ?& Q3 \8 e" m0 c
小结 268- @0 M2 w( [! O/ ~9 ~" @: C
! S6 w5 d1 W: d$ r
练习 268. f/ v3 K( E3 O) ^* E
6 D" A/ m* h+ ^' u9.6 目标检测数据集（皮卡丘） 268! V9 Y& n( L! K
$ O$ O5 v/ g% d3 A8 M
9.6.1 获取数据集 269
6 I/ q. T5 C+ u+ ?$ Q" V' e! ?* F. @
6 _' }- N8 l/ n& E9.6.2 读取数据集 269
! [4 i9 W5 O: Z4 ?6 x0 t$ `' h& W# B3 c E; t
9.6.3 图示数据 270
5 D2 B. a7 f6 E+ U. l+ ^5 w" s a* M1 P5 {$ m! g
小结 270
: e6 o3 T# }! z! b7 o* S3 [8 `! | q1 s. J c3 y
练习 271, i) V" D( l% A: d
/ e( I- D- S( T8 G8 G( w1 e9 y
9.7 单发多框检测（SSD） 2715 P' d8 F1 j! o9 F- q
* s& Z* ?) Q" N. C* s9.7.1 定义模型 271, Q5 F: R# R/ F& }- }
+ q; ]3 H" J k* a9.7.2 训练模型 275
5 e6 H8 U8 B [4 C! U+ H5 _- r) i. v- ]. S/ o O: ?
9.7.3 预测目标 277
# k9 T& [- [3 S* n# ]0 d3 b5 D) X! v
小结 278; S5 D9 |* W* k9 p7 ?$ k2 u
) L6 c; `/ o, O3 p
练习 278
8 p5 M( z" z+ y3 n9 Z& Y' ~. h# a
9.8 区域卷积神经网络（R-CNN）系列280
8 _* n2 w4 T' H; c; [! n9 {! ?
) h9 @0 z4 K. P2 H" W1 P% {9.8.1 R-CNN 2803 q' d) F0 X: X% l9 w; L1 h4 R
* u4 y0 u0 x1 C$ r7 E# V9.8.2 Fast R-CNN 2818 ?7 W# J h8 Z5 s' l
9 t9 D1 w) @& G. ~. I: [ |9.8.3 Faster R-CNN 283& M7 |. c7 F* ?- v& A+ e+ Z
; }7 a( G( M( k+ o+ U9.8.4 Mask R-CNN 284. U1 N3 f1 `+ `2 [, R& m4 F
0 o" D/ k. D; x' K; S# I
小结 285, h+ C! m! f5 H' U& k) K
" f& p( e6 R' V- P Q练习 285
. t, X! r' d# x" C9 o- k) A# K& s. w8 y" V
9.9 语义分割和数据集 285
$ s/ ?; ~3 J7 ^5 A: x# ?6 `2 E* ]3 @$ T& N2 T a9 Y
9.9.1 图像分割和实例分割 2855 D; n8 T( P& q# e
* _& H' x/ Q2 _4 n9.9.2 Pascal VOC2012语义分割数据集 286+ P: O* J( ]8 l# z
% g9 E" n7 Q% a+ s) _
小结 2907 V- u4 @) t+ k
( e2 N7 ~' }+ J1 U, W! C
练习 290
9 R7 W P0 `9 t( F0 n
( y" i" t' \: v% w8 \6 f9.10 全卷积网络（FCN） 290! k- U7 W( l3 H
) O; p" |4 c8 a4 `8 U% d; g
9.10.1 转置卷积层 291' r0 [' n/ Y& l
' R. e. c% i# o$ E9.10.2 构造模型 2925 G$ B9 f3 o5 j( n, O5 Z d
a, _$ H; P' y
9.10.3 初始化转置卷积层 2949 L2 z) d* O3 C6 g3 X* P
; M' F- }8 y8 c( O$ ]9.10.4 读取数据集 2957 S6 O; h& I* n! A" }; s6 Z6 K
9 D/ y: @- Q. @& P5 D9.10.5 训练模型 296
9 E" N7 l* w' W: P, e+ M) Y' `( Y" ?' W9 [/ O
9.10.6 预测像素类别 2968 f; ?6 }) y. Z. W3 ~% a6 u
* l D: S4 J& V0 v( j+ @% S- y小结 297
3 i6 C/ J; k# _5 ~% d! e v& I: W) \# w) \' s* h# t, U
练习 297
* n7 H8 e. |1 T( |% l( m0 G) M) o- P+ _ E4 k
9.11 样式迁移 298
! }, ~2 Z# Y# G5 s( [0 r3 E$ T2 h
; ~) |# Q$ ?0 K# H9.11.1 方法 298
0 o1 l5 _4 A# R9 G, F- a2 k. V2 M; [7 z) K7 O# Q8 t
9.11.2 读取内容图像和样式图像 299
* y2 R' T) a% |; U
: h \/ ^+ E$ x4 y9.11.3 预处理和后处理图像 300# [8 t3 }* c3 u/ F- B' }0 c3 C
' {7 h. c% e4 d+ O) r5 q3 J+ y/ n9.11.4 抽取特征 301+ U/ z* A. C8 v" A
( l2 s+ V+ Q# s+ U9.11.5 定义损失函数 302
0 ? ]7 U, }# o$ D0 D6 t- O
8 W8 C% I! r2 x7 U, _- O9.11.6 创建和初始化合成图像 303
: C& ^' a, C0 J) } I+ h# ^9 E, u/ m" u" L$ J
9.11.7 训练模型 304* I: K: Z1 \6 X3 t# O" J: B0 s
% x4 K, A# t3 @4 J$ X/ M; D
小结 306
- b' j! U7 ^* e
2 \/ a4 }/ O! V8 V& x练习 306
8 L. X- S3 l' g1 N4 }- d. D
( U* I D0 s; V+ i8 q4 d& R) c/ Z9.12 实战Kaggle比赛：图像9 S" }& q9 q( M% t+ Q. |
+ F" A8 E) r3 S, y分类（CIFAR-10）306) W. @9 t/ |) p$ W9 Z
3 ]$ k1 ^1 B4 @! J7 D$ v6 `9.12.1 获取和整理数据集 3074 b0 M" H& N3 O% T
& h( l* Q' Q: n& N9 u% V5 h
9.12.2 图像增广 310
3 Z! p: s5 d& Q; q9 X! l- O7 K
8 ?8 X7 I1 o/ z* ]9.12.3 读取数据集 310
( T% l9 W' @: E9 Q* i1 o" U/ |
# V( O( J; X& G9.12.4 定义模型 311: S7 ?: s" g1 x' D. I/ c* j# j
( n- F O6 x/ H8 w" j% h' v
9.12.5 定义训练函数 312
6 o" Y; L$ x, T0 j5 o) Q& A4 s- G. t0 I' A% X3 p5 \
9.12.6 训练模型 312. `. \7 y! d+ p- g2 k
( S6 c& K w1 M& E7 ]" v6 \, K9.12.7 对测试集分类并在Kaggle
, S6 _3 S, m2 K7 A* k) ~3 \8 c; F* D" z8 C. M$ N
提交结果 313. Q$ ~6 k7 r5 Y7 O/ ~* d
+ B: O7 p$ a5 B
小结 313
* @. N6 M- `, r: `% ~6 V3 w
0 r( R' J2 F4 f$ @2 J: {$ U2 j练习 313, O( A. j0 v* D0 A! I9 J
* K, F6 Z3 S2 p. N/ }6 n3 W& }. ?9.13 实战Kaggle比赛：狗的品种
; G5 T5 ?8 l A' _7 ]
% m7 P- l+ g6 d: p识别（ImageNet Dogs） 314- B- @+ \# u9 s" i6 n: b: Y
4 t8 |5 r$ y- l
9.13.1 获取和整理数据集 315
2 n; ~ i0 N1 u/ V' o' i, B; K' ^$ n- N( W
9.13.2 图像增广 316
, T/ { r, j* e( Z) b$ V& r& S! p( ]5 z) L
9.13.3 读取数据集 317
" y6 A2 { C) v& Z1 A# A) h
7 b- t) r7 \" ?9.13.4 定义模型 318
. }2 z. {( H g2 m0 N( \: k0 _' v, e# k7 Z9 ^! W6 O
9.13.5 定义训练函数 3181 _* j0 G; h) d' L/ |8 D
9 i: }: k# t+ ^
9.13.6 训练模型 3195 C+ q/ ?! \' {& p5 w
2 n# q2 U& {, Y* Q! O6 X* M I) i
·8· 目 录
1 e4 D; Q$ l e; a9 O& P* R( }* ?& }% |& `
9.13.7 对测试集分类并在Kaggle提交结果 319
2 f$ ^ E* C) }2 j6 g' y, B2 k# R) Y
3 n- s7 s0 |; ^3 l+ w3 C+ o小结 320
) g5 h* z/ T- G' j$ C0 b ~! g9 Z' p6 ]# k9 m
练习 3209 L6 N3 {/ {: T& ^. L2 g
3 N0 E6 d: t" ~- J( V! Z# L: |
第 10 章 自然语言处理 321
- L/ @/ V3 k4 e% W+ ]0 P+ P8 i
10.1 词嵌入（word2vec） 321( x1 E, E3 P3 u* l
# f p+ ^8 ~. I5 ]: A, F% t7 v) e10.1.1 为何不采用one-hot向量 321
9 b6 B* t D+ R0 N! X! v, h* I
10.1.2 跳字模型 322/ o; t9 P1 `8 v; I1 G4 k" g1 {# N
7 Y G8 R$ f' J' y" ^- L10.1.3 连续词袋模型 323. j* E N# k( u0 R
. ?8 ?4 Y( T% E; [
小结 325
8 t5 M4 \, \. e% @7 ~! j: N) p4 h& c2 O4 Z P
练习 325
7 M! H! l# a; o6 Y, k
) C1 j5 i6 _ b# z# C, u% Y0 R10.2 近似训练325" C3 a3 F9 G2 b- g( d* q
$ C s0 U9 p; _2 U7 S1 u3 T10.2.1 负采样 325& J: c8 g8 S0 r8 y9 x" E1 G( m
( m9 k3 h- x3 {0 G* l8 r: ~10.2.2 层序softmax 326
7 \" ]1 ^5 _5 E. z/ l. S) n# }2 e% ]( J, z5 D: i+ ?
小结 327
4 q# [& b+ ~4 h4 Z# q! r
! {, k& L4 ^7 I# G" T1 J4 g练习 3287 a1 ^* M+ L5 e/ B* b
u' ?9 m, d' [- [
10.3 word2vec的实现328" ^: Q/ V2 |: v2 t: s
3 C* D' w. n& u2 O* X+ Q m" Z/ N c
10.3.1 预处理数据集 328) @- U$ Q1 \# v6 V% J
% Y6 q3 ^) ]- O7 Y3 b2 S0 C' D10.3.2 负采样 331- S# V, U: `5 \, Q
8 H2 L! s9 w) s# C1 o1 ]: ?10.3.3 读取数据集 331
# S) ?- [8 }' _; ]) `+ p0 D: [0 x
10.3.4 跳字模型 332
3 B4 W1 l0 z% i! q, ?) w, ~1 `
! C- f) a$ D. I! l0 w. }9 \% k10.3.5 训练模型 333
* S4 A0 X$ V% j& Y* E; a& Y' j- _- I" ?# @3 x
10.3.6 应用词嵌入模型 3352 t3 q2 [% r2 o& {3 q% u
$ z/ i9 D# d0 F( @: @/ u. B! R+ y小结 336
) I! T) S, |+ k+ x" q1 O3 ~6 b2 |4 Z2 V' C
练习 336# s% K; S5 c9 C0 J5 V( R7 k6 q
: L; e' s5 \9 t0 E8 ~10.4 子词嵌入（fastText） 336, o* E( j- _: K
4 J$ R- e2 g3 V5 g
小结 337
+ ]. [& M2 f, P7 r0 N2 K1 k1 ~& n/ ]' Y
练习 337$ j# f1 U! K5 R9 p9 f+ h
3 v7 X( j0 Q f8 p10.5 全局向量的词嵌入（GloVe）337+ v) _1 x: P; o2 e; ^5 s
, O3 @$ W% ^. X' a% l10.5.1 GloVe模型 338: D z8 ^9 u O5 E4 R$ Y& ]
( ~& e+ _. X- a8 }. `# _10.5.2 从条件概率比值理解GloVe模型 339
% e. ^! n% e- I3 }/ D+ m5 c3 I: X ^" w# c7 ]# \+ S
小结 340
/ \% B# Y3 {* x# l4 N; h1 M# f$ |
练习 340
. ^# @. m9 k; S% K' p+ _6 \; P! l2 q) a8 b: {4 T: V
10.6 求近义词和类比词340
8 s ?0 Z* Q5 v2 q8 v" r7 k0 _3 [8 k$ |6 d
10.6.1 使用预训练的词向量 340
+ n1 d7 X0 k7 Q: I; @2 r# d; l, C, j( q# E
10.6.2 应用预训练词向量 341
0 T8 u+ r& L, l( _" O; D% z. I3 Q# m* u( o' w8 f. V8 ]8 z
小结 343
, F/ r$ W8 T) ]' `9 }# R6 D( a3 l0 d; x: d
练习 343
1 l/ |7 X/ B1 i
$ R7 v: n+ M2 g$ V/ H10.7 文本情感分类：使用循环神经网络 343
' j4 y% I: N! Y$ N5 |# _
+ j' e4 Q2 r5 t2 `1 ]' r9 d* x10.7.1 文本情感分类数据集 343) ~% _2 S0 U8 p; ?* d3 K+ F
8 T5 d; \ s8 ^" F, m0 b B
10.7.2 使用循环神经网络的模型 3457 {. _* `; Q Y/ g
5 C% S- Q; M9 D& r" l
小结 347% y! \. H/ g( a& s
0 D1 x0 \9 m$ R, B3 b
练习 3476 P- x! b6 X! g* [( g
6 k0 U' l* J2 O
10.8 文本情感分类：使用卷积神经网络（textCNN） 347
/ m% \. l9 ^( B& T4 L2 A. _! X5 z1 _& V
10.8.1 一维卷积层 348
. Y: M6 ^3 c/ f7 h7 t. k# x
9 s7 ]3 K; F+ v. ?% Z10.8.2 时序池化层 349
$ |6 g0 V" D b
1 U8 q4 B- ^1 c* P) A! k10.8.3 读取和预处理IMDb数据集 3508 E. h8 ]3 r" z/ n
- s/ e$ W( ?! e! v& }, Z
10.8.4 textCNN模型 350
) P8 _! K1 S3 M; E9 g2 B* a/ Q+ ]4 }9 U1 f# `. C! Z
小结 353! e# E& w. F4 e( i! P
4 ?$ u% M& e* M& s$ v, n5 D2 i
练习 353! j6 a4 _$ H/ p( S" w# d2 P2 \
5 k9 n# p: R' f# ~* K5 c8 M X4 F10.9 编码器-解码器（seq2seq）353
2 n8 m& \; Q1 C& m( w! d: \9 l% L, s' t! d* |9 c3 k
10.9.1 编码器 354
2 [4 y. }0 T* a p( n# e+ m1 e5 i# {% @1 s4 U% g
10.9.2 解码器 354
3 Z# U/ v: x2 F. E j% E5 T% c& |
10.9.3 训练模型 355: _, h I* U' X
g& R' g! H* ^7 H$ }' Y A
小结 355
$ c7 R; {$ X3 z u+ m) X0 |' L7 o) o4 L1 Z! r4 Y
练习 355
; h: a$ A$ z! N3 g6 j0 P
6 W0 [5 X; F0 \: m- j10.10 束搜索 355
5 ] f& d/ J5 Z [5 b/ H
F/ X" n) v; |/ K# c8 e* B10.10.1 贪婪搜索 356
5 l6 L2 m) u0 }7 a! q1 B1 T3 i j9 Z- U# w( i& B3 \% y% ~
10.10.2 穷举搜索 357
! ~* D/ V4 r$ f1 a+ {' `7 B4 V/ N) ?3 ^
10.10.3 束搜索 357( P3 A* V" y4 n, y
6 X& P$ b! Q& v, Q+ @' x1 b
小结 358" ]6 U" ]7 n( w4 D
& n1 K- O! t, j0 f
练习 358 a6 u6 b4 r/ P& b. N& v {
( D5 m& ~2 L: s5 e2 \' @6 }: @
10.11 注意力机制 358% z: M3 g$ t4 i9 i5 W' a
6 V' `, W: m. E2 k) }10.11.1 计算背景变量 3595 P$ E7 d% d/ I7 r! L1 U
) j3 B$ ]; t0 s1 T% R3 p
10.11.2 更新隐藏状态 360
0 `& Q) J: K, E# [ i# I4 h, i
+ u+ F \* b3 ~ k* |( A G, d10.11.3 发展 361
3 J* ~8 I' p3 x; }( o( L( ?+ n! s4 w- k9 N6 C8 T/ ]
小结 361
+ x0 B. ~: N! b6 @2 e8 i' M
- D+ E! c& a9 P+ b! d T0 d练习 361
5 h' L4 ]) g8 p5 r3 b, ~
4 t i6 H& a9 }' G; Y; k10.12 机器翻译 361
, v& ^# v8 {1 u5 X/ L; m9 ?3 R
4 t; G" c. @3 h5 |2 @10.12.1 读取和预处理数据集 3614 [# q7 K. I$ b s' n. y3 v
T7 E% f. L/ N1 ], d/ Y. A
10.12.2 含注意力机制的编码器-解码器 363
O' [5 t; B( _4 B, V {
. B+ ^9 w" `4 |. o! n' x10.12.3 训练模型 365
0 |3 o: D" X, T' C2 B# x1 L! H P5 y
10.12.4 预测不定长的序列 367
( y5 R2 a0 v% I F, K
: v) T1 m$ a% v3 ]* f) g8 ], W" x10.12.5 评价翻译结果 367
4 O6 V. e9 @+ _* C0 k
$ h" g2 ]# @: t- _7 `小结 369
8 d2 t! i5 F0 \8 j" k; {
6 @/ N6 r5 e# l练习 369
/ x: z1 h, V; O7 o# M/ R: D0 z: ?% n
附录A 数学基础 370
/ |# |4 j3 ]6 t' V
3 R) d* n# _' o1 W; ~6 z附录B 使用 Jupyter 记事本 376
% A" `8 y& U$ ^" N2 N9 M) ?! j* v: [4 j4 @3 x
附录C 使用 AWS 运行代码 381
" |. W2 P7 D9 Y4 v9 `% A
" [, W2 w4 O1 L* V9 S* H) {; i附录D GPU 购买指南 388
4 F) r6 J( c4 C; P( q0 G! [: H" N; f+ N5 \
附录E 如何为本书做贡献 3917 Q- ~ ]1 n4 J* p. L/ j8 C
' [% C, O! q0 u1 g+ ^$ Z
附录F d2lzh 包索引 395- z% s7 F. J- ^1 G" u
. b) n3 E" p$ G% u附录G 中英文术语对照表 3977 A0 u7 t- L& [( a
9 q& h0 R. n* S5 Z# x1 G参考文献 402
% v+ w2 {/ q. L$ @
9 R l# n& l( u/ q: X; J$ v2 l索引 407( D, q4 t- Y9 f1 h% r" z7 ?
百度云盘下载地址(完全免费-绝无套路)：- r8 p4 b' R5 {
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
|
电子书
2610 人阅读
|
20 人回复
|
2023-09-01
