【java电子书】Hadoop技术内幕：深入解析YARN架构设计与实现原理 PDF 电子书 百度...

javazx

java自学网（www.javazx.com）-java论坛，java电子书推荐：《Hadoop技术内幕：深入解析YARN架构设计与实现原理》
java电子书推荐理由：本书从应用角度系统讲解了YARN的基本库和组件用法、应用程序设计方法、YARN上流行的各种计算框架（MapReduce、Tez、Storm、Spark），以及多个类YARN的开源资源管理系统（Corona和Mesos）；从源代码角度深入分析YARN的设计理念与基本架构、各个组件的实现原理，以及各种计算框架的实现细节。


作者：董西成 著
% d; d& \+ Z- v0 s# X出版社：机械工业出版社
出版时间：2013年12月

* B5 u5 z. {- U  G1 O; Y
* x! }) F5 n8 m6 g5 gjava电子书目录：
第一部分　准备篇
9 u$ A+ K) S* q第1章　环境准备 2
5 D* g+ e; \. z- _2 Z' V% ~! c/ @1.1　准备学习环境 2
1.1.1　基础软件下载 2
1.1.2　如何准备Linux环境 3
' D# q; \- E# O, m* {& H. {1.2　获取Hadoop源代码 5
1.3　搭建Hadoop源代码阅读环境 5
  j* k/ r6 g5 v( o1.3.1　创建Hadoop工程 5
1 H7 J0 q) l5 b6 Z$ y1.3.2　Hadoop源代码阅读技巧 8
6 u, Y8 U: S  ?5 ]2 W# M9 a1.4　Hadoop源代码组织结构 10
1.5　Hadoop初体验 12
1.5.1　搭建Hadoop环境 12
1.5.2　Hadoop Shell介绍 15
1.6　编译及调试Hadoop源代码 16
8 y+ i: Q4 a9 G, W2 ?0 u0 l) R$ ~1.6.1　编译Hadoop源代码 17
1.6.2　调试Hadoop源代码 18
$ G5 F/ n% e4 {' S; T5 l" S1.7　小结 20
' c7 y) M) S1 N+ E# }9 F6 a第2章　YARN设计理念与基本架构 21
2.1　YARN产生背景 21
2.1.1　MRv1的局限性 21
' d/ X" P, A4 j& ^9 e3 V& w2.1.2　轻量级弹性计算平台 22
- e% k; I! J/ w- K& g2.2　Hadoop基础知识 23
$ y* I$ ~9 B4 H  m7 e% U2.2.1　术语解释 23
2.2.2　Hadoop版本变迁 25
9 A% E$ i! {- X$ `. l# |+ C, V2.3　YARN基本设计思想 29
( R. t3 H8 e, U2.3.1　基本框架对比 29
; ^0 m' \$ F3 ^* q2.3.2　编程模型对比 30
/ N* L0 I$ d, {0 }2.4　YARN 基本架构 31
2.4.1　YARN基本组成结构 32
2.4.2　YARN通信协议 34
2.5　YARN工作流程 35
2.6　多角度理解YARN 36
6 Y% @, B2 @; N3 ~2 q' S+ g2.6.1　并行编程 36
' C% y: x2 G' N3 S! f" r2.6.2　资源管理系统 36
2 l* c; i1 G" d* |2.6.3　云计算 37
! T4 b( S, m! H! D2.7　本书涉及内容 38
; v8 B" P0 i. v4 i0 ^# |2.8　小结 38
第二部分　YARN核心设计篇
第3章　YARN基础库 40
+ g, l  L/ B9 a, a5 F5 D9 }7 T3.1　概述 40
5 i4 L% a( }! F) v9 N2 L9 x. g3.2　第三方开源库 41
+ v! X. z, l9 {& t* }3.2.1　Protocol Buffers 41
3.2.2　Apache Avro 43
3.3　底层通信库 46
4 g3 g) w" A  f" g! M4 }3.3.1　RPC通信模型 46
3.3.2　Hadoop RPC的特点概述 48
: X5 B# ?2 r0 W! s1 }1 w3.3.3　RPC总体架构 48
3.3.4　Hadoop RPC使用方法 49
6 `" d, U* }5 {! c, M, m3.3.5　Hadoop RPC类详解 51
/ ]$ x( Q' ~2 T. u3.3.6　Hadoop RPC参数调优 57
3.3.7　YARN RPC实现 57
, D# |1 H/ {' s9 Y0 y/ Y) o3.3.8　YARN RPC应用实例 61
3.4　服务库与事件库 65
  h+ W( G  V: L& `5 o3.4.1　服务库 66
$ g. B2 X! o& w# r8 c3.4.2　事件库 66
! b# v) k6 }; ]9 g4 _3.4.3　YARN服务库和事件库的使用方法 68
. S1 i9 F/ \, e/ |' g8 y3.4.4　事件驱动带来的变化 70
% g6 r  b4 A% ^' r. z( o3.5　状态机库 72
& Z8 G. C0 Y% Y* F: y4 w9 U" ~( ]3.5.1　YARN状态转换方式 72
4 b$ j7 n& v3 z3.5.2　状态机类 73
3.5.3　状态机的使用方法 73
/ ]5 Z: I1 ~% Q* z/ A2 d) s3.5.4　状态机可视化 76
" F" B1 G6 P6 j" Y! {  l8 ^! {3.6　源代码阅读引导 76
" C' Q* [7 k* R* L8 j, W& x3.7　小结 77
  g6 O/ m, ?* z' T) d" l. e3.8　问题讨论 77
第4章　YARN应用程序设计方法 78
4.1　概述 78
4.2　客户端设计 79
0 M. A7 J: w0 s0 P/ C' _* ~! ^4.2.1　客户端编写流程 80
4.2.2　客户端编程库 84
4.3　ApplicationMaster设计 84
4.3.1　ApplicationMaster编写流程 84
$ {" {/ v: X% e5 ~% u7 G& u: Q' U4.3.2　ApplicationMaster编程库 92
7 [3 o3 P8 `1 B! K1 h4.4　YARN 应用程序实例 95
4.4.1　DistributedShell 95
6 ^& Z/ x* Q2 P8 o4.4.2　Unmanaged AM 99
4.5　源代码阅读引导 100
( h$ u! d) c; c! ^) [: ^2 ]) G4.6　小结 100
4.7　问题讨论 100
第5章　ResourceManager剖析 102
( P8 O# `' e) e& z# j5.1　概述 102
- p8 |: d! t' j( E# l+ B5.1.1　ResourceManager基本职能 102
6 k) G# H. N& o- n& ~5.1.2　ResourceManager内部架构 103
/ ?) H2 @7 p1 b" N5.1.3　ResourceManager事件与事件处理器 106
5.2　用户交互模块 108
5.2.1　ClientRMService 108
( Q) }# X* J* c6 O+ p5 W* B3 @! S5.2.2　AdminService 109
* a" o' Z$ }+ i$ e5.3　ApplicationMaster管理 109
5.4　NodeManager管理 112
5.5　Application管理 113
5.6　状态机管理 114
5.6.1　RMApp状态机 115
5.6.2　RMAppAttempt状态机 119
, @- h  }; [7 L8 F8 o( M  [/ i5.6.3　RMContainer状态机 123
5.6.4　RMNode状态机 127
# f) `4 R2 d2 U3 j/ i  z5.7　几个常见行为分析 129
5.7.1　启动ApplicationMaster  129
5.7.2　申请与分配Container 132
5.7.3　杀死Application 134
. m) ~, d9 Q9 U: M$ I% b5.7.4　Container超时 135
5.7.5　ApplicationMaster超时 138
5.7.6　NodeManager超时 138
5.8　安全管理 139
5.8.1　术语介绍 139
5.8.2　Hadoop认证机制 139
) c( \" b7 v: _# y0 e7 e( Y5.8.3　Hadoop授权机制 142
# `% |/ C: }; d3 v/ O5.9　容错机制 144
5.9.1　Hadoop HA基本框架 145
5.9.2　YARN HA实现  148
  W" w, V6 |: @0 [' I5 A) _5.10　源代码阅读引导 149
5.11　小结 151
) m2 n8 d5 b# H* n) H% ^5.12　问题讨论 152
, K* t4 M" p# q) l; w1 A第6章　资源调度器 153
6.1　资源调度器背景 153
6.2　HOD调度器 154
' Y& |) ~0 y# o% K# j, \0 r2 z- m6.2.1　Torque资源管理器 154
6.2.2　HOD作业调度 155
( B/ u& F  S* K# `- s  ^6.3　YARN资源调度器的基本架构 157
6.3.1　基本架构 157
4 m* p. m- u3 v2 Q+ w6.3.2　资源表示模型 160
6.3.3　资源调度模型 161
) L6 g5 W) k1 V$ e/ O) f8 z6.3.4　资源抢占模型 164
6.4　YARN层级队列管理机制 169
& `# L2 |+ [. [1 }  D6.4.1　层级队列管理机制 169
6.4.2　队列命名规则 171
6.5　Capacity Scheduler 172
6.5.1　Capacity Scheduler的功能 172
6.5.2　Capacity Scheduler实现 176
6.6　Fair Scheduler 179
6.6.1　Fair Scheduler功能介绍 180
2 s( Y8 k0 o, S3 m: e: ^2 m6.6.2　Fair Scheduler实现 182
6.6.3　Fair Scheduler与Capacity Scheduler对比 183
: o; a% ?0 w7 U" k6.7　其他资源调度器介绍 184
6.8　源代码阅读引导 185
6.9　小结 186
& t6 U, [( v; s+ [) I6.10　问题讨论 187
! `9 k4 j- p) H第7章　NodeManager剖析 188
: K8 X/ k, T" |( r$ W8 k7.1　概述 188
7.1.1　NodeManager基本职能 188
7 E. F: e. a2 Q- p7.1.2　NodeManager内部架构 190
6 X3 T5 P/ \9 I- E+ e7.1.3　NodeManager事件与事件处理器 193
7.2　节点健康状况检测 194
( u" U, q0 H- d9 x: z, j7.2.1　自定义Shell脚本 194
, Y0 M* @6 r8 F; ]7.2.2　检测磁盘损坏数目 196
8 n" s8 x/ w( w% }7.3　分布式缓存机制 196
7.3.1　资源可见性与分类 198
% {4 z; d. m, F# \# J; C' a' |, U+ C7.3.2　分布式缓存实现 200
- P4 A9 ?. n# X9 R3 {  T; C7.4　目录结构管理 203
7.4.1　数据目录管理 203
* [* d2 \5 H+ l6 _' ~9 V7.4.2　日志目录管理 203
) M' K7 D, C( c1 ?( {3 |0 ]7.5　状态机管理 206
7.5.1　Application状态机 207
) x! V" L) F: _4 J  _' a$ Q, X7.5.2　Container状态机 210
7.5.3　LocalizedResource状态机 213
7.6　Container生命周期剖析 214
+ L7 Z) Z7 z# U7.6.1　Container资源本地化 214
! D. c- w7 [8 }- V7.6.2　Container运行 218
7.6.3　Container资源清理 222
7.7　资源隔离 224
7.7.1　Cgroups介绍 224
7.7.2　内存资源隔离 228
; o4 {' ?% W1 g$ r* d- {+ `  T7.7.3　CPU资源隔离 230
3 t+ Y) @$ c' _  q: n7.8　源代码阅读引导 234
- ^, j' K# Y' T7.9　小结 235
7.10　问题讨论 236
4 Q4 }5 a. P- _; W! C4 y. s第三部分　计算框架篇
第8章　离线计算框架MapReduce 238
( K# x+ w5 ?+ l7 ?6 H! q9 B8.1　概述 238
+ j+ e- |6 g/ g; g/ ?, y& ]8.1.1　基本构成 238
: B' g# F& r7 W8.1.2　事件与事件处理器 240
8.2　MapReduce客户端 241
8.2.1　ApplicationClientProtocol协议 242
) ]2 S3 Y+ R, A$ b9 }! j+ ?# ]. T8.2.2　MRClientProtocol协议 243
8.3　MRAppMaster工作流程 243
9 X6 V  F* c) w8.4　MR作业生命周期及相关状态机 246
4 T6 a# C3 L) o' W( C% L+ K9 P8.4.1　MR作业生命周期 246
5 q* P# E- q1 Z) j- h+ f+ Y. i* p, D8.4.2　Job状态机 249
; E$ K. f( Z4 I" {8 Z8.4.3　Task状态机 253
1 A! {3 A8 T2 R# E1 T8 V+ h8.4.4　TaskAttempt状态机 255
8.5　资源申请与再分配 259
/ r* i9 }3 l  k3 ]- q8.5.1　资源申请 259
. a$ q- D. ~6 k: I+ o( Q4 B8.5.2　资源再分配 262
8.6　Container启动与释放 263
8.7　推测执行机制 264
8.7.1　算法介绍 265
8.7.2　推测执行相关类 266
9 |8 o/ ]; P5 g+ _. X8 O8.8　作业恢复 267
8.9　数据处理引擎 269
8.10　历史作业管理器 271
8.11　MRv1与MRv2对比 273
8.11.1　MRv1 On YARN 273
8.11.2　MRv1与MRv2架构比较 274
& J( h. w8 F+ W8.11.3　MRv1与MRv2编程接口兼容性 274
8.12　源代码阅读引导 275
( r. h3 I1 j: u8.13　小结 277
5 x4 \1 O) p; |/ d% f) n8.14　问题讨论 277
8 l) C3 [& y( u$ d第9章　DAG计算框架Tez 278
/ P& D0 A; d- W* b1 a/ v# Z, g! `9.1　背景 278
, o$ G4 \& ~- Y) }9.2　Tez数据处理引擎 281
5 O( k0 y& o/ \6 i9.2.1　Tez编程模型 281
9.2.2　Tez数据处理引擎 282
9.3　DAG Master实现 284
9.3.1　DAG编程模型 284
3 C$ _* ^! r$ a4 j4 e9.3.2　MR到DAG转换 286
/ f5 V: N6 [0 s) ^- M0 I* e$ h9.3.3　DAGAppMaster 288
4 \; O0 T* v- W: K% ^5 j, f9.4　优化机制 291
- T% k  G4 d# U3 }5 t9.4.1　当前YARN框架存在的问题 291
" u+ B3 }+ D, }2 R+ b  _  Q9.4.2　Tez引入的优化技术 292
6 ^  z$ ?: ~3 L+ ~/ d9.5　Tez应用场景 292
3 m: G5 \) c4 w9 Z. U9.6　与其他系统比较 294
( w% K# l9 d& h# e4 `( d( M' c9.7　小结 295
第10章　实时/内存计算框架Storm/Spark 296
10.1　Hadoop MapReduce的短板 296
10.2　实时计算框架Storm  296
! K& m" E2 n) L" V4 N10.2.1　Storm编程模型 297
10.2.2　Storm基本架构 302
10.2.3　Storm On YARN 304
10.3　内存计算框架Spark 307
' W2 V: j8 d0 R10.3.1　Spark编程模型 308
10.3.2　Spark基本架构 312
+ w( o  A! d6 s10.3.3　Spark On YARN 316
1 @+ T7 z/ w) `5 I1 D, W10.3.4　Spark/Storm On YARN比较 317
; X+ U+ V2 G& v+ k10.4　小结 317
5 i! u  v$ l  u' u" {4 `9 Z4 B第四部分　高级篇
第11章　Facebook Corona剖析 320
* E; \" Z8 B( X/ c( X11.1　概述 320
. a  [. K* r; D1 P& V11.1.1　Corona的基本架构 320
$ i: G4 w, l8 O: R2 Z* t11.1.2　Corona的RPC协议与序列化框架 322
11.2　Corona设计特点 323
11.2.1　推式网络通信模型 323
+ ]4 X- P" o+ @% E. H4 Q- R9 x11.2.2　基于Hadoop 0.20版本 324
11.2.3　使用Thrift 324
. }$ j5 B; i$ X! h0 B11.2.4　深度集成Fair Scheduler 324
11.3　工作流程介绍 324
11.3.1　作业提交 325
11.3.2　资源申请与任务启动 326
11.4　主要模块介绍 327
$ }5 Y% e/ u& Y& v  q11.4.1　ClusterManager 327
) Q7 C& B# l7 ~7 c11.4.2　CoronaJobTracker 330
11.4.3　CoronaTaskTracker 333
  F3 s) q3 [/ s* a, r. `11.5　小结 335
+ t5 T3 W5 D1 q6 R第12章　Apache Mesos剖析 336
& V* R* G2 t, \" R  {9 Z/ ?2 x1 Q12.1　概述 336
12.2　底层网络通信库 337
12.2.1　libprocess基本架构 338
0 `6 }+ M  @* E: v7 l4 e& V' ]12.2.2　一个简单示例 338
9 p9 V9 A# R  O" E& q6 v12.3　Mesos服务 340
! b7 N7 Y8 {2 [% F' S/ H12.3.1　SchedulerProcess 341
& K6 }4 ]+ V$ {& n+ O8 o" e6 @12.3.2　Mesos Master  342
0 I' S  [1 c6 T1 z/ N4 r. y12.3.3　Mesos Slave  343
( @- P) D. s& T. J; P$ X) {12.3.4　ExecutorProcess 343
) L% t$ M2 X% v* x% ~' }12.4　Mesos工作流程 344
12.4.1　框架注册过程 344
12.4.2　Framework Executor注册过程 345
12.4.3　资源分配到任务运行过程 345
9 x* B( S& p2 g( y+ l12.4.4　任务启动过程 347
' t/ g' i5 q- A' Q$ y: u/ k12.4.5　任务状态更新过程 347
0 q4 E- u7 u) R- L" P- P12.5　Mesos资源分配策略 348
12.5.1　Mesos资源分配框架 349
12.5.2　Mesos资源分配算法 349
12.6　Mesos容错机制 350
* m$ {& Q6 A! m& @12.6.1　Mesos Master容错 350
4 T" R: p+ ?4 D5 v12.6.2　Mesos Slave容错 351
2 e) }7 `) b7 q8 F/ u$ C& |12.7　Mesos应用实例 352
12.7.1　Hadoop On Mesos 352
* {* v5 E& G4 ^/ C/ l5 H* h12.7.2　Storm On Mesos 353
0 `* M# z$ W# k  h8 E12.8　Mesos与YARN对比 354
12.9　小结 355
第13章　YARN总结与发展趋势 356
13.1　资源管理系统设计动机 356
: G$ d9 `, R3 ]- F13.2　资源管理系统架构演化 357
5 t8 V5 }4 `% ^$ B! a* e7 p) v13.2.1　集中式架构 357
13.2.2　双层调度架构 358
% x6 |: u" H7 K13.2.3　共享状态架构 358
13.3　YARN发展趋势  359
13.3.1　YARN自身的完善 359
13.3.2　以YARN为核心的生态系统 361
$ Y( N; L$ M/ z3 ]* x- ^' }8 w1 @13.3.3　YARN周边工具的完善 363
13.4　小结 363
附录A　YARN安装指南 364
附录B　YARN配置参数介绍 367
# h" w0 a! \( G0 n- j5 y9 a# o; ~附录C　Hadoop Shell命令介绍 371
附录D　参考资料 374

3 X5 H. [3 X1 [  r9 K9 f
. \; K3 w# N* H. w电子书优惠获取地址：《Hadoop技术内幕：深入解析YARN架构设计与实现原理》