【java电子书】Hadoop技术内幕：深入解析YARN架构设计与实现原理 PDF 电子书 百度...

javazx

java自学网（www.javazx.com）-java论坛，java电子书推荐：《Hadoop技术内幕：深入解析YARN架构设计与实现原理》
java电子书推荐理由：本书从应用角度系统讲解了YARN的基本库和组件用法、应用程序设计方法、YARN上流行的各种计算框架（MapReduce、Tez、Storm、Spark），以及多个类YARN的开源资源管理系统（Corona和Mesos）；从源代码角度深入分析YARN的设计理念与基本架构、各个组件的实现原理，以及各种计算框架的实现细节。


, ^$ u8 W. O; j% p0 H作者：董西成 著
9 p; K$ r5 }* h0 U" r% z* u出版社：机械工业出版社
出版时间：2013年12月
% M  N8 m( O9 q; i) J/ L! J
" x0 a& v$ ~, x% I2 J- |
" r9 j$ _# D' @& J& bjava电子书目录：
) O' K0 E- D2 r第一部分　准备篇
第1章　环境准备 2
1.1　准备学习环境 2
% F+ k" n6 ?2 g1.1.1　基础软件下载 2
; z3 o) b6 N2 T2 v. t8 P" D3 j1.1.2　如何准备Linux环境 3
1.2　获取Hadoop源代码 5
1.3　搭建Hadoop源代码阅读环境 5
" p3 i/ X0 g4 L* w1.3.1　创建Hadoop工程 5
: H. }3 v) i0 c* M; T1.3.2　Hadoop源代码阅读技巧 8
1.4　Hadoop源代码组织结构 10
1.5　Hadoop初体验 12
1.5.1　搭建Hadoop环境 12
1.5.2　Hadoop Shell介绍 15
+ w+ H; s& H! Q% l1 L/ f1.6　编译及调试Hadoop源代码 16
1.6.1　编译Hadoop源代码 17
1.6.2　调试Hadoop源代码 18
1.7　小结 20
第2章　YARN设计理念与基本架构 21
2.1　YARN产生背景 21
2.1.1　MRv1的局限性 21
6 j$ H, l5 c5 \- G7 e. y2.1.2　轻量级弹性计算平台 22
, K+ @! _" g) x9 @" D2.2　Hadoop基础知识 23
2.2.1　术语解释 23
2.2.2　Hadoop版本变迁 25
( _5 r, v( N  a  u( F2.3　YARN基本设计思想 29
- m1 ?+ Q4 W. O) X# @2.3.1　基本框架对比 29
2.3.2　编程模型对比 30
0 J; }% e3 @; K5 I- f3 x2.4　YARN 基本架构 31
2.4.1　YARN基本组成结构 32
" e7 D; M; r# B8 K- Z  f5 f2.4.2　YARN通信协议 34
4 q5 C0 @: B* h3 u4 N$ R+ d2.5　YARN工作流程 35
2.6　多角度理解YARN 36
0 M& T4 M2 d1 z0 X) k  i2.6.1　并行编程 36
2.6.2　资源管理系统 36
* h& @4 v" z6 e$ n- r2 ~2.6.3　云计算 37
2.7　本书涉及内容 38
2.8　小结 38
3 u9 U5 i: N( Q" _% D. V( [/ u第二部分　YARN核心设计篇
- s% L# `+ q" S2 `( N) Z第3章　YARN基础库 40
4 J1 d8 a$ {, Q, l7 v6 o: P7 n! ^3.1　概述 40
3.2　第三方开源库 41
3.2.1　Protocol Buffers 41
3.2.2　Apache Avro 43
% k* {* _- G' p; @3.3　底层通信库 46
3.3.1　RPC通信模型 46
2 i% H4 C: h, Y, m  C3.3.2　Hadoop RPC的特点概述 48
3.3.3　RPC总体架构 48
3.3.4　Hadoop RPC使用方法 49
+ N2 ?6 U3 x5 D) _3 S" N$ a! V3.3.5　Hadoop RPC类详解 51
3.3.6　Hadoop RPC参数调优 57
3.3.7　YARN RPC实现 57
8 S, N" u3 v# x4 r8 J3.3.8　YARN RPC应用实例 61
8 L5 ~% ~; j) ^3.4　服务库与事件库 65
3.4.1　服务库 66
3.4.2　事件库 66
0 g: G3 I" [2 |5 _! O3.4.3　YARN服务库和事件库的使用方法 68
3.4.4　事件驱动带来的变化 70
. h! |7 r3 _% B; \. l5 B: `3.5　状态机库 72
. |# F/ S. Y- l: ?9 j3.5.1　YARN状态转换方式 72
3.5.2　状态机类 73
. ]8 F, l% D  @- @. o3.5.3　状态机的使用方法 73
3.5.4　状态机可视化 76
; ?2 ^4 x0 i8 W" R+ Z3.6　源代码阅读引导 76
& u" m$ Y' ~( p3.7　小结 77
3.8　问题讨论 77
第4章　YARN应用程序设计方法 78
4.1　概述 78
4.2　客户端设计 79
4.2.1　客户端编写流程 80
8 S1 y6 J6 ]# w  m* S; S8 c4.2.2　客户端编程库 84
( N/ k; j; z9 f; g3 ]) b6 N4 ^, P4.3　ApplicationMaster设计 84
3 O% G. w1 @, u: n1 z" ^4.3.1　ApplicationMaster编写流程 84
4.3.2　ApplicationMaster编程库 92
, m! C8 A( I# N; j+ R4.4　YARN 应用程序实例 95
4.4.1　DistributedShell 95
3 I9 k) t6 Q& _* e+ r  L4.4.2　Unmanaged AM 99
4.5　源代码阅读引导 100
+ j0 t( r8 N9 ]) M; H4 f7 r4.6　小结 100
4.7　问题讨论 100
第5章　ResourceManager剖析 102
5.1　概述 102
5.1.1　ResourceManager基本职能 102
5.1.2　ResourceManager内部架构 103
5.1.3　ResourceManager事件与事件处理器 106
  \, h5 H* X# K. p" e  t5.2　用户交互模块 108
5.2.1　ClientRMService 108
5.2.2　AdminService 109
0 F/ g( ?. A9 ^+ i/ c5.3　ApplicationMaster管理 109
/ ^1 F, M' ^# A1 d+ }3 M5.4　NodeManager管理 112
5.5　Application管理 113
% a9 C9 [# r2 c! \5.6　状态机管理 114
( R, O! |' g" z8 u+ {2 {5.6.1　RMApp状态机 115
8 M- W# q6 A) Z5 Z8 |" T5.6.2　RMAppAttempt状态机 119
; n: z) C; n! c5.6.3　RMContainer状态机 123
+ Q# G8 a% U2 {; T8 w3 q5.6.4　RMNode状态机 127
5.7　几个常见行为分析 129
5.7.1　启动ApplicationMaster  129
, C7 b* Y; V3 t5 m! p8 y5.7.2　申请与分配Container 132
, x$ r- v4 D6 P0 ^/ d, s" r5.7.3　杀死Application 134
5.7.4　Container超时 135
5.7.5　ApplicationMaster超时 138
8 N  ]* i1 V* T6 |5.7.6　NodeManager超时 138
2 b. u  k' V* L5.8　安全管理 139
9 q2 m. y! {7 d! z5 e' T9 f5.8.1　术语介绍 139
1 Q& ~) z/ `- d5.8.2　Hadoop认证机制 139
! S! p* i# l$ F" N% y& c' S5.8.3　Hadoop授权机制 142
5.9　容错机制 144
: P! ^  G4 Q2 f. m2 s4 v5.9.1　Hadoop HA基本框架 145
9 S6 g0 X6 N6 d- m) g5.9.2　YARN HA实现  148
  `, i; f+ n, M0 C" f/ u  r5 G5.10　源代码阅读引导 149
% ^0 P1 Q, m% D3 i! x5.11　小结 151
5.12　问题讨论 152
第6章　资源调度器 153
6.1　资源调度器背景 153
6.2　HOD调度器 154
1 L# v& n* U/ L7 ^4 k" O  i6.2.1　Torque资源管理器 154
" k* r4 Z) H( t. S7 @5 N4 B6.2.2　HOD作业调度 155
. z( m2 j8 W, H3 `: T6.3　YARN资源调度器的基本架构 157
6.3.1　基本架构 157
2 U: d6 P# x" G6.3.2　资源表示模型 160
) n& s( p8 u3 W* I" t1 Y! v" S/ g6.3.3　资源调度模型 161
6.3.4　资源抢占模型 164
6.4　YARN层级队列管理机制 169
, X7 t2 S5 s* `5 M4 e6.4.1　层级队列管理机制 169
( }. |# j! U* O+ |# d6.4.2　队列命名规则 171
6.5　Capacity Scheduler 172
5 s( ?; }  r0 [% i7 N: L% k0 g8 L4 N6.5.1　Capacity Scheduler的功能 172
: B- T* {& G: z. P- M6.5.2　Capacity Scheduler实现 176
6.6　Fair Scheduler 179
6.6.1　Fair Scheduler功能介绍 180
4 H! z! V: n  O  R% n6 j6.6.2　Fair Scheduler实现 182
6.6.3　Fair Scheduler与Capacity Scheduler对比 183
6.7　其他资源调度器介绍 184
6.8　源代码阅读引导 185
6.9　小结 186
6.10　问题讨论 187
! L- O" ~: o. H$ Z- P! S3 ~第7章　NodeManager剖析 188
: S& E8 b5 j7 Y9 y# w7.1　概述 188
" D6 R' o' p9 a0 a7.1.1　NodeManager基本职能 188
- F. J) r! ]8 ?4 T. C- ?9 _+ u7.1.2　NodeManager内部架构 190
7.1.3　NodeManager事件与事件处理器 193
7.2　节点健康状况检测 194
7.2.1　自定义Shell脚本 194
7.2.2　检测磁盘损坏数目 196
& ]$ u) G/ m9 C7 p& I  o7.3　分布式缓存机制 196
- |: y2 u3 V. W7.3.1　资源可见性与分类 198
7.3.2　分布式缓存实现 200
4 e% j& U% J8 z+ x! H! K2 J9 c7.4　目录结构管理 203
! |4 \6 N4 B( i3 K7.4.1　数据目录管理 203
7.4.2　日志目录管理 203
7.5　状态机管理 206
7.5.1　Application状态机 207
& `: T7 E4 n$ U8 U& M7.5.2　Container状态机 210
7.5.3　LocalizedResource状态机 213
7.6　Container生命周期剖析 214
+ v9 c1 N4 e8 k" f7 L5 b$ `% i2 N7.6.1　Container资源本地化 214
; E1 C+ \/ g* `& m; j, |7.6.2　Container运行 218
7.6.3　Container资源清理 222
7.7　资源隔离 224
7.7.1　Cgroups介绍 224
% B0 }1 x0 @% K7.7.2　内存资源隔离 228
7.7.3　CPU资源隔离 230
7.8　源代码阅读引导 234
. W7 W( j" s: }  b7.9　小结 235
& S$ H7 ?2 K8 r& _7.10　问题讨论 236
第三部分　计算框架篇
7 E( N! n3 H3 A; ]第8章　离线计算框架MapReduce 238
8.1　概述 238
: z' [0 `% e  r4 P' m# D! p' j8 e3 U8.1.1　基本构成 238
8.1.2　事件与事件处理器 240
8 `$ M# A8 v. ~; Q* f9 R$ ?8.2　MapReduce客户端 241
8.2.1　ApplicationClientProtocol协议 242
8.2.2　MRClientProtocol协议 243
8.3　MRAppMaster工作流程 243
1 T' j# |* l. A8.4　MR作业生命周期及相关状态机 246
8.4.1　MR作业生命周期 246
8 h* [  }* }2 r; h+ m8.4.2　Job状态机 249
8.4.3　Task状态机 253
( s( Y9 u! U: [3 j; B5 r/ w4 p. f8.4.4　TaskAttempt状态机 255
% `' O# v/ F4 D: a. Q2 j8 \: E' s' W1 v8.5　资源申请与再分配 259
8.5.1　资源申请 259
" J8 s# y9 r" I( h, D, f8.5.2　资源再分配 262
8.6　Container启动与释放 263
6 h/ j! e6 w0 i+ h1 T7 |/ g8.7　推测执行机制 264
8.7.1　算法介绍 265
1 b; A" e1 q% ]' l3 `8.7.2　推测执行相关类 266
9 j% i# ?3 k, |8.8　作业恢复 267
8.9　数据处理引擎 269
8.10　历史作业管理器 271
) P3 I" R; K$ Q* h" ?8 H! G' m  w8.11　MRv1与MRv2对比 273
8.11.1　MRv1 On YARN 273
8.11.2　MRv1与MRv2架构比较 274
8.11.3　MRv1与MRv2编程接口兼容性 274
8.12　源代码阅读引导 275
8.13　小结 277
8.14　问题讨论 277
第9章　DAG计算框架Tez 278
9.1　背景 278
% v4 t* s' e8 x+ S" f9 y% A! f9.2　Tez数据处理引擎 281
9.2.1　Tez编程模型 281
! m0 I. V6 p& N- G& A9.2.2　Tez数据处理引擎 282
3 X2 d3 d% Q7 ~: m- R  w9.3　DAG Master实现 284
" H. s1 @: ]  r& [6 A+ Q% N. D9.3.1　DAG编程模型 284
; T# {8 }& x$ K( {9.3.2　MR到DAG转换 286
, m! ?8 h  Z- |8 i* Y! x& C! O9.3.3　DAGAppMaster 288
" r& \& J  Z7 \( C  e7 b8 c9.4　优化机制 291
9.4.1　当前YARN框架存在的问题 291
- {+ r4 `9 q9 M: K- M9.4.2　Tez引入的优化技术 292
0 t5 P4 Y7 @3 m/ q9.5　Tez应用场景 292
- p: U5 H$ Q' I) Y; J& E9.6　与其他系统比较 294
9.7　小结 295
; U! V- c3 f# |, Z" J6 X4 ^6 e# L' ~第10章　实时/内存计算框架Storm/Spark 296
10.1　Hadoop MapReduce的短板 296
. M0 ?% X' f  ~* g10.2　实时计算框架Storm  296
10.2.1　Storm编程模型 297
10.2.2　Storm基本架构 302
3 w( j! w1 `: ~! `4 f6 Q10.2.3　Storm On YARN 304
10.3　内存计算框架Spark 307
% _1 M# b/ Y3 ^) Q% `10.3.1　Spark编程模型 308
10.3.2　Spark基本架构 312
4 H( s, I7 D. }$ S! v10.3.3　Spark On YARN 316
10.3.4　Spark/Storm On YARN比较 317
10.4　小结 317
第四部分　高级篇
9 T8 x' Y+ |1 G1 E, L6 y第11章　Facebook Corona剖析 320
11.1　概述 320
11.1.1　Corona的基本架构 320
$ V5 U5 w3 _' [; D9 R( u9 l11.1.2　Corona的RPC协议与序列化框架 322
# }- b, K& X& G& ^11.2　Corona设计特点 323
. ^, h7 v/ P4 z2 {& {11.2.1　推式网络通信模型 323
11.2.2　基于Hadoop 0.20版本 324
11.2.3　使用Thrift 324
11.2.4　深度集成Fair Scheduler 324
% `' w$ a3 F1 L- M; U) x( Q; _$ d5 F11.3　工作流程介绍 324
- i1 i( t% u1 Z3 l( d* f11.3.1　作业提交 325
11.3.2　资源申请与任务启动 326
$ ^1 o# I5 x, L- y+ Q1 e11.4　主要模块介绍 327
. s! }1 d: n5 M3 K$ G7 y11.4.1　ClusterManager 327
2 `. q' \) J# i11.4.2　CoronaJobTracker 330
11.4.3　CoronaTaskTracker 333
11.5　小结 335
第12章　Apache Mesos剖析 336
12.1　概述 336
& M2 x: M+ Q7 D' G$ }12.2　底层网络通信库 337
12.2.1　libprocess基本架构 338
12.2.2　一个简单示例 338
12.3　Mesos服务 340
12.3.1　SchedulerProcess 341
+ ^: f6 _2 Z+ K$ G12.3.2　Mesos Master  342
12.3.3　Mesos Slave  343
12.3.4　ExecutorProcess 343
12.4　Mesos工作流程 344
6 k$ n' g/ u6 e2 ~2 S- B12.4.1　框架注册过程 344
12.4.2　Framework Executor注册过程 345
! s9 V  M3 q3 `2 p! k$ `6 F$ q12.4.3　资源分配到任务运行过程 345
12.4.4　任务启动过程 347
# Y% t; o4 `2 v2 @, ^12.4.5　任务状态更新过程 347
- y! U' Y3 R! W5 o, I12.5　Mesos资源分配策略 348
! a: x0 ]$ C2 s1 p% }% n3 ]! X12.5.1　Mesos资源分配框架 349
. m5 W; r& ^$ e0 T# c+ D+ I  e12.5.2　Mesos资源分配算法 349
" A" V* A# H* Z12.6　Mesos容错机制 350
8 U2 }! ?$ e: g9 z9 U12.6.1　Mesos Master容错 350
12.6.2　Mesos Slave容错 351
- h. F2 g* I5 _9 S12.7　Mesos应用实例 352
12.7.1　Hadoop On Mesos 352
- G$ S; y3 O& J; i) W6 \+ n5 z6 w12.7.2　Storm On Mesos 353
9 |9 }, Q) D& v+ y12.8　Mesos与YARN对比 354
, Z" Y/ w# C5 p" o5 c  [12.9　小结 355
% E, e" |5 `. P' M& m第13章　YARN总结与发展趋势 356
13.1　资源管理系统设计动机 356
13.2　资源管理系统架构演化 357
13.2.1　集中式架构 357
13.2.2　双层调度架构 358
13.2.3　共享状态架构 358
13.3　YARN发展趋势  359
3 v' I) M9 O4 Z- N13.3.1　YARN自身的完善 359
0 }1 O; H; v) }+ B  I13.3.2　以YARN为核心的生态系统 361
+ u$ Y7 t9 y; e' H  M0 Q13.3.3　YARN周边工具的完善 363
13.4　小结 363
附录A　YARN安装指南 364
附录B　YARN配置参数介绍 367
附录C　Hadoop Shell命令介绍 371
附录D　参考资料 374


+ D' D3 {' g" t0 k  p电子书优惠获取地址：《Hadoop技术内幕：深入解析YARN架构设计与实现原理》

. _5 \( |" M8 A1 z' Q* k$ w( q