【java电子书】Hadoop技术内幕：深入解析YARN架构设计与实现原理 PDF 电子书 百度...

javazx

java自学网（www.javazx.com）-java论坛，java电子书推荐：《Hadoop技术内幕：深入解析YARN架构设计与实现原理》
java电子书推荐理由：本书从应用角度系统讲解了YARN的基本库和组件用法、应用程序设计方法、YARN上流行的各种计算框架（MapReduce、Tez、Storm、Spark），以及多个类YARN的开源资源管理系统（Corona和Mesos）；从源代码角度深入分析YARN的设计理念与基本架构、各个组件的实现原理，以及各种计算框架的实现细节。

& O9 S. W) v, m
1 F  i4 E- o% {( ~作者：董西成 著
出版社：机械工业出版社
* W1 H1 Q0 y3 j6 p& N  p+ ]5 }出版时间：2013年12月


java电子书目录：
第一部分　准备篇
第1章　环境准备 2
; o8 C2 L* i" J& s8 Y" M1.1　准备学习环境 2
1.1.1　基础软件下载 2
$ G* I; r" A( I: Q0 s/ S1.1.2　如何准备Linux环境 3
- Y  ~- P' V! P1 ?6 g1.2　获取Hadoop源代码 5
5 L; x1 U& f( ~/ }% S! A1.3　搭建Hadoop源代码阅读环境 5
1.3.1　创建Hadoop工程 5
% {& w) \9 ?; R6 d" ?/ r1.3.2　Hadoop源代码阅读技巧 8
1.4　Hadoop源代码组织结构 10
1.5　Hadoop初体验 12
1.5.1　搭建Hadoop环境 12
4 M! }: z% e6 _1.5.2　Hadoop Shell介绍 15
. _; K' n8 q% F3 M: G$ d  s1.6　编译及调试Hadoop源代码 16
1 g, i$ k* J8 X6 Y; `1.6.1　编译Hadoop源代码 17
6 D. W3 }+ w0 D* t1.6.2　调试Hadoop源代码 18
1.7　小结 20
' i% L, f6 G) s+ S. }" E  p4 f第2章　YARN设计理念与基本架构 21
2.1　YARN产生背景 21
/ I7 F  r, H% k# j; q2.1.1　MRv1的局限性 21
' L" n: f/ z8 g* q. W  Q& U0 P2.1.2　轻量级弹性计算平台 22
- l; }# S! H. z" L2.2　Hadoop基础知识 23
) `* |- D: m' }% Q3 M* d1 N2.2.1　术语解释 23
2.2.2　Hadoop版本变迁 25
0 m2 I# |4 z: ]' V2.3　YARN基本设计思想 29
% c9 @4 A8 @+ a# g5 ^2 c1 x/ `2.3.1　基本框架对比 29
; W) f, z( O8 t& {3 P' j2.3.2　编程模型对比 30
2.4　YARN 基本架构 31
5 D( Q& d& \& `- \2 T. n. T4 ]2.4.1　YARN基本组成结构 32
2.4.2　YARN通信协议 34
/ A/ N$ d/ e8 q8 s: d! m2.5　YARN工作流程 35
2.6　多角度理解YARN 36
$ |- h/ i, F. H4 i2.6.1　并行编程 36
2.6.2　资源管理系统 36
2.6.3　云计算 37
2.7　本书涉及内容 38
2.8　小结 38
4 m7 x6 o# s+ [第二部分　YARN核心设计篇
* V0 @, V" w9 r  H5 T第3章　YARN基础库 40
3.1　概述 40
3.2　第三方开源库 41
3.2.1　Protocol Buffers 41
3.2.2　Apache Avro 43
3.3　底层通信库 46
3.3.1　RPC通信模型 46
# |" X: b$ m  e" o/ X, F# n. m3.3.2　Hadoop RPC的特点概述 48
3.3.3　RPC总体架构 48
: O4 u8 O1 U( U* [6 b3.3.4　Hadoop RPC使用方法 49
* e0 u( g# I# Q  V% Z9 ^0 ?9 {3.3.5　Hadoop RPC类详解 51
. V5 Z, h$ Y0 L: u/ I: _; s3.3.6　Hadoop RPC参数调优 57
8 M3 X; E0 _4 }& w. K( P3.3.7　YARN RPC实现 57
3.3.8　YARN RPC应用实例 61
3.4　服务库与事件库 65
: s; c: B; g! Y: a- |) |3.4.1　服务库 66
3.4.2　事件库 66
" V; L7 _! @, m  r' f3.4.3　YARN服务库和事件库的使用方法 68
/ V8 e2 T6 e, X% }) ?4 z% {/ J3.4.4　事件驱动带来的变化 70
3 q6 Z$ s" u1 B0 F6 E3.5　状态机库 72
( Q1 U  [$ Z# V2 @1 F3.5.1　YARN状态转换方式 72
3.5.2　状态机类 73
8 k9 x# l) s6 z6 D% u  C3.5.3　状态机的使用方法 73
3.5.4　状态机可视化 76
3.6　源代码阅读引导 76
3.7　小结 77
& `8 D/ W. T( b, e- V3.8　问题讨论 77
第4章　YARN应用程序设计方法 78
' A! f) K  Z; Y7 N4.1　概述 78
4.2　客户端设计 79
4.2.1　客户端编写流程 80
4.2.2　客户端编程库 84
6 [1 n  {  A+ {' C# [; |4.3　ApplicationMaster设计 84
4.3.1　ApplicationMaster编写流程 84
5 r- H+ F2 r4 T% \4.3.2　ApplicationMaster编程库 92
# e7 d- @6 p! ]. q0 @$ @& r4.4　YARN 应用程序实例 95
* y+ w& o; w2 _$ a4.4.1　DistributedShell 95
. O3 @3 i1 E' C4 J/ X4.4.2　Unmanaged AM 99
/ _/ G. r7 T0 K4 Z, [2 n4.5　源代码阅读引导 100
! j6 J7 f0 Q' B2 v6 X3 G* v4.6　小结 100
4.7　问题讨论 100
第5章　ResourceManager剖析 102
1 `) f$ E1 r8 G  C5.1　概述 102
5.1.1　ResourceManager基本职能 102
5 L2 i; D' r5 a5.1.2　ResourceManager内部架构 103
" o$ A: \, M  K- p: J, @6 G5.1.3　ResourceManager事件与事件处理器 106
5.2　用户交互模块 108
" h) u) {3 t/ c' U% `5.2.1　ClientRMService 108
) E' U9 P( M, {  k% x5 I5.2.2　AdminService 109
. j8 Z6 s- R. X* e/ G5.3　ApplicationMaster管理 109
$ a6 D& U4 m& H) `0 D3 J- p' \& c, Z5.4　NodeManager管理 112
5.5　Application管理 113
+ a+ \8 G& z( x* C5.6　状态机管理 114
5.6.1　RMApp状态机 115
! T2 L, h- U+ g# r5.6.2　RMAppAttempt状态机 119
5.6.3　RMContainer状态机 123
' x7 F/ E# G" m* N( k7 i5.6.4　RMNode状态机 127
2 u; _" L8 e0 W. {8 ^) O6 x5.7　几个常见行为分析 129
# x  u5 g+ C8 x  `  i$ E( c5.7.1　启动ApplicationMaster  129
6 a0 j2 k  O* N5.7.2　申请与分配Container 132
8 U3 v; a6 O& N, h6 T5 c5.7.3　杀死Application 134
1 ]  s1 Y9 q% x" Y: V# j8 k4 z% ^5.7.4　Container超时 135
" @4 N) {+ k  c" {5.7.5　ApplicationMaster超时 138
5.7.6　NodeManager超时 138
) l3 G7 k* ~+ Y8 U5.8　安全管理 139
5.8.1　术语介绍 139
5.8.2　Hadoop认证机制 139
5.8.3　Hadoop授权机制 142
% P! T* k3 y$ m, @  S' Z- Y5 F* }5.9　容错机制 144
4 K; [9 d1 U- `9 n, i! `. C5.9.1　Hadoop HA基本框架 145
8 i3 i8 b* y& X$ d" v( C5.9.2　YARN HA实现  148
5.10　源代码阅读引导 149
; I. f2 x5 Y$ `0 A" a9 p$ X5.11　小结 151
5.12　问题讨论 152
: e0 `5 Z/ V/ h$ {2 Z0 o第6章　资源调度器 153
6.1　资源调度器背景 153
6.2　HOD调度器 154
4 u7 C% d- A1 g9 m9 z+ r7 S6.2.1　Torque资源管理器 154
% h/ {3 _% }6 n; V6.2.2　HOD作业调度 155
6.3　YARN资源调度器的基本架构 157
6.3.1　基本架构 157
6.3.2　资源表示模型 160
2 q. L7 Z" ?3 n, \# ~. P" t6.3.3　资源调度模型 161
6.3.4　资源抢占模型 164
6 t1 W) X. A5 @6 q2 }1 k6.4　YARN层级队列管理机制 169
6.4.1　层级队列管理机制 169
; I0 K$ r4 J  t( u# v+ z* w6.4.2　队列命名规则 171
3 z( h1 C2 h8 D( @+ F% ~' h6.5　Capacity Scheduler 172
+ o, S( o# d; D6 _/ _$ k5 m6.5.1　Capacity Scheduler的功能 172
6.5.2　Capacity Scheduler实现 176
6.6　Fair Scheduler 179
6.6.1　Fair Scheduler功能介绍 180
6.6.2　Fair Scheduler实现 182
" [, W) c2 Q& o6.6.3　Fair Scheduler与Capacity Scheduler对比 183
; M: i3 @8 x, ?: P# G6.7　其他资源调度器介绍 184
6.8　源代码阅读引导 185
6.9　小结 186
! [+ I7 a5 e( ~5 U+ K# r6.10　问题讨论 187
第7章　NodeManager剖析 188
* h+ l, Z$ H+ B7.1　概述 188
7.1.1　NodeManager基本职能 188
7.1.2　NodeManager内部架构 190
/ T) n, q" k/ w& m7.1.3　NodeManager事件与事件处理器 193
) v6 z  f( a/ W; U# E/ y: @% m- ^7.2　节点健康状况检测 194
7.2.1　自定义Shell脚本 194
7.2.2　检测磁盘损坏数目 196
7.3　分布式缓存机制 196
7.3.1　资源可见性与分类 198
7.3.2　分布式缓存实现 200
7.4　目录结构管理 203
" \4 l0 M, B4 i7.4.1　数据目录管理 203
7.4.2　日志目录管理 203
1 m0 ^" k% S0 z5 z7.5　状态机管理 206
7.5.1　Application状态机 207
7.5.2　Container状态机 210
9 U8 _0 B9 O! q1 |- ?! `% ~7.5.3　LocalizedResource状态机 213
7.6　Container生命周期剖析 214
9 h- i/ [2 J/ ?' @# O. h8 P; i7.6.1　Container资源本地化 214
  K- T6 y+ O5 Z  C$ d" u  ]7.6.2　Container运行 218
7.6.3　Container资源清理 222
7 H1 h; x6 |9 [! s  ~7.7　资源隔离 224
7.7.1　Cgroups介绍 224
7 ]% g& c- k; ?- [7.7.2　内存资源隔离 228
3 X3 x, Z4 E6 c  I6 B7.7.3　CPU资源隔离 230
7.8　源代码阅读引导 234
. {2 J% x$ X$ h' Q+ U7.9　小结 235
7.10　问题讨论 236
" \( Z7 Z# f; e+ c  _+ m第三部分　计算框架篇
, |; J  E) F4 z7 X) A# ?第8章　离线计算框架MapReduce 238
& G# t: E( M8 M% R$ ?2 x2 X9 P) {8.1　概述 238
5 D& A$ Y9 X% I8 q, s8.1.1　基本构成 238
) X( s3 b: J' O# |# B8.1.2　事件与事件处理器 240
8.2　MapReduce客户端 241
! z8 Z# E& u! X2 P: Z2 I8.2.1　ApplicationClientProtocol协议 242
0 S2 B( p! Z0 E/ T8 J1 i; i9 Z, r. C8.2.2　MRClientProtocol协议 243
8.3　MRAppMaster工作流程 243
  t: ~# K4 i0 z! k8.4　MR作业生命周期及相关状态机 246
8.4.1　MR作业生命周期 246
8.4.2　Job状态机 249
' e, e2 b# ?4 B9 c. J8.4.3　Task状态机 253
8.4.4　TaskAttempt状态机 255
8.5　资源申请与再分配 259
8.5.1　资源申请 259
7 t' R+ w8 `( @# A8.5.2　资源再分配 262
9 t; _) G. X6 h: u. E; o% _4 i2 s3 J8.6　Container启动与释放 263
# d5 o  s- L  p, U% U4 M6 j( U8.7　推测执行机制 264
5 i- {; s! Q6 f1 z. N8.7.1　算法介绍 265
/ u. y! U- P! c. ^$ K8.7.2　推测执行相关类 266
: V) ~( M3 |% Y7 K2 f9 u8.8　作业恢复 267
8.9　数据处理引擎 269
8.10　历史作业管理器 271
8.11　MRv1与MRv2对比 273
. ?5 S: B7 x- o& k8.11.1　MRv1 On YARN 273
+ ]& s0 z# d0 m  i1 N4 A- F8.11.2　MRv1与MRv2架构比较 274
8.11.3　MRv1与MRv2编程接口兼容性 274
8.12　源代码阅读引导 275
8.13　小结 277
8.14　问题讨论 277
第9章　DAG计算框架Tez 278
5 n& y$ ?  K% `9.1　背景 278
! V/ ?9 u, b& F+ i) Q9.2　Tez数据处理引擎 281
; \+ g9 i0 D* f# u9 e3 X3 l9.2.1　Tez编程模型 281
& N( R0 o" d9 ?, b& U9.2.2　Tez数据处理引擎 282
: i( m: a( u% J$ z9.3　DAG Master实现 284
8 z. g, O1 n( ^% s9.3.1　DAG编程模型 284
9.3.2　MR到DAG转换 286
' N! ?5 |) `& L8 L9.3.3　DAGAppMaster 288
9.4　优化机制 291
  M. W4 g& ]6 J" V% W! z9.4.1　当前YARN框架存在的问题 291
9.4.2　Tez引入的优化技术 292
9.5　Tez应用场景 292
* j7 U8 q: _: ^9.6　与其他系统比较 294
9 L9 r& [6 O7 F1 W+ ^! |8 b: g9.7　小结 295
$ L, C9 F/ b( q6 J第10章　实时/内存计算框架Storm/Spark 296
10.1　Hadoop MapReduce的短板 296
10.2　实时计算框架Storm  296
% R% j4 |* J6 d, J2 P% m10.2.1　Storm编程模型 297
10.2.2　Storm基本架构 302
& N0 k* \& f3 S- m& u' i5 P10.2.3　Storm On YARN 304
10.3　内存计算框架Spark 307
10.3.1　Spark编程模型 308
, k1 N" d! w5 O* x  L10.3.2　Spark基本架构 312
10.3.3　Spark On YARN 316
10.3.4　Spark/Storm On YARN比较 317
10.4　小结 317
# i7 R+ \1 V, }9 X& e8 @第四部分　高级篇
第11章　Facebook Corona剖析 320
& `. B* x) |0 d6 j- Q' w11.1　概述 320
3 j# J. s, N( ]11.1.1　Corona的基本架构 320
11.1.2　Corona的RPC协议与序列化框架 322
11.2　Corona设计特点 323
* k; i" b/ p6 f6 v# l* l" `8 t' o11.2.1　推式网络通信模型 323
11.2.2　基于Hadoop 0.20版本 324
: s. s  h8 [1 a% U5 v! `$ x11.2.3　使用Thrift 324
+ f5 D8 k1 E- {6 A6 }11.2.4　深度集成Fair Scheduler 324
11.3　工作流程介绍 324
11.3.1　作业提交 325
; A4 R* E1 m, E7 @: r, O11.3.2　资源申请与任务启动 326
1 Y# m- c! ~* @" z: ~11.4　主要模块介绍 327
11.4.1　ClusterManager 327
5 I+ |" N, e* N8 ^( [( _1 z$ `6 G11.4.2　CoronaJobTracker 330
11.4.3　CoronaTaskTracker 333
11.5　小结 335
第12章　Apache Mesos剖析 336
& [% j9 ~* {- D- F4 l: w12.1　概述 336
12.2　底层网络通信库 337
+ S  z3 W: d) u8 ]- `12.2.1　libprocess基本架构 338
+ R7 m$ H! k; c12.2.2　一个简单示例 338
" G+ o# Q$ T( y/ c- D12.3　Mesos服务 340
12.3.1　SchedulerProcess 341
12.3.2　Mesos Master  342
12.3.3　Mesos Slave  343
12.3.4　ExecutorProcess 343
12.4　Mesos工作流程 344
& }: f/ @4 N2 {" g: W" k+ }12.4.1　框架注册过程 344
12.4.2　Framework Executor注册过程 345
12.4.3　资源分配到任务运行过程 345
12.4.4　任务启动过程 347
12.4.5　任务状态更新过程 347
5 B2 U. ~5 ~% b( a7 r$ K8 C& [12.5　Mesos资源分配策略 348
$ U7 K) [- y. c12.5.1　Mesos资源分配框架 349
: D% ~- V, Q: c12.5.2　Mesos资源分配算法 349
12.6　Mesos容错机制 350
12.6.1　Mesos Master容错 350
12.6.2　Mesos Slave容错 351
$ _4 Q* o5 M" a6 G12.7　Mesos应用实例 352
3 L( P( d( y! d7 k12.7.1　Hadoop On Mesos 352
/ U$ l- K  k8 o! z# e6 k7 L$ G& k- E12.7.2　Storm On Mesos 353
' a' ~4 Y9 x" E' O* u7 S9 ]6 I/ n12.8　Mesos与YARN对比 354
12.9　小结 355
第13章　YARN总结与发展趋势 356
13.1　资源管理系统设计动机 356
  F% B7 v2 X) P# A13.2　资源管理系统架构演化 357
13.2.1　集中式架构 357
/ B$ S! j8 n7 \1 p0 D- g! A% q4 `13.2.2　双层调度架构 358
13.2.3　共享状态架构 358
: M% k( i2 Q% c* B  Y: R* L13.3　YARN发展趋势  359
13.3.1　YARN自身的完善 359
13.3.2　以YARN为核心的生态系统 361
# D5 E5 K  K$ V* d7 [" F2 h1 z! d13.3.3　YARN周边工具的完善 363
13.4　小结 363
附录A　YARN安装指南 364
附录B　YARN配置参数介绍 367
4 B  |! {) D: z* L, f6 i附录C　Hadoop Shell命令介绍 371
附录D　参考资料 374
; S# k- t2 ]  n8 z
7 D- y1 b0 u3 r1 b  ^& s6 r9 N+ M
电子书优惠获取地址：《Hadoop技术内幕：深入解析YARN架构设计与实现原理》

0 g  {# K9 h- ~