|
|
java自学网（www.javazx.com）-java论坛，java电子书推荐：《Hadoop技术内幕：深入解析YARN架构设计与实现原理》6 x% R, I6 O2 X0 a/ r1 s
java电子书推荐理由：本书从应用角度系统讲解了YARN的基本库和组件用法、应用程序设计方法、YARN上流行的各种计算框架（MapReduce、Tez、Storm、Spark），以及多个类YARN的开源资源管理系统（Corona和Mesos）；从源代码角度深入分析YARN的设计理念与基本架构、各个组件的实现原理，以及各种计算框架的实现细节。
( |5 }# Z6 E7 K& j3 J& b5 R
" U/ r& K# H% A+ E/ s0 \
+ e* N$ L3 A+ {4 y- P" e& ~作者：董西成 著
8 @( e: c# U* y) a2 S出版社：机械工业出版社3 K# u! q7 V) n2 Z$ c6 V
出版时间：2013年12月 4 a2 X$ K) Q8 b9 D2 |" z7 L
+ s1 v. _9 {# h& O$ b$ c; `
- ~' \+ x+ n/ ?% W4 F# G
java电子书目录：
8 B0 l" V/ q$ f# A第一部分 准备篇
, Z2 _4 a$ L! H& \8 T( O% x第1章 环境准备 2, X' N+ ^* w% D( K1 ^# ~7 ]" i
1.1 准备学习环境 2/ A2 ~, o5 L+ F3 ?/ Q
1.1.1 基础软件下载 2
! }1 d t- n. }9 E2 }! T7 y( E1.1.2 如何准备Linux环境 31 M9 l- r2 C; K! |9 p
1.2 获取Hadoop源代码 54 j# f4 M6 }; e5 k( [
1.3 搭建Hadoop源代码阅读环境 5# J' b& r5 s, Z9 s7 C
1.3.1 创建Hadoop工程 5. O0 v8 ~/ E1 `, y( I
1.3.2 Hadoop源代码阅读技巧 8, c1 O# X: v2 [- y( p( L# i+ m
1.4 Hadoop源代码组织结构 105 h7 j& }1 G" q1 b0 S3 l8 c
1.5 Hadoop初体验 12; x8 D- @) e# i& k( D- r1 g5 u
1.5.1 搭建Hadoop环境 12) t# d) G- S' p: k, j* m9 o
1.5.2 Hadoop Shell介绍 15$ ~$ H- L6 }( b
1.6 编译及调试Hadoop源代码 16- \6 C& N V4 `$ [. r
1.6.1 编译Hadoop源代码 175 [8 e* s, L/ t9 P) @) F
1.6.2 调试Hadoop源代码 18
0 }8 d/ Z, R$ X/ k- k9 \% [1.7 小结 20
* A* u; c- G; W. J第2章 YARN设计理念与基本架构 214 Z( P L% W. y/ h" V' Q2 z
2.1 YARN产生背景 21; R/ @2 D1 s+ G8 y% ^
2.1.1 MRv1的局限性 21
5 {- w8 c' e, v7 |" v. \ p2.1.2 轻量级弹性计算平台 22
8 F, j, G: n3 |9 Q5 |3 c2.2 Hadoop基础知识 23
, m7 I4 @2 `$ s0 L3 q9 K. s2.2.1 术语解释 23
; h# D4 n+ B; P# f, u' R2.2.2 Hadoop版本变迁 25
" ~# S9 u3 V9 x2.3 YARN基本设计思想 29
' ]3 x! W8 S+ I4 ~4 y2.3.1 基本框架对比 29" g5 w' g6 C8 {1 S6 t0 B- o5 W
2.3.2 编程模型对比 30
3 `# j# M! A& p2 S2 `9 W' F2.4 YARN 基本架构 31
+ `5 {2 f1 P' L V8 T2.4.1 YARN基本组成结构 32# V$ Q. _( t7 g7 K+ u
2.4.2 YARN通信协议 34& u! A5 a. h. P6 Z: i' p Y
2.5 YARN工作流程 35
x* @# c$ d5 Q2 a# J2.6 多角度理解YARN 360 A- q1 \7 r( `+ Y* ?5 o! n
2.6.1 并行编程 36) o* T$ X! z1 z; D5 Q/ e
2.6.2 资源管理系统 36
# y/ q% N# M1 _. U2.6.3 云计算 374 Y8 W# x8 ~( G$ s
2.7 本书涉及内容 38
0 o0 p7 f7 J$ ?/ B, _# A2.8 小结 38
/ v0 a G" ~8 n第二部分 YARN核心设计篇
9 i9 s$ E& g. a* k第3章 YARN基础库 409 I- H1 E2 c! ]/ K' C" X
3.1 概述 40: T$ v- [- ^/ D( N0 P( M( m
3.2 第三方开源库 41* C* I {7 }. X2 `
3.2.1 Protocol Buffers 41, m3 D' W: ~- I
3.2.2 Apache Avro 43
* A' m$ Y2 F; v& @& c& E5 A, q3.3 底层通信库 46$ N# J1 J; T/ @2 a! y
3.3.1 RPC通信模型 46
2 ~+ A8 A$ H h. b- n3 H- f( {3.3.2 Hadoop RPC的特点概述 48
: S" @9 }$ d4 a5 D3.3.3 RPC总体架构 483 m, I* R8 A+ J# O' }( L3 x
3.3.4 Hadoop RPC使用方法 49
# C( u8 b9 O2 c- ^7 L2 g) Q3.3.5 Hadoop RPC类详解 51( X1 t6 q, C u& Q2 F
3.3.6 Hadoop RPC参数调优 57. L k4 V( G/ T4 }7 b# G6 ]) e
3.3.7 YARN RPC实现 57/ `! s1 D3 E6 k j2 z7 ?9 t
3.3.8 YARN RPC应用实例 61
9 t' l4 A4 K! B( g5 H, ~# d3.4 服务库与事件库 65
! u( ?4 a! t# l O6 T3.4.1 服务库 66
# ?9 a, _- d% @2 A- ]3.4.2 事件库 66
1 D3 I& s# D8 L9 K3.4.3 YARN服务库和事件库的使用方法 68/ T$ B: c# n3 t$ v; Q; h
3.4.4 事件驱动带来的变化 70
* k" b+ Q( N2 H$ F/ l3.5 状态机库 72* f5 |) J8 W, E/ ^
3.5.1 YARN状态转换方式 72" k) u2 N% w( @" o
3.5.2 状态机类 73- x$ Z0 n4 v; @- o4 x
3.5.3 状态机的使用方法 73
. J0 z, X" R3 r! O7 A3.5.4 状态机可视化 761 w# L, Y% B. ]7 q+ q
3.6 源代码阅读引导 76
& Z) S& `( k- L3.7 小结 77 S0 k& `5 }# X7 m$ Y9 D7 ^ [
3.8 问题讨论 771 V, N$ F- s9 s6 d- `( e5 T0 @. l5 E
第4章 YARN应用程序设计方法 78
. n& h; f" n) {' u9 n4.1 概述 78$ G6 ~9 N5 b. P3 @1 p! Y1 |$ J
4.2 客户端设计 79
* R6 R9 q+ n, d4 S4.2.1 客户端编写流程 80
% S f# Z9 F' ~* e; v' X, |7 I4.2.2 客户端编程库 84$ G$ R* Z, Z) Y' g" k! q2 ]3 y
4.3 ApplicationMaster设计 84
! P% e/ { g U( g4.3.1 ApplicationMaster编写流程 84/ o# ?% A, L: n! ]+ `7 I$ u( n
4.3.2 ApplicationMaster编程库 92
1 |5 v% O; e* C. V4.4 YARN 应用程序实例 95+ m$ I* s0 I9 v% L+ N" ^" p0 Y
4.4.1 DistributedShell 953 W5 }8 m8 X/ O1 a1 }
4.4.2 Unmanaged AM 994 D: E6 L) P& i- ~
4.5 源代码阅读引导 100
( O) g: P1 X8 h% Q4.6 小结 100% Z( V( ^5 g1 F
4.7 问题讨论 100
/ z8 c/ F% U' b! u0 r1 y第5章 ResourceManager剖析 102
/ n* [; v6 t0 d* u+ R5.1 概述 102
6 A9 f- q# a% F; t) k5.1.1 ResourceManager基本职能 102+ j* K" T4 P$ H& c0 S! V
5.1.2 ResourceManager内部架构 103
" W! u6 R h- N1 @+ `7 L+ l5.1.3 ResourceManager事件与事件处理器 1061 K, E. P2 T, x4 s ~5 c. C
5.2 用户交互模块 108& ~4 E0 W7 f' i1 [2 e; j. J
5.2.1 ClientRMService 108
( K' f/ X0 I( d+ ~/ w& u5.2.2 AdminService 109
6 @9 B6 M9 t+ z6 v+ {6 s) g5.3 ApplicationMaster管理 109, I: X9 N; U0 h! d, m: z
5.4 NodeManager管理 1128 O) ?5 H* w7 v" F0 M2 f0 Z) s
5.5 Application管理 113
8 l* ?2 z7 a" c' G9 D2 A4 {0 d5.6 状态机管理 114
9 X8 G1 V7 _1 e9 b6 I: _5.6.1 RMApp状态机 1154 Q+ b# F% E; I2 x7 g% U
5.6.2 RMAppAttempt状态机 119
& k3 V% r- K- t' _5.6.3 RMContainer状态机 123; T% L3 W4 s: G! f2 B9 A% t
5.6.4 RMNode状态机 127
6 H2 d; K' E$ s/ e) W5.7 几个常见行为分析 129' A1 |* I# a" J @
5.7.1 启动ApplicationMaster 129. \7 C% C1 [$ s: E0 w" U2 s; I1 j2 P
5.7.2 申请与分配Container 132' |" C( Q" R; D* N* F
5.7.3 杀死Application 134
; \7 \5 }4 w: Q2 e* L8 o5.7.4 Container超时 135( R) b5 O: p! r6 _# Q
5.7.5 ApplicationMaster超时 138
3 h {) n8 ]6 L' R1 c5.7.6 NodeManager超时 1383 I" t) i# k' l
5.8 安全管理 139
j5 Q- @" J( R. t2 Z- L5 x ^5.8.1 术语介绍 1392 |) p' G7 r2 k! |1 K
5.8.2 Hadoop认证机制 139& h- _* B, N; a( x! @
5.8.3 Hadoop授权机制 142$ w" h$ Q7 _0 p3 w+ T/ h# y7 E
5.9 容错机制 1445 J) c# A, C# y# s) N
5.9.1 Hadoop HA基本框架 1454 k1 W. U8 [' q8 C5 J: d# S
5.9.2 YARN HA实现 148
! ~' H) j- J4 O) ^& J; a* X/ _& Z5.10 源代码阅读引导 149
+ S" I+ j; _, O+ R7 W8 R5.11 小结 151( X8 C7 J5 K9 T4 u! j$ T- s
5.12 问题讨论 152
( R( o4 J% e- ~) T* w) S第6章 资源调度器 153! @/ b! m- b, g+ h
6.1 资源调度器背景 153
5 E9 c [" K* r g0 y3 Z6.2 HOD调度器 154, J" T, K' W$ n/ v; N- m
6.2.1 Torque资源管理器 1545 N1 N: k6 R& I4 m$ [+ K( z
6.2.2 HOD作业调度 155( X) n$ a& g8 T$ V& g8 e5 T" r( k
6.3 YARN资源调度器的基本架构 157
- N; P: G( y m2 |7 M6.3.1 基本架构 157% f* o' x& q- o6 [+ \
6.3.2 资源表示模型 160
% F5 e% q9 u6 s; i0 ~2 |6.3.3 资源调度模型 161, Y) v# {' I2 ^
6.3.4 资源抢占模型 164& X' y) Z F, g/ J% h2 Z
6.4 YARN层级队列管理机制 169
) M/ |- o8 [' i" I0 ^/ J( E+ m6.4.1 层级队列管理机制 169) Y) K0 |# Q8 [! G: _
6.4.2 队列命名规则 171: i \& Z" r; s" H( b+ [ W6 W# ?
6.5 Capacity Scheduler 172
; J3 A" p# e# t& Q6.5.1 Capacity Scheduler的功能 172
3 A h% T* T+ u( S# o- N; e$ l6.5.2 Capacity Scheduler实现 176
; Y/ e9 J' X' Z4 Q5 w# T2 L6.6 Fair Scheduler 179 B+ Q* s+ L/ M: Z/ Z6 l
6.6.1 Fair Scheduler功能介绍 180
% M$ @) @# {! X: X# I6.6.2 Fair Scheduler实现 1822 c) N2 e# ~/ Z1 V. E
6.6.3 Fair Scheduler与Capacity Scheduler对比 183
/ o. p( |! c. M/ k) l+ z6 }5 D8 Z6.7 其他资源调度器介绍 184
( W! a* v7 D" v7 m3 ~/ R6.8 源代码阅读引导 185
* Y! W, g* Q* ?) B. s6.9 小结 186
3 z; i/ t4 H! T9 x" Z( o6.10 问题讨论 187
5 R- b) \- X* C! j4 Q' ?第7章 NodeManager剖析 1884 P9 g3 R" r, p: r) O/ }) n7 h
7.1 概述 188
3 n" }! N5 ~7 j. v) M7.1.1 NodeManager基本职能 188! n2 s# h4 ] u- s
7.1.2 NodeManager内部架构 190+ g; W5 i ]* t& P# i: |
7.1.3 NodeManager事件与事件处理器 193) X4 V9 E) I5 u p& {8 p9 K4 d: ?0 P3 S
7.2 节点健康状况检测 194
4 {# P( m9 I- M+ w% ]7.2.1 自定义Shell脚本 194 T- \9 @4 n' ~. P( n# z8 E! H
7.2.2 检测磁盘损坏数目 196! X* g& Y3 g2 |2 ^" A) n9 O# M
7.3 分布式缓存机制 196
( f1 |& o/ y* G& t( h; s+ g; J3 ^ J7.3.1 资源可见性与分类 198
3 i2 A8 h% U$ }8 g4 O) g- S/ I7.3.2 分布式缓存实现 200 F% Y% s6 l3 M& b2 p8 ]7 K& U a
7.4 目录结构管理 2037 Q4 R9 R! e) _* R( Z7 A V4 }5 F
7.4.1 数据目录管理 203
6 {6 E# {) u1 M7.4.2 日志目录管理 203- m3 F# f B$ R$ Y4 }8 A4 Z* T
7.5 状态机管理 206
E3 _) {1 F5 U4 Z3 x7.5.1 Application状态机 207
' C8 @1 I, O# k# M9 l/ D% ]7.5.2 Container状态机 210: w% Z- o0 Z$ Q0 Q
7.5.3 LocalizedResource状态机 213
( Q- ?- q! F5 S* g4 I7.6 Container生命周期剖析 214
& L" L' r( u$ k; e* c" _7.6.1 Container资源本地化 2147 [7 o6 r; x. B: h5 t4 D- u
7.6.2 Container运行 218
9 c; z3 Y; K! F) z: U7.6.3 Container资源清理 222* t3 Y, L3 U% z4 j8 x7 \3 R. R
7.7 资源隔离 224/ `* r1 u8 p+ w. C+ d1 R) H% k2 Z
7.7.1 Cgroups介绍 224
. p0 i* _+ c4 q4 d1 {; ?0 t1 Y& F7.7.2 内存资源隔离 228
; y4 v. \* {" I8 Y7.7.3 CPU资源隔离 230
- s3 G" g7 Y/ S7 E* T6 Y7.8 源代码阅读引导 2347 V. G4 X! ~- E2 y
7.9 小结 235
4 e2 ~' a5 Q6 S: J' r* ?7.10 问题讨论 236
1 B1 u; _2 \( c2 J2 ? y4 |第三部分 计算框架篇; y- c0 c, T) F( n% n5 q, d0 W( S
第8章 离线计算框架MapReduce 238
6 G! @6 c) `# l3 P- Q+ o) q( k8.1 概述 238) F' Y& k' q/ r0 H( V4 O( h/ J
8.1.1 基本构成 238
4 i) l. P9 N! J) f7 {7 W+ x9 l8.1.2 事件与事件处理器 240
4 }+ c3 O H6 d( a( }! x( c. k: r8.2 MapReduce客户端 241
4 u% P1 [% Q! S0 E8.2.1 ApplicationClientProtocol协议 242
1 d ]% `3 O! t7 Q4 L8.2.2 MRClientProtocol协议 2438 n4 P' a" [; |, w6 R
8.3 MRAppMaster工作流程 243) s" C" M$ G8 b- j5 X+ P. R
8.4 MR作业生命周期及相关状态机 246
+ N2 Z# l8 e& N4 b* I4 K5 M1 S8.4.1 MR作业生命周期 246" d# t. }6 y2 a% Y/ a. R6 T& Y
8.4.2 Job状态机 249' T5 o7 @5 Z3 u' R4 p
8.4.3 Task状态机 253
. A+ O) B$ G! `: {2 f: |+ |8.4.4 TaskAttempt状态机 255
! [; m8 a6 I, I/ g7 k) v6 p8.5 资源申请与再分配 2592 u! a- A5 ?+ e' N+ W$ k7 d
8.5.1 资源申请 259
, X6 T# F L/ \* @" @- b( b, q+ [8.5.2 资源再分配 262
0 z) v' m; U$ S9 B5 e: k$ e$ i5 D8.6 Container启动与释放 263
% S6 Y! t- ^; o) \8.7 推测执行机制 2647 m: w/ X. Q( Q4 x3 A; R$ u
8.7.1 算法介绍 265
' N+ B9 g$ H7 g. e8.7.2 推测执行相关类 266
# j% C# F& A$ }2 T6 C0 z. d: E8.8 作业恢复 267" a- P, K f$ S0 T: m4 E) S$ }
8.9 数据处理引擎 269* `# y: Q% C2 z% V: @- e8 t
8.10 历史作业管理器 271
/ y$ H) f$ s+ Z3 B N8.11 MRv1与MRv2对比 273
# ?2 Z$ I6 K& ^0 O* T, }% p9 B8.11.1 MRv1 On YARN 273
+ l# F% P4 j% P& K) P0 z# T' {8.11.2 MRv1与MRv2架构比较 274
& \5 f4 }9 K( u+ y/ ~, y. j: x. `$ K0 I$ a8.11.3 MRv1与MRv2编程接口兼容性 274
! E2 a2 W6 E. b" U0 R, j9 g, w5 y8.12 源代码阅读引导 275
$ o% T$ ?7 j- F0 g: Y# s8.13 小结 277
]# k5 h- E7 ^+ J \( X/ p8.14 问题讨论 277
$ N/ `5 W, q# e1 x# w! m第9章 DAG计算框架Tez 2785 @& \0 E0 o+ ~: }! P
9.1 背景 278
8 G% T* a# a4 a& r& [! `9.2 Tez数据处理引擎 2814 i. t% }( M0 U" B
9.2.1 Tez编程模型 2814 u; E: k; O. q" l6 n, P# F! s+ ~9 B
9.2.2 Tez数据处理引擎 282% \( ^0 D, N) ?# o! S8 c
9.3 DAG Master实现 284' U3 A {& V8 l& ^7 k& c
9.3.1 DAG编程模型 2847 f3 n2 U' g- v( Y; @% {
9.3.2 MR到DAG转换 286
7 P' k' d7 A' Z3 d) s, w1 G2 z5 Q9.3.3 DAGAppMaster 288) s9 F6 e2 N. F
9.4 优化机制 291, Q2 D4 l* I: D2 y
9.4.1 当前YARN框架存在的问题 291
$ n: N# e1 N$ h$ D9.4.2 Tez引入的优化技术 292
3 Y1 `3 v% h! A% H" S T9.5 Tez应用场景 2926 m$ Q' B# n# V# @
9.6 与其他系统比较 294
$ Y0 m/ [# d$ E+ h9.7 小结 295 z3 h8 D5 ^6 z, ]3 w
第10章 实时/内存计算框架Storm/Spark 296
) V8 ]4 H) d$ S3 x2 @1 ?+ [10.1 Hadoop MapReduce的短板 296% p) ~6 T" {# \/ ^3 r3 s* q0 w
10.2 实时计算框架Storm 296. `/ ?# ~+ O( b2 ?
10.2.1 Storm编程模型 297) `) N- ^& p& k9 }
10.2.2 Storm基本架构 302
8 S( R Y6 ]3 f P0 V10.2.3 Storm On YARN 304( L0 x2 w2 V% g
10.3 内存计算框架Spark 3078 S% m8 D' h$ k
10.3.1 Spark编程模型 308
& H% j; c) Y$ u9 X) R10.3.2 Spark基本架构 312! `8 @; L4 T; K- W1 D! [# I
10.3.3 Spark On YARN 316
% g3 \: v \6 k2 \10.3.4 Spark/Storm On YARN比较 3173 o. w1 t% E4 `# H4 N; I7 u y
10.4 小结 3178 q7 t3 Z$ [2 L/ Q/ V; K
第四部分 高级篇6 n# Q1 i+ q4 T8 Y# Z" S
第11章 Facebook Corona剖析 320
+ \, x; [ x$ M& _0 X; o7 f11.1 概述 320
6 m: e& Z" J" R- g& c11.1.1 Corona的基本架构 320
% O$ g& L# W7 D11.1.2 Corona的RPC协议与序列化框架 322
6 D6 \1 c E0 o- R11.2 Corona设计特点 323
+ V6 N8 k7 g0 W. P" b4 x11.2.1 推式网络通信模型 323( v( ~- I4 ]3 X* d
11.2.2 基于Hadoop 0.20版本 324. C' ?, K8 x4 l3 v1 g! w3 m8 Y5 L
11.2.3 使用Thrift 324
D k5 H; @% I, ?% Z. |11.2.4 深度集成Fair Scheduler 324
0 J5 u+ b; a- I) {* r; @11.3 工作流程介绍 324
+ t8 `3 ?+ r F+ Z' Y' J11.3.1 作业提交 325. h3 O1 E" m+ L5 J: C+ ?
11.3.2 资源申请与任务启动 326/ D x' R1 {' n0 z1 G
11.4 主要模块介绍 3274 B8 F# R6 L) K& C6 C" ~. z8 D
11.4.1 ClusterManager 327
+ a6 D8 d5 y" J5 O0 E/ ~11.4.2 CoronaJobTracker 330% w' O: D7 |3 N1 Z% Q% b
11.4.3 CoronaTaskTracker 3337 C* K1 ~) v5 M/ e2 E
11.5 小结 335! _) y [- V( q" |+ |
第12章 Apache Mesos剖析 3369 e3 T. e8 {* G; u3 S- I0 p
12.1 概述 3360 |$ V8 c1 U6 B/ Q5 G9 X2 e% l8 }
12.2 底层网络通信库 3370 @& T7 W1 u: {* D7 U6 r% u8 u2 n+ ?7 \
12.2.1 libprocess基本架构 338$ g; P8 m4 x" U! \7 }# f
12.2.2 一个简单示例 338
+ b, c* ~: X" F7 l+ _0 u# u, e12.3 Mesos服务 340
, N3 D+ r; J6 L2 U- |/ c# l& h8 q4 m12.3.1 SchedulerProcess 341
( W* L4 Q6 W, X! y: R2 D% S12.3.2 Mesos Master 342
: o3 J, K3 R% ?6 U1 e12.3.3 Mesos Slave 343+ O6 q O4 Z6 L/ L/ x7 k1 c
12.3.4 ExecutorProcess 3438 W, E! r& \* Q
12.4 Mesos工作流程 344* T, P5 N: @2 o
12.4.1 框架注册过程 344' B3 M% y( _# m& r9 T9 V i
12.4.2 Framework Executor注册过程 345
# k3 E7 t6 z- A1 P' Q12.4.3 资源分配到任务运行过程 345
) r, g$ X( ~1 L12.4.4 任务启动过程 347; j" m* l9 u4 |/ _& o
12.4.5 任务状态更新过程 347
2 j+ J' S) C7 x% ^/ W p. p: I7 r12.5 Mesos资源分配策略 348
* k3 t8 o( j4 t7 T: N$ E, ?12.5.1 Mesos资源分配框架 349& e; d5 G/ M2 P+ ~: T3 r
12.5.2 Mesos资源分配算法 349
- [* I& V$ y0 {% o* N12.6 Mesos容错机制 3509 R6 w5 C8 z, V7 {, e! _' e5 {
12.6.1 Mesos Master容错 3504 x+ [# C5 M0 z% V' e) P
12.6.2 Mesos Slave容错 351 c h8 I4 j7 t W# ^
12.7 Mesos应用实例 352$ U+ [, ]$ \# v: C4 H
12.7.1 Hadoop On Mesos 352) b6 J w& E% N6 A* s* u6 ~0 R
12.7.2 Storm On Mesos 353! g( C5 n. t/ J2 B" X
12.8 Mesos与YARN对比 354) G$ [4 U- c% m' @4 O4 L5 R$ G( S
12.9 小结 355; f- }; g P+ J( j2 L6 t
第13章 YARN总结与发展趋势 3566 g, i$ z6 T( T6 r+ E+ u
13.1 资源管理系统设计动机 356
/ {1 ^+ z4 b" U: s7 T( n E7 w" F13.2 资源管理系统架构演化 357
! d3 Z' t) p7 t9 x13.2.1 集中式架构 357% o( C; U$ x! l) p- t8 P3 d
13.2.2 双层调度架构 358
8 T7 [/ O1 Y3 u! g4 W" d* F/ V13.2.3 共享状态架构 358
: W8 P; v+ ?, X/ U13.3 YARN发展趋势 3595 l0 h+ H2 U2 n, t% T, V
13.3.1 YARN自身的完善 3594 K6 w: T2 p W% W" T
13.3.2 以YARN为核心的生态系统 3616 W4 u* g% ~, t3 l, t. ?/ Y7 ]/ v
13.3.3 YARN周边工具的完善 3637 n7 h1 D$ N* v: \" x) G
13.4 小结 363
5 B- K( h1 q$ N8 {7 M7 w附录A YARN安装指南 364
& ?9 T" M4 X& x9 n' w. Z3 ^+ i附录B YARN配置参数介绍 367
/ |0 n' m" l3 H) [附录C Hadoop Shell命令介绍 371+ K3 @7 d& m, f
附录D 参考资料 374
+ ?" E R C; n7 P, Z9 M' V' d0 Q5 ?& R! N1 |
8 a3 q8 `1 ]5 ] f3 f
电子书优惠获取地址：《Hadoop技术内幕：深入解析YARN架构设计与实现原理》
" }* K! M1 e1 x* g
F2 B( ]) w+ Q |
|
发表于 2016-12-6 14:01:16
