|
|
java自学网（www.javazx.com）-java论坛，java电子书推荐：《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》
2 z L8 v/ ^4 I+ \java电子书推荐理由：由Hadoop领域资深的实践者亲自执笔，首先介绍了MapReduce的设计理念和编程模型，然后从源代码的角度深入分析了RPC框架、客户端、JobTracker、TaskTracker和Task等MapReduce运行时环境的架构设计与实现原理，最后从实际应用的角度深入讲解了Hadoop的性能优化、安全机制、多用户作业调度器和下一代MapReduce框架等高级主题和内容。
' ]# Q! v/ c" G& a# I4 U
; s* M& a- ]- P) I( j) |
% \, l) ^$ q7 [. F) ?! b/ v作者：董西成 著
3 L) `( d1 N$ K9 B7 q! X出版社：机械工业出版社4 y* [) i; |$ D6 s. ~: Z
出版时间：2013年05月 % ^' @- }, J% K) d
- L2 K, r* j" d& w# Y% m0 h( G8 C
& V+ n" N# e& R7 F6 c! n
4 H: T2 D) h$ ~6 ?
2 i& \; b/ |% k# I1 [
' u6 }/ }' ?9 E' d8 q, d o% {java电子书目录：
) B4 p& t0 t1 r' i/ w第一部分 基础篇
: {& q+ l$ Y" F' W5 t第1章 阅读源代码前的准备2 j6 g* J* t! x
1.1 准备源代码学习环境& T, K1 e$ l; \4 t0 O9 J( C
1.1.1 基础软件下载
, _, y" d% c6 ~6 w5 Y1.1.2 如何准备Windows环境$ z8 v. y& B# @" g+ i3 L) ~/ _
1.1.3 如何准备Linux环境
! X6 Q, [( J; |/ z1.2 获取Hadoop源代码/ V3 A, x: e7 k- `6 W
1.3 搭建Hadoop源代码阅读环境6 {& L, c r, t) ]
1.3.1 创建Hadoop工程
* A, y) a" `3 a5 @1.3.2 Hadoop源代码阅读技巧( J" B- Y7 a5 Q& h1 U" w$ Y. F
1.4 Hadoop源代码组织结构5 \6 p( o! C4 c. P
1.5 Hadoop初体验/ u2 p2 Z5 Q2 ~; M
1.5.1 启动Hadoop
/ O6 h% H0 h* d" E! m1.5.2 Hadoop Shell介绍2 f, a. q4 M7 X9 A8 \
1.5.3 Hadoop Eclipse插件介绍
: ~) O" l& V1 k1.6 编译及调试Hadoop源代码: z% d& R5 q; T4 Q% X! @
1.6.1 编译Hadoop源代码
7 J% P9 Z& `- J' \$ |1 ~, U1.6.2 调试Hadoop源代码
7 `" w! j$ h4 e- I1.7 小结9 P2 A. L4 l2 S8 U, Q
第2章 MapReduce设计理念与基本架构. y g3 ?" ?" x( R( r$ E
2.1 Hadoop发展史; X. A" C0 E' L! @: r
2.1.1 Hadoop产生背景+ k6 C0 F3 @8 {6 `( ^: d
2.1.2 Apache Hadoop新版本的特性
: k- Q0 |& l( b2.1.3 Hadoop版本变迁
$ r5 }( a9 k) V7 `2.2 Hadoop MapReduce设计目标3 \4 q* W1 l4 {; l q! L8 f* o
2.3 MapReduce编程模型概述7 \ v# H3 I6 A
2.3.1 MapReduce编程模型简介8 c# ^0 B4 M' k5 f) [# \
2.3.2 MapReduce编程实例 B$ z) i L, e+ G+ V
2.4 Hadoop基本架构
. m" E" e3 F9 W4 H1 n. J$ r/ x! G2.4.1 HDFS架构
* v. H5 ^9 R8 [8 U2 s( W2.4.2 Hadoop MapReduce架构2 F2 [2 @ ? o7 b; E
2.5 Hadoop MapReduce作业的生命周期
! R# r! @, c: x ^# Q2.6 小结' L% R: f$ I. C$ Z4 d2 _4 Q% i% e4 m
第二部分 MapReduce编程模型篇$ x* a8 u/ }# F4 k/ B" e- j, Z
第3章 MapReduce编程模型+ ]- `3 O' G# `) _9 O
3.1 MapReduce编程模型概述
0 Z w1 ?: Y* V6 ]& M Y; T/ u3.1.1 MapReduce编程接口体系结构0 a7 p5 g! [; t8 [
3.1.2 新旧MapReduce API比较
# N" p5 c2 H3 p0 Y, y/ n3.2 MapReduce API基本概念8 G9 V [4 P7 y$ Z' d4 I
3.2.1 序列化
2 h3 G8 E: E- Y0 `- g) }3.2.2 Reporter参数) j* c S; C! H0 O' N, k+ E
3.2.3 回调机制
2 U g# W( p* B/ J/ \3.3 Java API解析/ ~7 h# M0 T' L- _
3.3.1 作业配置与提交
7 b' W/ p8 c8 ~: L0 `; Y3.3.2 InputFormat接口的设计与实现
# h% n6 {0 w, J/ n& P0 U" ?$ Z* A* j3.3.3 OutputFormat接口的设计与实现) W" o# B2 m, X* A
3.3.4 Mapper与Reducer解析( ~! {& g! P9 W: a
3.3.5 Partitioner接口的设计与实现
0 ^# d& u/ n- X1 J4 K: j$ l3 R3.4 非Java API解析
( @4 `6 Y3 c9 r/ s' F3.4.1 Hadoop Streaming的实现原理
0 f8 @7 d3 H1 Q' L4 q# q$ `# M3.4.2 Hadoop Pipes的实现原理2 }+ v% K, S$ B1 a$ q
3.5 Hadoop工作流1 J4 {7 l$ A: }1 f& b* d! i
3.5.1 JobControl的实现原理
1 N9 W# H8 W* d- b, o% f3.5.2 ChainMapperChainReducer的实现原理
6 p" D4 s4 W6 K6 Z. G2 v1 u3.5.3 Hadoop工作流引擎
3 f- Z7 M6 j; ?6 E3.6 小结
: m, m: e7 r5 }! {) a第三部分 MapReduce核心设计篇
: t$ {. \( m7 Y8 z% C0 U3 X/ E第4章 Hadoop RPC框架解析
' ]* r- @$ m* Z5 e/ w. D% x4.1 Hadoop RPC框架概述
/ W# @1 g* }. S' y6 q4.2 Java基础知识 @+ B9 i5 M. T8 P" F
4.2.1 Java反射机制与动态代理& q2 ^0 ^- i8 K% M% N( s8 j4 L# Q
4.2.2 Java网络编程
/ `% l( \9 d" U3 O& _$ W4.2.3 Java NIO
6 L* [+ X+ G# ^ n( V0 N4.3 Hadoop RPC基本框架分析
h0 @& G! B6 v* C4.3.1 RPC基本概念
+ q3 N) ? J6 u! X% v4.3.2 Hadoop RPC基本框架1 }+ O! r, W. b6 r
4.3.3 集成其他开源RPC框架
; ~, w* E4 k- [- \) U4.4 MapReduce通信协议分析
# _1 r8 _6 h2 ?, P8 f4.4.1 MapReduce 通信协议概述5 _2 L/ L/ O8 d q: Y. \4 n3 ]
4.4.2 JobSubmissionProtocol通信协议
' d: {' o, J5 ~4.4.3 InterTrackerProtocol通信协议% z1 B/ Q4 l) d6 i0 C. z2 Z8 X" @
4.4.4 TaskUmbilicalProtocol通信协议
4 G& o; ~( z6 _+ K% }4.4.5 其他通信协议
6 b. D: @8 |, R2 O' x4.5 小结! \% t7 N" B* M1 A
第5章 作业提交与初始化过程分析7 i1 ~/ Y2 H6 N- S
5.1 作业提交与初始化概述# r* q7 \. d: S- ]% b
5.2 作业提交过程详解. @# q' s4 k0 s* I Q. x) {
5.2.1 执行Shell命令$ ?4 B3 p, x+ i1 d9 P
5.2.2 作业文件上传9 v2 f0 p7 a% w
5.2.3 产生InputSplit文件2 b$ X0 j. g" c. T; {! K" t7 k
5.2.4 作业提交到JobTracker
* T1 e9 g0 h! U5.3 作业初始化过程详解! H! u0 P7 v9 @. q/ P+ ^
5.4 Hadoop DistributedCache原理分析
, B3 N3 H/ V7 ?( W5.4.1 使用方法介绍
( N' A. T: h+ \' P# N5.4.2 工作原理分析% W9 F) \& Y5 X5 T, S: q
5.5 小结
! d" T! k5 M+ m6 g/ R第6章 JobTracker内部实现剖析
, W; k: D3 n9 G, N" F3 X6.1 JobTracker概述
- n' Y: L, Y5 ?) }1 w6.2 JobTracker启动过程分析
' b8 Z1 z' `. N( j9 i9 P$ {6.2.1 JobTracker启动过程概述. ?( o' C# Z. C: W0 A
6.2.2 重要对象初始化
! R- b, x3 |; D" t1 B6.2.3 各种线程功能/ t8 Y4 [ Q/ p: V( G4 h' o
6.2.4 作业恢复/ w. Z$ {" E( t
6.3 心跳接收与应答
* p' Y. ?% C1 V' e1 M: |6.3.1 更新状态; L8 P# F* D) ^ w5 ~
6.3.2 下达命令
* N+ t7 c, E: E. U6.4 Job和Task运行时信息维护* q4 W& n. D& C8 ]" S% ~8 F
6.4.1 作业描述模型' D, i' |1 _: e! S
6.4.2 JobInProgress
& n U! k4 h7 i/ ^3 q6.4.3 TaskInProgress
2 c6 E3 F0 h5 `& X6.4.4 作业和任务状态转换图% q. i8 l5 ~0 V" R- o5 Q" I6 ^
6.5 容错机制
+ r5 x6 I, a/ q5 N- o! C6.5.1 JobTracker容错
* e: L$ m' a2 B9 _2 i7 {, O6.5.2 TaskTracker容错3 K% L" [$ z9 L5 ?% t5 N B
6.5.3 JobTask容错
- C; \, `6 ^8 U' S6 |5 ~, L6.5.4 Record容错
2 z U1 X) ^: s6.5.5 磁盘容错
5 a% T" W K+ g' p9 i9 F, W6.6 任务推测执行原理; T. _. v6 h* X& y% U2 e/ M( x
6.6.1 计算模型假设' c9 B' ^. w7 X' J
6.6.2 1.0.0版本的算法
, s. \. m F. K2 u2 }' ?6 C$ P+ n2 y6.6.3 0.21.0版本的算法
5 P+ {. t" N/ ` p6.6.4 2.0版本的算法4 `. ?3 x- r3 h: G; z4 `' Z; d$ q5 |
6.7 Hadoop资源管理" W" ]8 k% {8 t: j6 ?1 y, h
6.7.1 任务调度框架分析
1 E* Q( n" M; Z6.7.2 任务选择策略分析+ h9 M6 A0 I8 v: ?: l& U3 u# x+ N# E
6.7.3 FIFO调度器分析* C" L7 O* o; }- d2 q, i
6.7.4 Hadoop资源管理优化
' H$ Q% f' g% j/ ?: d6.8 小结9 e- p: U+ c8 V& I X2 B
第7章 TaskTracker内部实现剖析
7 {, j; m* D1 b1 u7.1 TaskTracker概述- Y+ t, s8 a+ z$ c3 i2 r1 d
7.2 TaskTracker启动过程分析$ i" ]/ k4 Z+ e
7.2.1 重要变量初始化
& H A, [" W$ _3 m- M+ {7.2.2 重要对象初始化2 d* j% I3 X0 p- ]+ {9 w
7.2.3 连接JobTracker
+ U: z4 m$ ~) j, A7.3 心跳机制
8 M" f( C k S0 z6 S7.3.1 单次心跳发送5 d* O0 s. v; A4 u5 S1 _7 ^( O
7.3.2 状态发送1 r3 b- G0 K4 k7 r/ n( s
7.3.3 命令执行3 h& a9 S3 \+ @- ?5 N
7.4 TaskTracker行为分析( z8 F) a4 y4 @( Y
7.4.1 启动新任务
; }+ l$ Z7 o& Q; @/ c7.4.2 提交任务
9 X' J+ V9 }# p* S( b# X7.4.3 杀死任务' X1 W6 _* b% G9 H* e
7.4.4 杀死作业
% N& S" _7 n( a/ r( E7.4.5 重新初始化8 R# v' O7 n+ x( K4 y$ W% p) _0 X
7.5 作业目录管理) ]5 d# p" u+ |# |6 p+ e% A3 d
7.6 启动新任务9 A# G7 @3 G2 _) A
7.6.1 任务启动过程分析2 s; l' _5 x- @, z! a# H( P0 v6 o
7.6.2 资源隔离机制0 K' V# Y1 H, B$ d
7.7 小结3 Q" a: d6 }+ r V. @
第8章 Task运行过程分析
6 j7 h. N) e; W1 Q8 u* c8.1 Task运行过程概述
8 `6 _9 P3 z* a* m- U% C) [8.2 基本数据结构和算法5 p$ F* Y H3 y( \, ?" j1 C
8.2.1 IFile存储格式3 J+ C& m. U" l" S# z+ F3 E
8.2.2 排序
0 \/ M) n8 E6 P; @- c) h4 U6 B8.2.3 Reporter- Y$ k0 e7 p7 J0 a
8.3 Map Task内部实现
- A+ F2 U% V. G1 r9 m8.3.1 Map Task整体流程
4 K X% J0 F( F1 G9 `$ W. w8.3.2 Collect过程分析1 H* K' X( f+ ]
8.3.3 Spill过程分析6 a4 e1 Q& h. o' `# _4 Q
8.3.4 Combine过程分析
' Z. Z" p- T- H* L) P0 |8.4 Reduce Task内部实现1 U$ C9 P6 s- W/ L S
8.4.1 Reduce Task整体流程
) [+ s; s2 \" n f* C8.4.2 Shuffle和Merge阶段分析
* n! L$ y4 U0 [' J+ _' |' u8.4.3 Sort和Reduce阶段分析, m) ?& F, v& ^7 l( V
8.5 MapReduce Task优化
- V# H4 R0 Y1 E3 s$ [* I8.5.1 参数调优
& l4 E! a( V1 ^8.5.2 系统优化
! c: L- D6 p+ j) Z! ~& p8.6 小结
9 g. s) I) N% E$ j第四部分 MapReduce高级篇3 q/ }9 O$ }) B: V
第9章 Hadoop性能调优
! D u" U" O# T/ _. ^, `; ~( S- w- _9.1 概述
$ i' ~4 f% X6 o# t7 \/ u2 j, g9.2 从管理员角度进行调优$ l+ g+ i) z/ F# b c3 ]
9.2.1 硬件选择0 I" n: `5 s8 y6 N- t" W# _
9.2.2 操作系统参数调优
5 Y1 i; X/ }" Q- \- q! F: p$ p9.2.3 JVM参数调优. u5 @( k! Z5 W: j; }9 A
9.2.4 Hadoop参数调优& g) o2 ~/ s: C3 b0 Q: X
9.3 从用户角度进行调优
. x- @! U: u# `/ w3 |2 \$ n9 E3 s! o9.3.1 应用程序编写规范
4 W" i1 b8 M) W9.3.2 作业级别参数调优0 U' Z! k# N8 C0 k* V& V2 s4 @& ]
9.3.3 任务级别参数调优. ^( w1 Y* s O' Z2 l
9.4 小结
9 c1 z( n" w/ U t! n5 G第10章 Hadoop多用户作业调度器
, L5 V1 P5 N% k$ P10.1 多用户调度器产生背景
" M: s: a7 A, R% O1 i1 @10.2 HOD
! D" m; V! t8 o& X+ ?* Y10.2.1 Torque资源管理器
4 P" h& V6 X* b10.2.2 HOD作业调度
- r8 j! ?+ ~: Z3 n7 V10.3 Hadoop队列管理机制! ^: `9 l5 U3 q9 |; T& U
10.4 Capacity Scheduler实现
6 S0 T6 l* |' X4 @6 N10.4.1 Capacity Scheduler功能介绍 R" z, }" x% S5 z8 D" S
10.4.2 Capacity Scheduler实现& ^) [$ ^7 `- O5 n
10.4.3 多层队列调度# r; y% Q) s# E6 z; t
10.5 Fair Scheduler实现
5 k# B3 d" ]0 d. s6 T10.5.1 Fair Scheduler功能介绍
+ N! ?2 Q' p. ~3 |3 I1 z10.5.2 Fair Scheduler实现7 B+ D: k: @: s& T- ~/ o3 d
10.5.3 Fair Scheduler与Capacity Scheduler对比% D# ]& c8 H0 Q( F; S& z. i
10.6 其他Hadoop调度器介绍% ^; i9 n" B, d; k" ]
10.7 小结
- G$ i, f3 {) l& V; Z( Y6 A2 k# {第11章 Hadoop安全机制
8 }5 r0 K" |: f3 u$ S6 v2 s11.1 Hadoop安全机制概述- u3 M/ B8 [0 r+ G3 S) L
11.1.1 Hadoop面临的安全问题0 o* t, v* s5 s O+ X, ]6 f; Y2 y
11.1.2 Hadoop对安全方面的需求' ~( z1 y. a( a) x) ~* z
11.1.3 Hadoop安全设计基本原则! v% L! \" e' p* w0 b
11.2 基础知识
% E0 I1 j! Q, B) r& {" I11.2.1 安全认证机制
) {+ m& r& F, E11.2.2 Kerberos介绍
! x7 |( l0 `& {2 F9 k, p: C+ L; y11.3 Hadoop安全机制实现
+ b5 ~. Q3 L. Z) o. U, Y11.3.1 RPC: l( t" O7 a$ Q" I
11.3.2 HDFS v) ~, Z1 S7 M1 r2 P
11.3.3 MapReduce1 A! x: N* p' y3 X
11.3.4 上层服务
/ B, P5 [# {/ ]+ N2 V' t/ e11.4 应用场景总结2 o+ m/ I3 p# K" a7 w* w% a* g
11.4.1 文件存取
! W- B8 i; ?# ]" O0 p8 e$ \11.4.2 作业提交与运行
8 W3 n$ C. N1 o11.4.3 上层中间件访问Hadoop {' Z- T1 s! }8 t
11.5 小结
% [+ O: s) }/ v7 |8 ~; C- d6 o第12章 下一代MapReduce框架6 b6 u! I$ V. A7 l
12.1 第一代MapReduce框架的局限性. J* h, P* P& N# n
12.2 下一代MapReduce框架概述 o7 p1 Z2 W3 y& ^) d& ]
12.2.1 基本设计思想
+ g# X! m$ T @) \( z S. Z3 D12.2.2 资源统一管理平台
# h' a0 B0 ~) y$ h. D: ^# c- H d- W12.3 Apache YARN, r. K# @" ~9 n+ F% z( m
12.3.1 Apache YARN基本框架, I# W% i" P" ]0 X! F
12.3.2 Apache YARN工作流程7 |1 b: R% n& t! f9 d$ s+ d
12.3.3 Apache YARN设计细节/ c, H- |8 n# N1 a: k3 a) t& f
12.3.4 MapReduce与YARN结合
4 m2 h6 O# b& A12.4 Facebook Corona# K7 ]9 G0 D1 i1 k5 G
12.4.1 Facebook Corona基本框架
1 ], S7 W3 h( c" w' {% ?12.4.2 Facebook Corona工作流程
, w! m" Q F7 [1 T5 |& S12.4.3 YARN与Corona对比
$ c2 g$ S! Q" Z' o* q8 @8 C( x7 i12.5 Apache Mesos* x0 H' B4 F6 G* A4 ]
12.5.1 Apache Mesos基本框架
+ x f/ c1 B, c- L% t12.5.2 Apache Mesos资源分配
7 n! O! u$ ?! T9 |3 K5 @3 Z12.5.3 MapReduce与Mesos结合
: X" e/ R) \2 O) i% u, R3 X12.6 小结 [+ S9 S# b6 A$ q7 F7 j8 p! z( L! p
6 l9 i4 `/ f' M0 i, a电子书优惠获取地址：《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》! P/ w# _" b7 c/ v- p
/ c5 S9 ^% q* C1 a" O
( m+ \7 h! Q c, `* J: l7 ]5 Z6 |9 p4 E2 C( m: N0 ^
|
|
发表于 2016-12-6 14:06:01
发表于 2017-3-15 22:21:19
