|
|
课程介绍：
: J& `4 W8 Q5 g5 u! ] {3 l4 |' X1 B0 g$ p8 p
本课程主要介绍Spark的架构与工作机制。课程中将对Spark的内部模块结构进行详细的阐述，同时对Spark内部调度进行讲解，完成对Spark核心工作机制的剖析。
4 N( P7 h' z- n- h9 Y _9 }. o/ w
课程背景：
0 h+ z2 R! u) L, I$ V8 Z* r M; f- h
Spark架构整体包含Master，Worker，Driver，Executor等组件，在集群上完成大规模数据处理。Spark通过一定的调度机制，将作业并行化运行。 : Q4 [ O( }* Q* Q$ a2 s% }
+ s5 L. l: v, q3 k9 v _核心内容： 0 d. U, B4 ]3 q2 y' x
, E! L8 t9 @0 o+ ]4 r
1.Spark架构* L( `7 ~) } z7 T0 P/ z( @7 u
2.Spark作业与任务
9 J& y) O# i8 \3.Spark工作机制/ F+ R) Q) m* E+ x( y$ h s" ?
4.Spark Application调度7 p& `& b! j3 b- r: c( q& }, V/ V- M
5.Spark Job调度 ; I: H4 k k2 v: j) z5 Z' m
' u. `4 J9 A8 n1 Z/ v软件环境：Intellij，Linux，Scala 9 S- m7 U/ Z% ` s. p
& p. [+ a8 e) k7 T' e! u$ }
是否提供资料：是
4 {, ^, t4 d2 b! a& u6 @
" c, v, Q u: r- t) h8 b. q; ^课程等级：初级
) t7 j1 l% `: I- p
0 k5 ~) y* }( R. C9 A5 ]适合人群： % T5 a& V* }2 v! I& j6 v
, K' B G, A$ L4 \: D/ ]5 U& }+ `6 [
数据工程师，数据分析师* i; I! h. n: ^# Y# _. p" E
2 @9 I2 N! A1 U% `课程列表：! f/ y7 z/ {2 v6 T% a
3 s, m" }& s3 Y7 x) N0 R' g0 m9 C1 Spark的架构 05:41
, h) a' S$ v# z& c( \( \本课时介绍Spark的架构，对Spark架构中各个组件，例如Master，Worker等进行剖析讲解。; I. t9 g+ n' q6 h
2 Spark的工作机制 06:376 I8 N3 i0 Z9 t7 i \! n$ k
本课时介绍Spark的工作机制。对Spark作业中的Application，Job等进行讲解，详细剖析Spark作业的运行流程。% U7 V. n2 D8 {# ^6 I7 q
3 Spark的调度 09:22+ C. n2 s2 Z8 S+ R
本课时介绍Spark的调度。 课时将会针对Spark中各种不同的调度进行深度的分析讲解。% h6 I0 r) d7 A6 }0 a
& E! w8 }, U0 @* D
/ D1 T, E0 `# J# w. |# g s, ] c' [) R8 H# }! U2 e
! R, r4 q; q* I7 u( L
资源下载地址和密码（百度云盘）： [/hide] 百度网盘信息回帖可见9 |! | S) z4 P
1 l1 s* L4 ~ J& Z
- g+ ^" Z' G! [" Y9 w! B; z" [4 y
. o( q% }0 ~9 F2 J
本资源由Java自学网收集整理【www.javazx.com】 |
|
发表于 2022-6-27 03:00:01
