|
|
课程目录：
- T; S* b6 X# L5 _ S0 [( E! q! h$ o; ]- k- y4 e- A
01.Spark简介 00:03:19; N, y" q! K: k, }; F% y8 P
02.Spark预编译版本下载安装与启动 00:15:49. j) H; a" d& s0 }( N- |
03.Spark体验shell操作与wc操作与RDD介绍 00:20:401 ~9 ~$ |! ?& f6 [
04.Spark通过Maven进行源码编译安装 00:25:24+ e1 o3 r" X n7 e
05.Spark搭建Maven本地仓库服务器 00:23:39* u& }' P* @/ g8 k- k+ |: B
06.Spark通过本地Maven仓库服务器进行编译以及进行描述文件的设置 00:08:25
9 T k9 a: t" X. k4 U* p/ x3 Q07.Spark官方doc的宏观描述和优势说明 00:10:291 @; f' C( P+ Z; G& ~! S2 Z3 J
08.Spark独立集群模式部署和启动 00:32:06
; O3 k* L6 u& P1 {6 `4 n4 c09.Spark Master和Worker的webui查看以及FIFO作业调度讲解 00:09:43
9 |' f& x- ~2 n* l ^' ], j; `, j6 x% c10.Spark独立集群模式端口修改 00:11:16 J9 t+ ]2 P' ]4 i P' x0 k
11.Spark shell应用于addFile 00:24:37
9 ~% y4 H, O; u5 j/ `9 r12.Spark程序build的宏观介绍 00:03:24
6 _7 {3 r) u; k A' U) S13.通过交互模式初始化Maven项目 00:11:10$ k% [! p% d% N2 k$ V& y! n
14.通过参数指定方式直接初始化Maven项目 00:04:19
6 `" E3 r$ Q4 v7 U8 ?' X15.准备java源文件到自己的源码包中 00:04:43
$ N4 g# g9 }3 E& G16.设置pom.xml文件依赖插件以及与自由仓库目录树的对应关系 00:08:46
+ g. l* Z, o, i' f17.使用mvn package指令进行编译并进行打包与自由仓库目录树的对应关系 1 00:05:09
1 p! \9 C/ l3 L" s0 e) J" P18.使用java指令添加spark类库运行Spark程序 00:05:216 s6 w1 k0 L* p5 e' {
19.使用maven的exec执行插件运行java程序 00:05:44% _: B( i8 L% l2 c' \- I$ o
20.配置eclipse的maven插件使用本地maven仓库服务器 00:04:38
) s( U: D/ G5 v! G21.eclipse之下maven项目的配置编译运行 00:16:337 }* V2 N* P# c; U. u
22.eclipse之Scala插件的卸载与安装 00:05:02
+ a a& w- k# C: U$ |: {: ~, ?; n; |23.eclipse下构建Scala程序以及运行 00:02:45
7 A$ L. I$ v: ^# p$ g( s2 M24.通过Scalac命令手动编译scala程序并执行 00:13:16( ^/ g9 C1 w5 B$ r0 e8 A+ p, _
25.命令行下通过maven编译运行Scala程序 00:10:15
5 w3 b5 X$ {- P26.eclipse下通过maven-scala插件进行Spark（Scala版）应用的开发 00:05:599 ?* c0 B' n o0 K1 E; o
27.创建SparkContext简介与环境准备 00:04:59" [- b' |$ b7 Z* b- [( S/ N" i
28.使用Scala创建SparkContext对象以及conf配置和调试 00:11:32, P7 ~2 N6 a0 v/ e- J
29.使用Java创建SparkContext对象以及元数据介绍 00:11:30
* T/ v" C( u9 n/ d) q$ U: N" o' [) `30.使用Java创建Rdd对象并在eclipse运行 00:04:40
$ @/ v1 D# T: q4 j" m! R* \31.使用Scala创建Rdd对象并在eclipse调试分布式应用 00:17:09& U' c1 D6 v. W6 o( W3 t
32.addFile方法的使用与常见错误 00:21:53
, m6 l) j% O0 _. n! o; Y5 _- s6 ^1 N33.flatMap函数处理csv文件进行扁平化RDD处理 00:21:01. x8 M4 j# C y6 B3 R4 _2 A, }
+ Q: t: L5 x8 X$ k3 U+ G6 r L" y
9 b- f" @0 K6 J2 p& t8 n. Q$ {" K6 D I8 N- F% T- F0 R" G8 A
" i( J0 W t: w0 |% v
# `2 i K, K/ j& d! X
' t. N. W \, t1 D% h+ n& C+ Q2 j& v
资源下载地址和密码（百度云盘）： [/hide] 百度网盘信息回帖可见, A" j& F0 F! h5 w
9 j) b2 K8 T" o1 Y6 r
6 k* z8 M# ]2 ^) h8 y5 g% S% z" \# j1 h0 p
本资源由Java自学网收集整理【www.javazx.com】 |
|
发表于 2022-6-29 07:03:01
