|
|
课程介绍：
/ ?) t- {7 z1 P6 O2 M6 z" Z, Q' M S; }* z9 H
本课程主要讲解当前大数据领域面临的在线和离线处理问题，以及针对在线处理实时性和迭代性的特点讲解使用 flume + kafka + storm / spark + hbase / redis 的处理架构；针对离线处理批量、大数据量和持久化时间长的特点讲解使用 hdfs做存储，mapreduce 做计算框架的方式。最后简要介绍对海量数据进行 OLAP 和 OLTP 分析的常用大数据处理工具 elasticsearch、drill等。' J; v8 {: ?* d, [
; P4 o5 y# D4 I* n$ ~
课程时长：
! q2 I' U+ b' j9 Z
# x) s2 U8 u- c/ G3课时 75分钟5908人学习8 A5 r4 ?0 J+ z
8 C% e# o% Y, b% j8 V
课程背景： ( o8 B: ~- ~ b% t0 ~+ Z. D- o
3 w- M7 S" U6 M7 M: I2 O7 }目前，企业界和商业界面临的大数据问题总结起来主要有以下三点：(1) 在线数据分析和处理；(2) 离线批处理；(3) OLAP 和 OLTP分析和处理。本课程主要介绍这三种问题的特征以及当前处理这三种问题常用的技术手段和使用的工具。在线处理主要介绍 flume + kafka + storm / spark + hbase / redis 架构；离线批处理主要介绍 hdfs、mapreduce 和 pig oozie 等；OLAP 和 OLTP 主要介绍 elasticsearch、drill、和 Impala。
; J% `# z: K! A$ D7 S- U* K3 y) l+ v% g |, Y& L
核心内容： 7 j; c' d) u/ q8 ~. s% ], _
9 i) @6 x7 X2 n! \6 s- }1.大数据在线分析处理和常用工具
; p4 \- S& N, B9 J' V; c8 _2.大数据离线处理和常用工具
3 r- k& q' z% @1 P w: M3.OLAP 和 OLTP处理和常用处理工具 ' J8 p: B7 i' \* K5 C
8 J* X! ^) X5 A, a7 d2 |; J9 [软件环境：linux 服务器，flume kafka storm spark redis hdfs mapreduce pig oozie drill impala 等 % }6 ]' B: Q3 j& d
; b/ _3 w k* @+ V( t9 p适合人群： ! P5 y) N* v% G
7 @0 H: \" j9 A9 ?! H, y) v7 `
大数据爱好者，大数据开发者、大数据架构师3 M7 f/ K& R( H( r2 V- |
% B ~* Z+ @" r9 b8 q课程目录：7 Q0 `% Q, y, a& L
( e W2 P8 k9 c; G) ~) L1 大数据在线分析处理和常用工具 32:32. W r0 W6 ?2 P ~, L
本课时首先介绍大数据在线分析处理的特点，然后会针对这些特点介绍当前常用的处理架构 flume + kafka + storm / spark + hbase / redis 。其中会重点介绍 flume storm 和 hbase。7 N+ ^; a5 n$ H# K
5 C, N' S. o+ j- L2 g) P
2 大数据离线处理和常用工具 16:33 B, a; l A* ^" ]
本课时首先介绍大数据离线处理的特点，然后会针对这些特点介绍当前常用的处理架构 hdfs 做存储，mapreduce 做计算框架, pig、cascading 和 hive 计算工作流。其中会重点介绍 hdfs mapreduce 和 hive。8 `% }' Z% {8 F6 j
# H0 N p; F- c( k( W3 OLAP 和 OLTP处理和常用处理工具 26:057 r$ B' B, }* k4 k h: Y
本课时首先介绍OLAP 和 OLTP处理的特点，然后会针对这些特点介绍当前常用的处理架构 elasticsearch 做全文检索、drill 和 Impala 专注于大数据上的 SQL 查询, kylin 专注于大数据量的OLAP 分析。其中会重点介绍 elasticsearch Impala 和 kylin 。
$ X, U j0 e' |! ~7 Q! E: A& e7 n' X6 x2 D* s" y. S5 r
( m+ n7 L* s6 y: \
, _$ v. z( h* S4 R$ c, U Y8 s2 H+ H7 n( C
) z1 V d& `7 e: q% x7 C8 L$ Y. Q
1 f: w! W3 E" S" b
资源下载地址和密码（百度云盘）： [/hide] 百度网盘信息回帖可见/ H0 R0 J' ^% n) R
3 }' U" R! d; ~% p4 L% t5 k1 n+ P; E$ @2 n9 @ a
1 ]% [. K' j) K- A
本资源由Java自学网收集整理【www.javazx.com】 |
|
发表于 2022-6-26 03:06:02
