|
|
基于Flume+Kafka+Spark Streaming打造实时流处理项目实战课程 企业大数据流处理平台实战教程
1 ]" {, L, D; g# d7 O$ V D. n# Q4 Y! |) v0 @& K5 Q6 S
5 H6 _, A; j7 M+ ^; i
课程目录：
1 j6 E# M, e3 S! M( u& q7 R) y* {5 I+ z6 W
2 C/ _ `! G% h; J3 ~1-1 -导学-0 j& _ K( {- L/ _0 X3 Z
1-2 -授课习惯和学习建议
0 K6 J: S: h/ o% e$ V9 C2 _; d1-3 -OOTB环境使用演示- k" e7 Z" n4 g4 E3 G& i
1-4 -Linux环境及软件版本介绍0 i' ?* O& ]# v
1-5 -Spark版本升级( ?3 e+ O! y' U# }' ?* q
第2章 初识实时流处理
& i2 `1 a" n+ m本章节将从一个业务场景分析出发引出实时流处理的产生背景，对比离线处理和实时处理的区别，了解常用的实时流处理框架有哪些，实时流处理在企业级应用中各个环节的架构以及技术选型
8 H5 h0 B$ F' S4 ~
8 L* i/ I+ p/ J! G/ s9 {
# {' g1 n1 N8 o% q6 w) l2-1 -课程目录
' ~' A' `2 i1 \9 V4 f2-2 -业务现状分析
' y9 k4 ^) x' v4 T( j5 i2-3 -实时流处理产生背景
# S% g% f0 q/ E$ d! D2-4 -实时流处理概述9 Q5 R* m! {: f# `4 I
2-5 -离线计算和实时计算对比, G7 W8 D+ q6 `% l. L6 A, [5 t
2-6 -实时流处理框架对比6 c# j/ K8 e; `% u; s; t& @. Q/ E
2-7 -实时流处理架构及技术选型
0 ?" r$ S& D; u: l; z) x6 F% n1 q* v$ V2-8 -实时流处理在企业中的应用
1 Z9 ~' M; z; w第3章 分布式日志收集框架Flume! u! }/ d2 @5 R7 \+ b
本章节将从通过一个业务场景出发引出Flume的产生背景，将讲解Flume的架构及核心组件，Flume环境部署以及Flume Agent开发实战让大家学会如何使用Flume来进行日志的采集7 U; K' w1 P+ Q' {1 x; E' g0 s
! k* b& w3 x$ U6 I. _, Y0 W
, C C- S6 f% ~3-1 -课程目录/ B L. w0 M: q- p
3-2 -业务现状分析" [1 w) N6 l5 |# H
3-3 -Flume概述
* u t. e+ Q6 M- h+ G% a* H3-4 -Flume架构及核心组件4 M* H8 A8 r# B- \, z6 l
3-5 -Flume&JDK环境部署
" W' u" \6 H5 w: M% Q' O) e3-6 -Flume实战案例一
n- F: ]9 _8 q8 t% _# y7 G2 }3-7 -Flume实战案例二# X: _+ @$ R8 _4 W B
3-8 -Flume实战案例三(重点掌握)2 ]7 a# Q( n+ `6 a9 u* x
第4章 分布式发布订阅消息系统Kafka* c! y+ K2 H6 E
本章节将讲解Kafka的架构以及核心概念，Kafka环境的部署及脚本的使用，Kafka API编程，并通过Kafka容错性测试让大家体会到Kakfa的高可用性，并将Flume和Kafka整合起来开发一个功能2 M9 @" M6 a7 P8 i0 \
, I4 x7 s1 L$ d9 T
' D, D' u( \9 L4-1 -课程目录! B. a# W$ Q6 @0 K+ ?
4-2 -Kafka概述
9 f# p0 q3 y$ V9 U: d4-3 -Kafka架构及核心概念1 o- J) X6 `; o) ]
4-4 -Kafka单节点单Broker部署之Zookeeper安装9 e! F, n; O2 d# k! _5 q* C/ [
4-5 -Kafka单节点单broker的部署及使用2 t( h* N6 I" w
4-6 -Kafka单节点多broker部署及使用
* \9 p3 ^& t# m: b4-7 -Kafka容错性测试
u4 Y8 B; W2 K: C8 @- \; F4-8 -使用IDEA+Maven构建开发环境
4 [( c; V" p) L, o d4-9 -Kafka Producer Java API编程
! s9 T/ t' _8 T' p- [4-10 -Kafka Consumer Java API编程
( M+ g! r! ^6 M: N4-11 -Kafka实战之整合Flume和Kafka完成实时数据采集
5 k* k# S: f) i* N& N/ p第5章 实战环境搭建
+ I" x3 A! g8 r5 t8 {( }4 q工欲善其事必先利其器，本章将讲解Hadoop、ZooKeeper、HBase、Spark的安装，以及如何使用IDEA整合Maven/Spark/HBase/Hadoop来搭建我们的开发环境
6 y2 e' ~5 S! f$ ?* Z! I/ ^5 \6 X* g6 o. Z0 Z/ c. {. f7 F. _. d* y
) L. V8 P1 H! N7 j% Q
5-1 -课程目录+ z! X' [, p! E7 D( m
5-2 -Scala安装
- H3 q$ q% ^; R7 y, j' C0 @5-3 -Maven安装4 l' x' _7 G* ]( q1 E5 f. L1 _
5-4 -Hadoop环境搭建
+ L( w0 o# ~0 Z0 [; O5 x6 b: T0 X5-5 -HBase安装7 k x i5 [/ s8 M
5-6 -Spark环境搭建9 @: X8 }; U$ W; m/ t L, P- M4 u
5-7 -开发环境搭建# b! b/ D; T! E; B6 N4 \
第6章 Spark Streaming入门
3 C. B+ h/ u3 |: }9 G7 m1 W5 X本章节将讲解Spark Streaming是什么，了解Spark Streaming的应用场景及发展史，并从词频统计案例入手带大家了解Spark Streaming的工作原理
- d% z8 |. q3 M8 C4 J1 I; m
* E9 ^" d& b6 L5 ~) k& E
* V8 [, l8 J% M+ C! j# |9 A6-1 -课程目录: z4 F G2 E8 U b4 g- F* T, M
6-2 -Spark Streaming概述
" N0 Y0 Z9 K e- a; V6-3 -Spark Streaming应用场景7 d4 {- n: k K- s8 B+ W4 E
6-4 -Spark Streaming集成Spark生态系统的使用
9 Y' ?+ l, z" x6-5 -Spark Streaming发展史8 i+ x: x/ ]$ `! K( [
6-6 -从词频统计功能着手入门Spark Streaming
& o, F8 @, ^: ?( R6-7 -Spark Streaming工作原理(粗粒度)
, F% I7 `4 P% j- q6-8 -Spark Streaming工作原理(细粒度)
. f4 P9 g% Y0 J- E7 b) U E' O; J第7章 Spark Streaming核心概念与编程+ f9 n; y9 U/ g2 }
本章节将讲解Spark Streaming中的核心概念、常用操作，通过Spark Streaming如何操作socket以及HDFS上的数据让大家进一步了解Spark Streaming的编程* D2 a8 t3 \( m% @2 E( S/ n1 \
) l& z- m5 e W( I
& _1 s% w; @: e4 z- U5 M6 | \. ^5 y A
7-1 -课程目录
L/ C" x* b) ^2 a0 N3 D. x0 z5 v7-2 -核心概念之StreamingContext
* {/ v; A) M8 T; a1 c7-3 -核心概念之DStream; Y2 {, U, w+ b1 `
7-4 -核心概念之Input DStreams和Receivers
& i: u' ^! J7 x; N( b7-5 -核心概念之Transformation和Output Operations: G6 P2 Z) K, J+ n/ E% j& s
7-6 -案例实战之Spark Streaming处理socket数据- E. `3 _* w2 C7 x' a
7-7 -案例实战之Spark Streaming处理文件系统数据2 m' v3 D$ a8 H0 h2 J
第8章 Spark Streaming进阶与案例实战
) @! j, E1 R) h本章节将讲解Spark Streaming如何处理带状态的数据，通过案例让大家知道Spark Streaming如何写数据到MySQL，Spark Streaming如何整合Spark SQL进行操作
2 i* X% m: R/ i _
u) C1 t5 U; L) A8 A
$ J! d% K$ } c8-1 -课程目录, k0 L& ]( h6 J# B5 C
8-2 -实战之updateStateByKey算子的使用' P& U8 _7 [, ]8 M- L# }2 _3 R
8-3 -实战之将统计结果写入到MySQL数据库中
; k+ r. R; n. ~# |/ N5 P8-4 -实战之窗口函数的使用
$ T4 _% ?3 @/ @# |% V4 i) L8-5 -实战之黑名单过滤" z: v( x8 {- G* i# L$ U
8-6 -实战之Spark Streaming整合Spark SQL操作
' z. I/ N8 ]* c2 R5 x/ X第9章 Spark Streaming整合Flume
! ~5 f h: Y% t" z; B5 j7 q/ f本章节将讲解Spark Streaming整合Flume的两种方式，讲解如何在本地进行开发测试，如何在服务器上进行测试5 X) p# q" K2 u: u' Z+ |
7 K2 n1 s0 U }$ P' b
6 K& `5 n( N( d; l0 U: [1 D
9-1 -课程目录/ C5 D( L6 ?- y' B) x# {
9-2 -Push方式整合之概述/ |2 V( {+ W8 g, m0 O* C
9-3 -Push方式整合之Flume Agent配置开发" i! z# p( ?4 l) [9 w
9-4 -Push方式整合之Spark Streaming应用开发) \. Q6 \1 h' j( e# S( V- j# }
9-5 -Push方式整合之本地环境联调
3 c0 [- B# }# b9-6 -Push方式整合之服务器环境联调
3 l& u: j! Z- [7 W9-7 -Pull方式整合之概述
% X0 n( j$ ? f1 K6 a, G9-8 -Pull方式整合之Flume Agent配置开发
2 W/ D) b- M l* E: E, W9-9 -Pull方式整合之Spark Streaming应用开发1 @" K4 R( V- X; W6 r6 Q1 C
9-10 -Pull方式整合之本地环境联调
3 u0 W2 F1 P1 L' O9-11 -Pull方式整合之服务器环境联调
5 U, ]- V* m7 l; h, D) |第10章 Spark Streaming整合Kafka( Q! \5 `3 l A# G
本章节将讲解Spark Streaming整合Kafka的两种方式，讲解如何在本地进行开发测试，如何在服务器上进行测试
" Y; \6 b+ J- y m3 v9 |2 {& a! ~( L9 f" A0 c+ N1 @. a
( m; y7 n0 |+ f8 H0 }: l+ R8 A5 D4 S. W10-1 -课程目录
* O- @# K' @5 G; q6 H2 l+ G* y' F10-2 -Spark Streaming整合Kafka的版本选择详解5 `) e& N' C2 w# k
10-3 -Receiver方式整合之概述
6 O m2 ^0 u8 A5 Y1 o! J9 j$ M1 g' l. n10-4 -Receiver方式整合之Kafka测试
! r- q# I9 X* f* K10-5 -Receiver方式整合之Spark Streaming应用开发
8 ~2 P* X7 w9 ]1 u( K) I10-6 -Receiver方式整合之本地环境联调
# M- K5 j0 U6 W0 l+ S4 m10-7 -Receiver方式整合之服务器环境联调及Streaming UI讲解
& Y, [' i; t- U1 m10-8 -Direct方式整合之概述. |( t2 h$ D P5 V
10-9 -Direct方式整合之Spark Streaming应用开发及本地环境测试# P- ^5 j* D3 o. x$ `
10-10 -Direct方式整合之服务器环境联调
( P! \1 E! Q/ c; {7 e" w, H第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础
& d" F& D0 n* q3 ] F' ]$ x本章节将通过实战案例彻底打通Spark Streaming和Flume以及Kafka的综合使用，为后续项目实战打下坚实的基础7 v- M$ G% r5 \/ Z! @" e( t7 Q2 O2 w
4 y2 D8 H: Y9 c
0 [8 o6 @- i8 \# {1 ~1 V+ X% h11-1 -课程目录6 \ i/ X" @4 t' Y* N0 N
11-2 -处理流程画图剖析
& e4 H& l1 ?$ d& e11-3 -日志产生器开发并结合log4j完成日志的输出
+ ^ r+ S+ L5 _4 a0 k8 i& M11-4 -使用Flume采集Log4j产生的日志
" g1 J+ a" w/ k& g11-5 -使用KafkaSInk将Flume收集到的数据输出到Kafka" e$ A1 m7 n/ |1 _5 c. f! m7 q
11-6 -Spark Streaming消费Kafka的数据进行统计: ^8 x' M: `9 C% _$ m, A- r
11-7 -本地测试和生产环境使用的拓展; _9 v' H# P. K0 C
第12章 Spark Streaming项目实战
5 ?: ?( Z# ~( F, P. m本章节将通过一个完整的项目实战让大家学会大数据实时流处理的各个环境的整合，如何根据业务需要来设计HBase的rowkey. M B) [9 p2 E
: {6 ?& s; W0 ^2 x6 }% |4 @6 P8 M
2 {+ u( ~' H, v! o12-1 -课程目录; X; A" L+ H# ]) A. H0 `$ R. h
12-2 -需求说明
' l/ R' l" ]1 Z: v- I; O9 `12-3 -用户行为日志介绍
" j% `0 G& X& M1 M' h) ~12-4 -Python日志产生器开发之产生访问url和ip信息' K% e" h/ ^, C$ {7 N$ h$ C @
12-5 -Python日志产生器开发之产生referer和状态码信息) O# ]5 e( S! l4 s8 E; ^$ Z' i5 h) U
12-6 -Python日志产生器开发之产生日志访问时间2 C, B+ l% v* o/ v* W
12-7 -Python日志产生器服务器测试并将日志写入到文件中
# o% t# o1 @9 O4 c8 @, ~) a. L12-8 -通过定时调度工具每一分钟产生一批数据! Y. |& m% F; P& Y( n% f
12-9 -使用Flume实时收集日志信息
- E8 M6 Y7 A/ }0 W; U. B7 `* `12-10 -对接实时日志数据到Kafka并输出到控制台测试
0 H0 ?- t( N8 j: a1 d2 t, f7 s12-11 -Spark Streaming对接Kafka的数据进行消费
# u# z" d: C0 A$ Q% n# r" `3 a12-12 -使用Spark Streaming完成数据清洗操作
) a6 u* T6 R: g$ _8 M12-13 -功能一之需求分析及存储结果技术选型分析
6 _/ }$ K- d, d" E6 y9 V12-14 -功能一之数据库访问DAO层方法定义2 V! ^9 k5 O: ~" z' p4 w
12-15 -功能一之HBase操作工具类开发
z+ N% p& M6 r- B, n12-16 -功能一之数据库访问DAO层方法实现
6 h; K+ I) r; N J$ S6 z12-17 -功能一之将Spark Streaming的处理结果写入到HBase中
, U0 W+ P% E5 Q/ G+ b7 Y12-18 -功能二之需求分析及HBase设计&HBase数据访问层开发
( t- ` K/ v' G9 F12-19 -功能二之功能实现及本地测试% P6 W* J, j. z# `
12-20 -将项目运行在服务器环境中* v! q* h! X5 x+ H; C, A# j9 D' {
第13章 可视化实战
$ K d# v! @' s/ Y; \本章节将通过两种方式来实现实时流处理结果的可视化操作，一是使用Spring Boot整合Echarts实现，二是使用更加炫酷的阿里云产品DataV来实现 G+ g p: }/ F: f" y% K \
6 T; }4 S& w( H
+ W3 R: Q: D" H8 {% O+ C9 g4 n2 r
13-1 -课程目录) p/ t) f' C% z) W- y8 A
13-2 -为什么需要可视化7 v' Y% [6 m8 G8 }! U
13-3 -构建Spring Boot项目1 l! g2 O$ ~: ?4 \# `
13-4 -Echarts概述7 O+ T' ]. t% u, K! m c& A3 `6 V
13-5 -Spring Boot整合Echarts绘制静态数据柱状图
7 i) T$ [3 ?8 R# y13-6 -Spring Boot整合Echarts绘制静态数据饼图
4 ^. ]* u' q7 H7 \4 W9 K1 E13-7 -项目目录调整5 m9 F8 j* j; J/ D8 P# W
13-8 -根据天来获取HBase表中的实战课程访问次数
$ S' V" l ~5 S3 T( d$ d4 G' ?. P13-9 -实战课程访问量domain以及dao开发
- c# s% i$ F* o4 j. v13-10 -实战课程访问量Web层开发
2 B3 k5 e3 k( u( |. V# E13-11 -实战课程访问量实时查询展示功能实现及扩展. y4 M/ Z1 C& _4 g+ o
13-12 -Spring Boot项目部署到服务器上运行- Q/ T( h# c* A# _" {# J9 V1 G
13-13 -阿里云DataV数据可视化介绍/ w1 ~, G1 N. U/ p) O- {! n
13-14 -DataV展示统计结果功能实现
6 Z/ Y& Y7 G5 N第14章 Java拓展/ U2 {$ e A# M
本章节作为扩展内容，将带领大家使用Java来开始Spark应用程序，使得大家对于使用Scala以及Java来开发Spark应用程序都有很好的认识3 y. U7 ^2 N1 J$ C3 m
7 U% D9 r9 ~8 w$ j u1 i5 ?; W4 _- T" o) e5 c8 e. X- l
14-1 -课程目录
+ b5 m1 z& q" Q/ Z14-2 -使用Java开发Spark应用程序
* A8 f) D4 k7 ^" q9 Q14-3 -使用Java开发Spark Streaming应用程序8 Q' X2 H. b# k, T
; q8 v$ t9 V/ \2 ?: u
h+ q7 l/ i7 f; O, x
8 [) S6 m; [! F8 e! X% j/ a5 Z
$ V. v a1 ?! L1 U. W: B |
D- Y# n0 K& s. O& R$ c! }3 O! o8 }! B$ \3 g' Y
资源下载地址和密码（百度云盘）： [/hide] 百度网盘信息回帖可见
, z! Q6 Z* |& y% Z/ K, P: ?4 W$ l8 A( \0 | d. T
' E/ i: d; W3 q, P' E5 D7 P- v
; {' v/ T) X( l$ i0 X9 N: T本资源由Java自学网收集整理【www.javazx.com】 |
|
发表于 2022-6-11 19:15:02
