|
简介
! e c# }; y- @6 Q- ]书名:Flink大数据分析实战[size=10.2047pt]作者:张伟洋( A# [# A' K. w, ?' J! V
[size=10.2047pt]出版社:清华大学出版社 ^" R7 N+ Y$ d9 h w
[size=10.2047pt]出版日期:2022-02-01
4 ~$ y. K- A: S( s# ^7 hISBN:9787302598183
4 R' F5 W+ T, u" U' }+ m8 {
0 _4 ^4 a7 E9 P6 B! Z+ g# b. r' @目录
) X4 @& X6 z8 Y; F8 `9 ?5 ?- D& C3 U. H8 g/ z9 n5 m- ^7 P, t
- 封面
( e V5 g/ {1 E1 b& E9 H5 C+ [ - 版权信息
! A* a# H8 [0 j9 T/ S - 作者简介4 X1 i6 g8 [ M1 O5 b, H. D
- 内容简介
$ I P0 `2 N0 R2 R6 _7 C6 w - 前言7 F- H- G! C" E" G; m
- 第1章 初识Flink
R+ i, t& g% c- n i/ K w - 1.1 大数据开发总体架构# R$ G: n" A, B8 j0 ~' E8 o2 M
- 1.2 什么是Flink
+ H* G% l9 M* W4 v( V - 1.3 Flink的应用场景: N5 G% T- x" h- _( S6 U* {
- 1.4 流计算框架对比
# J4 r% C, Z4 N - 1.5 Flink的主要组件# X, f$ F- T. U- A9 @) k. G
- 1.6 Flink编程模型
/ a7 D5 L) J0 U( |0 W5 V/ [' C; V4 j - 1.6.1 数据集
+ t- R P+ I* m; G7 |* @3 A9 I - 1.6.2 编程接口/ a. F; |% ^1 d+ Y$ H5 A
- 1.6.3 程序结构& V, k0 ?/ L- g
- 1.7 快速体验Flink程序8 b0 P; C& U& N. S) z) V1 {8 X5 s
- 1.7.1 IntelliJ IDEA安装Scala插件
3 w( ]$ c5 @- d! s& f - 1.7.2 IntelliJ IDEA创建Flink项目
4 g: p, a8 [8 [3 a, _2 p - 1.7.3 示例:批处理单词计数
3 R+ x. z g% B$ ^3 j - 1.7.4 示例:流处理单词计数7 {2 W3 U9 @) N5 ?" l% E# l# b
- 第2章 Flink运行架构及原理 e& J1 f9 E0 M& C2 N" K
- 2.1 Flink运行时架构' K! o+ U( @; j3 }
- 2.1.1 YARN集群架构
$ B: b0 A. S# b2 j2 f, { - 2.1.2 Flink Standalone架构
" Z& g. l: v! L - 2.1.3 Flink On YARN的架构
4 n6 \- P% H) _+ w5 b: v( Z - 2.2 Flink任务调度原理
- [* t$ b- Y5 k# X! y7 f7 g - 2.2.1 任务链
) K H6 ?3 l9 o - 2.2.2 并行度
5 }" o6 c4 s6 k* H# L" n9 Y - 2.2.3 共享Task Slot
1 v( i9 E' P( e7 j6 Z - 2.2.4 数据流
# b* f! Y; n/ o+ u5 o n+ ` - 2.2.5 执行图0 S# J2 {( J2 f9 l" S9 D0 { E
- 2.2.6 执行计划
4 o+ G0 t$ S4 ?/ _8 _( |, B - 2.3 Flink数据分区
* L# k* M$ y, V0 p6 _ - 2.3.1 分区数量
0 k3 v9 ]% ]+ m |) z$ _ - 2.3.2 分区策略
8 f' g8 L% Q' b - 第3章 Flink安装及部署; [, }+ |9 m3 \' ?' `& z4 H
- 3.1 Flink集群搭建
1 S1 ?2 ^2 K! }5 o* M% I6 N - 3.1.1 Flink本地模式搭建1 I4 G, M$ e7 H) d
- 3.1.2 Flink Standalone搭建
' }' d; x5 Q1 u) e( _' I - 3.1.3 Flink On YARN搭建# _% P( ~# f/ N' G/ b( n
- 3.2 Flink HA模式* e4 ~( B( N4 s7 m; g
- 3.2.1 Flink Standalone模式的HA架构
9 C2 _$ q% u- S' V( k - 3.2.2 Flink Standalone模式HA集群搭建& X9 l1 x! G! x# O/ y
- 3.2.3 Flink On YARN模式HA集群搭建) i3 q$ N8 |, X! D4 _ z& z: d: Q
- 3.3 Flink命令行界面8 e1 \# ^( p6 e& [- z) P4 m _
- 3.4 Flink应用提交' G! f* n9 [0 C) \: v; R% ?
- 3.5 Flink Shell的使用
; Y/ P: |! b- O' [3 l+ X - 第4章 Flink DataStream API
, O& _! v! i/ V! ?+ ` - 4.1 基本概念8 \/ `8 L d% ?& H& E1 L
- 4.2 执行模式
% s/ X, V) X2 m+ d; ?$ W - 4.3 作业流程
! N: F2 K1 n# @ g' @9 J* p% e- M - 4.4 程序结构
- e% q" d$ @ I' S) g - 4.5 Source数据源 X1 \. k, r8 o5 B4 o# C* S$ l
- 4.5.1 基本数据源( Z/ L+ k8 R1 y" U
- 4.5.2 高级数据源- a) l) _8 [2 m+ e9 U, M9 i
- 4.5.3 自定义数据源
* O& o* a( m) c, M B - 4.6 Transformation数据转换
5 `% ?: y( R2 V7 M# Y: G4 f - 4.7 Sink数据输出
% P. a3 O3 `6 [# N0 O5 f0 A - 4.8 数据类型与序列化- c! n% j3 a' ^# w2 m+ t: ~
- 4.9 分区策略2 B9 t ?+ M: {3 p& |& e$ ?6 |
- 4.9.1 内置分区策略
, B0 }# d" x1 ? - 4.9.2 自定义分区策略8 L6 R) D0 z# i1 p6 e
- 4.10 窗口计算
% T: y$ Z C: c5 O; r - 4.10.1 事件时间
, z* n1 b; ~9 R2 m - 4.10.2 窗口分类3 d; @+ ^ `+ [" v9 F+ M% W) D, k) E
- 4.10.3 窗口函数
& z( c( H8 l# V, K, g - 4.10.4 触发器1 u- v: ~ V2 {- G
- 4.10.5 清除器6 N( y9 |2 k% E' `8 W
- 4.11 水印
4 H. D9 y! X8 o0 i* p( s7 F - 4.11.1 计算规则; W( m9 i d1 A6 Q. \0 p: t
- 4.11.2 允许延迟与侧道输出
# ]9 M3 h. z" R- n - 4.11.3 生成策略
8 x7 L' i* R F - 4.12 状态管理6 `0 J! T4 }- e; p% Q
- 4.12.1 Keyed State
* e8 Y2 O. }2 ]* m$ b$ @& H - 4.12.2 Operator State! M3 A* a! G6 u. ~- M% h* J
- 4.13 容错机制
; b6 i& \) }0 p7 F% C - 4.13.1 Checkpoint
+ G0 ?- Z; K- u. l, G. G4 B - 4.13.2 Barrier$ }) x3 h+ U4 C9 G k. k
- 4.13.3 重启与故障恢复策略' u* `% b% W0 V) L. n4 Z2 R
- 4.13.4 Savepoint
+ `& w, X+ A. w9 z" z' v - 4.14 案例分析:计算5秒内输入的单词数量( {. \2 o+ O" i$ F4 ~9 ~8 k' S) Q
- 4.15 案例分析:统计5分钟内每个用户产生的日志数量
3 L$ A5 ?) M7 g - 4.16 案例分析:统计24小时内每个用户的订单平均消费额
# [2 R- q4 C- f8 _0 P6 t, W7 |3 S - 4.17 案例分析:计算5秒内每个信号灯通过的汽车数量
' h" ]4 Y0 i- j- M9 h" p$ q - 4.18 案例分析:Flink整合Kafka计算实时单词数量
7 y. B: H7 ?2 U2 }6 e1 Y - 4.19 案例分析:天猫双十一实时交易额统计
% ]. q# j! X0 B4 Q3 z- ?9 R - 4.19.1 创建自定义数据源5 I2 L$ c7 ~' c5 L/ G
- 4.19.2 计算各个分类的订单总额9 f# S5 b5 |; N$ p/ \# p/ w
- 4.19.3 计算全网销售总额与分类Top31 @0 J& ?6 o5 k; A' I& T8 C: ~7 y# I
- 第5章 Flink Table API&SQL
3 Y- n. [, @) w( \1 S9 O - 5.1 基本概念
. N8 [9 g/ m% C1 o( P - 5.1.1 计划器
' U5 u0 d9 s2 y1 J: e2 |+ y$ ~5 B8 ~ - 5.1.2 API架构
% P% S: D Q- @; v6 ? - 5.1.3 程序结构9 m$ R- p: n' q: ] \) f
- 5.2 动态表7 p3 h$ _8 o2 p/ g
- 5.2.1 流映射为动态表* B u5 k+ O/ Y8 }0 b% \
- 5.2.2 连续查询
. u# z* J @2 [# J8 { - 5.2.3 动态表转换为流
. t4 |. p I J7 c0 C: Y: z0 u$ a" w - 5.3 TableEnvironment API2 z: W0 T @3 I' c
- 5.3.1 基本概念% w, Q- i' C* e
- 5.3.2 创建TableEnvironment
6 n. L: l7 H* ^. b - 5.3.3 示例:简单订单统计
2 b# ^1 W8 l6 `9 k- `9 C - 5.4 Table API, o( H2 \' d7 S. ^6 j' a, V
- 5.4.1 基本概念
6 \7 n5 U+ S) d Q - 5.4.2 示例:订单分组计数
/ a& Y% F2 a, t) t s - 5.4.3 示例:每小时订单分组求平均值) t& g! Z8 d2 K- b9 B4 U) \5 h
- 5.4.4 关系操作* w5 c+ m6 E7 h7 {1 b+ I1 l5 \+ m8 A
- 5.5 SQL API, Y5 w8 y+ |9 O3 `# [5 H
- 5.5.1 DDL操作
6 N1 [1 A0 z3 G6 R, z# m/ F - 5.5.2 DML操作
x; u; h- n+ X" \" n - 5.5.3 DQL操作
' _% D1 s4 O6 u - 5.5.4 窗口函数
; W h! G0 b9 X - 5.5.5 窗口聚合4 z' d1 m7 }$ A6 k
- 5.5.6 分组聚合
+ k) Q" e/ X2 @ - 5.5.7 OVER聚合
' j, A: `3 M* ?3 L+ l5 } - 5.5.8 连接查询, K( S4 s1 }( C7 `3 S
- 5.6 TopN查询
1 }) H$ I; s2 G' P* q g - 5.6.1 OVER子句* ^9 u) C1 r! W' W
- 5.6.2 示例:计算产品类别销售额TopN
/ Q3 R9 e% r9 n: L - 5.6.3 示例:搜索词热度统计2 i2 e a) s1 E x
- 5.6.4 窗口TopN) U$ m: X, B8 q- o7 N1 B& u5 B
- 5.7 Catalog元数据管理3 P) Z% ^/ Z m0 a+ \( s
- 5.8 Flink SQL整合Kafka4 }$ U3 `/ F2 ]
- 5.8.1 基本概念3 D3 H! @- C" D9 A* D( L1 O( a7 y6 E
- 5.8.2 示例:Flink SQL整合Kafka实现实时ETL! I; Q3 L( o, S& x! ~
- 5.9 Flink SQL CLI
4 ]0 m) A) Z1 _* p6 E2 Y* N - 5.9.1 启动SQL CLI4 ], Z" R6 q! q: J2 Z) c0 Z- @
- 5.9.2 执行SQL查询
1 T7 {( @/ ~ b% k6 C - 5.9.3 可视化结果模式$ ?6 W1 J2 W1 r2 t# ?8 N
- 5.10 Flink SQL整合Hive- Y, v7 h2 q4 M
- 5.10.1 整合步骤
( u% g- Y) _: }) F" F3 d s - 5.10.2 Table API操作Hive
, Z; h( ~- n9 ]2 B5 ^; \ - 5.10.3 示例:Flink SQL整合Hive分析搜狗用户搜索日志
8 a1 {, A, H* z3 v @- m8 X8 Q - 5.11 案例分析:Flink SQL实时单词计数$ G5 a$ v& E6 Z7 h, `0 K
- 5.12 案例分析:Flink SQL实时计算5秒内用户订单总金额# e5 e* I! h& @9 E N' v
- 5.13 案例分析:微博用户行为分析
5 p- J7 k' m, u, B' e2 E - 5.13.1 离线与实时计算业务架构& k- B4 w; e9 a0 J
- 5.13.2 Flume数据采集架构
: W L4 l1 O4 x6 [- Y }2 Z - 5.13.3 Kafka消息队列架构& {& {0 f0 i2 a
- 5.14 案例分析:Flink SQL智慧交通数据分析$ u2 @; F8 \. y, p" N
- 5.14.1 项目介绍
! i; k0 h( F P, J% w# [+ y' l( Q - 5.14.2 数据准备: a7 ?1 }, q7 V6 _. i
- 5.14.3 统计正常卡口数量. n, }: _ J/ a0 ^+ g
- 5.14.4 统计车流量排名前3的卡口号5 D4 o/ s3 T) g: j
- 5.14.5 统计每个卡口通过速度最快的前3辆车! L2 @. S: ^$ Y& Q
- 5.14.6 车辆轨迹分析
( N6 V2 T" {* ] @7 ` - 第6章 Flink内核源码# w& z0 Z; R8 W7 K& k
- 6.1 流图, b# b" j) U: V8 N7 W' y
- 6.1.1 StreamGraph核心对象
7 A0 Y0 J* e% ]2 d2 Q* O - 6.1.2 StreamGraph生成过程1 n( u3 B3 y5 E2 y1 b, g1 {
- 6.2 作业图
% }( a- x D5 h- Y6 J& ~8 _ - 6.2.1 JobGraph的核心对象' Q6 c: ?% y/ g1 ~2 k6 E
- 6.2.2 JobGraph的生成过程
% p6 G1 G' ]% w, \+ C$ | - 6.3 执行图
# z2 n# h- s/ k7 Q" O - 6.3.1 ExecutionGraph的核心对象
% R* P$ o8 H9 c6 b7 H# R7 @ - 6.3.2 ExecutionGraph的生成过程
! }8 q9 W" i$ y' Y r# _7 U - 第7章 Gelly图计算
, X% X3 j* S$ d8 o4 ] - 7.1 什么是Gelly
. Q3 D, N; W$ Q/ z2 N$ N( u5 f. ? - 7.2 第一个Gelly程序$ X! `8 a& M9 V- F0 H S8 L
- 7.3 Gelly数据结构/ B% \, p- _+ q* T
- 7.4 如何使用Gelly. W; R7 c% ~0 q/ c I
- 7.5 图操作
' }. v- v X( V8 Q- ~ - 7.5.1 基本操作) d8 Y, K8 I4 g4 J8 u3 [6 b6 ~
- 7.5.2 属性操作
, V: k& b" m4 _. B9 F8 C, d - 7.5.3 结构操作
% K' o# `/ }4 h. } {% L7 u+ G# @ - 7.5.4 连接操作
1 e4 N* w& J2 C7 ]: ~ - 7.6 图常用API/ u% h/ `6 Z7 q& G
- 7.6.1 创建图8 d: V- j- q+ q* D6 Z7 G
- 7.6.2 图的转换# X) S. d' \1 s* H+ C( s$ T
- 7.6.3 图的添加与移除
4 p, c0 A6 i$ `1 t/ \! q! J - 7.6.4 图的邻域方法7.7 案例分析:Gelly计算社交网络中粉丝的平均年龄8 r' m+ C# k( n" U/ Q1 ?$ v" ]
- s% n5 M) L6 s3 m9 D, F" ?
$ N1 u; }2 p8 H+ h+ d; z" E8 G4 E" s, q2 e, L0 H6 U- O* F0 S
v9 \ ?* t- b# }
! V+ [9 Z) d1 n `5 M; |% b; j& ^5 l* y
侵权联系与免责声明1、本站资源所有言论和图片纯属用户个人意见,与本论坛立场无关
. h' \) n/ s' e7 K6 N2 o2、本站所有资源收集于互联网,由用户分享,该帖子作者与瑞客论坛不享有任何版权,如有侵权请联系本站删除% P$ D6 c* Z5 F2 O
3、本站部分内容转载自其它网站,但并不代表本站赞同其观点和对其真实性负责
3 x! e- |& ?# K w# L4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
* r) A% [. m9 ^' d. m' Y5 b如有侵权联系邮箱:ruikelink@gmai.com
3 X( t+ `/ U* R2 N$ k3 u资源下载地址和密码(百度云盘): [/hide] 百度网盘信息回帖可见, E% u) a4 n9 U `. G( u
4 e/ a- D% U4 Z$ I2 S# @* U1 p- z/ R9 h7 E) X; y! G7 E, q
5 Q* x k9 b! n$ G5 v# q本资源由Java自学网收集整理【www.javazx.com】 |
|