|
简介
. {* L" L* h; b' |2 t" q+ I书名:Flink大数据分析实战[size=10.2047pt]作者:张伟洋
" j* H. h4 M: K, M: w2 |[size=10.2047pt]出版社:清华大学出版社/ m7 M, M. Y8 K" g. C- x, k
[size=10.2047pt]出版日期:2022-02-01
) A+ j+ A2 {2 ~2 U# }2 b! n) B6 TISBN:9787302598183
/ ?3 r o+ Q0 e! Z* X8 m" q
! r1 }, C$ V/ N+ b3 A目录
1 g7 V$ c! z5 Q+ e' |4 |0 i; }
- 封面
Y% I5 ?/ F$ b9 x; K - 版权信息
u f s& k2 X/ O - 作者简介
D2 \3 f" Z' W E4 _3 M - 内容简介
1 u9 p4 J% W/ @" t) j - 前言. q$ m# p M/ t! `; d& U1 t
- 第1章 初识Flink3 W: K7 X4 G% r" @- ^2 @) M7 G8 w0 ?
- 1.1 大数据开发总体架构
- E9 l( ~& X/ P3 p! l# O - 1.2 什么是Flink
7 N _# e+ S, |* k. g - 1.3 Flink的应用场景
3 e- v1 h% T; @% ]7 _ - 1.4 流计算框架对比: ]# @$ w6 k" k
- 1.5 Flink的主要组件9 r5 C) Y: I3 \+ n, _1 ?" b/ ?1 V
- 1.6 Flink编程模型( m7 o5 t( g* ~6 H3 L+ Q& M
- 1.6.1 数据集
; y) f; F3 K+ g% B! Q/ @; H2 f7 ^ - 1.6.2 编程接口% h R7 r$ `, D A5 r- G
- 1.6.3 程序结构1 j' j3 [# _0 t$ P
- 1.7 快速体验Flink程序
' o. l! a8 h" L& F$ Z/ J, S1 U - 1.7.1 IntelliJ IDEA安装Scala插件; _& ]" l& G" O l1 R
- 1.7.2 IntelliJ IDEA创建Flink项目
. f( l' j( h4 M8 o0 M P, u - 1.7.3 示例:批处理单词计数
3 }1 ^+ | [# @/ N3 F3 S - 1.7.4 示例:流处理单词计数
% x( E* N) H% O. _% [3 t g5 p - 第2章 Flink运行架构及原理) |- }9 @' Q8 s% m/ t; X# ], r D
- 2.1 Flink运行时架构, Y2 B& y6 K" v {; k1 A; a0 j
- 2.1.1 YARN集群架构
! m+ \% u+ `* A. ]: Y7 @8 a - 2.1.2 Flink Standalone架构3 ?$ M& M, Y% R, T9 W0 w
- 2.1.3 Flink On YARN的架构
0 y* ^- I3 S% D& } - 2.2 Flink任务调度原理
+ ~0 Z& _# |1 {7 b+ _5 K) T2 S: @ - 2.2.1 任务链9 w4 ^) M* Y* k' v9 J( r7 k
- 2.2.2 并行度. a( U" L, z0 \% M- C; F$ r2 t
- 2.2.3 共享Task Slot [ @% S( W& i- {, p' M
- 2.2.4 数据流
; z. O G, M: l8 a6 \& v0 S+ J8 O+ E - 2.2.5 执行图& i M5 V0 C5 `5 }' z% D! \8 y D
- 2.2.6 执行计划2 s% B# b$ s+ O6 ]( C4 S' w
- 2.3 Flink数据分区
8 B( G, i; ]3 E | - 2.3.1 分区数量% _$ |1 P* t |2 \ S2 `' t
- 2.3.2 分区策略
0 j+ h& e; f5 v% N- r' Y. S - 第3章 Flink安装及部署0 x- o+ @8 T" \& g
- 3.1 Flink集群搭建9 L0 @' V$ I% Z; o6 Z" U' q
- 3.1.1 Flink本地模式搭建! [) o- s3 k! i
- 3.1.2 Flink Standalone搭建
3 d, s! I% U6 M' M5 Y6 ~ - 3.1.3 Flink On YARN搭建
2 {3 K( f( o$ l* v, `7 l4 D - 3.2 Flink HA模式
& C- u6 O& `$ }& p - 3.2.1 Flink Standalone模式的HA架构9 c+ E: b/ D! v y6 v" N( Q/ h, W7 s
- 3.2.2 Flink Standalone模式HA集群搭建) e5 `* E7 \ ?# l+ m- E* U# v, B
- 3.2.3 Flink On YARN模式HA集群搭建
/ b0 k, i, Y* y- J" a - 3.3 Flink命令行界面7 Y* R" u1 V& b. S6 B
- 3.4 Flink应用提交3 S4 _+ T8 d6 `/ J
- 3.5 Flink Shell的使用- b, E9 w. \2 Y3 x
- 第4章 Flink DataStream API
6 p D6 d* b2 M+ ^! p7 x - 4.1 基本概念
7 B6 o! g2 R% q3 q O9 ` - 4.2 执行模式+ i$ A* s4 F3 ~7 Q0 D
- 4.3 作业流程" e/ C$ r! s& X5 [! U& z( z
- 4.4 程序结构
2 C8 D, g' O* R' ?" X6 k - 4.5 Source数据源
% O# r8 m' p+ I1 ~5 |6 ] - 4.5.1 基本数据源
& {: c. Y5 O( w4 h - 4.5.2 高级数据源
2 {& V# g# M) f7 K1 I% P - 4.5.3 自定义数据源, P( Q! W& @5 f4 K& j6 r
- 4.6 Transformation数据转换. J; t; q/ L) j- n+ U9 U2 |
- 4.7 Sink数据输出" B) }+ @* @& Y. N' T) R
- 4.8 数据类型与序列化
* C0 t$ T7 q/ c( t+ { }0 d( I - 4.9 分区策略& O! \6 f# o& r
- 4.9.1 内置分区策略- o1 r" m% p6 K' u
- 4.9.2 自定义分区策略
( K& v- S9 e9 X- C, } - 4.10 窗口计算
# [ A- B: t0 h5 e - 4.10.1 事件时间" N& }, r7 U$ k; Z% w+ S: a. M
- 4.10.2 窗口分类
8 a9 J) C. u6 W, q& e - 4.10.3 窗口函数& P: R; P* Y" |% H# O5 T2 q1 O
- 4.10.4 触发器
+ K( d" u3 `: |/ W: v - 4.10.5 清除器
/ ]' Q+ P% x4 ^* Y/ d, u( M0 l r" Z - 4.11 水印
6 o8 C) b. d2 l+ h \4 S - 4.11.1 计算规则
; V8 u8 \! n9 z% @0 | - 4.11.2 允许延迟与侧道输出) k4 q* u I6 ^" W; e
- 4.11.3 生成策略8 p& \+ X7 u! U5 a" E1 m/ w- w8 w
- 4.12 状态管理
8 Z/ D- i9 X3 g! A9 Q9 h4 Q8 d( o( h - 4.12.1 Keyed State
G; ^1 X4 |3 z6 t+ A( d3 C* L/ E - 4.12.2 Operator State
8 [+ w" x1 z& ?- Z% l - 4.13 容错机制
' f) |# B, v3 o: N+ [ - 4.13.1 Checkpoint: I- X$ Q; f5 k* {' S1 E8 m9 h0 e
- 4.13.2 Barrier
8 Y0 V$ u( S+ Q! f - 4.13.3 重启与故障恢复策略
S! w" A4 r s. @& l/ ~) A7 H - 4.13.4 Savepoint
2 }, [9 V; ~! B) ?7 p - 4.14 案例分析:计算5秒内输入的单词数量# X3 `7 y$ ?0 O- |! R$ T
- 4.15 案例分析:统计5分钟内每个用户产生的日志数量- u# i) w5 U/ I0 z% F: k" `, T8 F
- 4.16 案例分析:统计24小时内每个用户的订单平均消费额
) v& V1 G# D) I% i7 [' V2 [ - 4.17 案例分析:计算5秒内每个信号灯通过的汽车数量# g. |& K6 i' C0 ]* I: l2 x1 b" x
- 4.18 案例分析:Flink整合Kafka计算实时单词数量
" J+ O% {' \$ e - 4.19 案例分析:天猫双十一实时交易额统计1 }0 [, S6 W/ L$ X! w% Z
- 4.19.1 创建自定义数据源5 z8 x8 t: a9 y$ H: S* x) R0 ~
- 4.19.2 计算各个分类的订单总额
4 J0 b2 w0 z8 {7 R5 R - 4.19.3 计算全网销售总额与分类Top34 j+ \+ D ]4 O6 ^$ H' b
- 第5章 Flink Table API&SQL; u# z8 u A7 y1 C7 x. r% p5 H$ X
- 5.1 基本概念
: W5 T) @8 Y) h. O$ ?8 {6 b* H6 R - 5.1.1 计划器 l% d& ]. ~4 b' o$ ~3 m
- 5.1.2 API架构
$ Z6 a; P( z0 o8 e" i - 5.1.3 程序结构
" R# n% y9 M2 I4 C - 5.2 动态表
6 m h- _7 Q% n' V6 I( S - 5.2.1 流映射为动态表
! n4 w! z$ J1 v0 D8 z. W3 r' |# n - 5.2.2 连续查询
% C: B3 a/ q' W6 x( K0 r) ]1 n* t - 5.2.3 动态表转换为流% _- d1 k3 |5 X8 T, p w
- 5.3 TableEnvironment API
: E3 ^3 K* R1 w: N: Q3 d1 C# L - 5.3.1 基本概念; { v: ]( {3 o$ ?. T
- 5.3.2 创建TableEnvironment
- \: j" ]- h# S2 O* a' T - 5.3.3 示例:简单订单统计) |8 ]( ?/ q$ [( m# L
- 5.4 Table API1 F8 ]; A2 I3 |0 J& a3 N
- 5.4.1 基本概念; h$ A% X- e: G
- 5.4.2 示例:订单分组计数' g5 f. g( g$ @
- 5.4.3 示例:每小时订单分组求平均值
W" h" j* I C3 H! M; o - 5.4.4 关系操作
' Y$ G+ |+ \, S/ D+ W - 5.5 SQL API
) V! B/ U5 J- l) G - 5.5.1 DDL操作
4 [, \+ Q" l" ]* n, s3 t - 5.5.2 DML操作; _* s, e2 X U) z' Y4 J
- 5.5.3 DQL操作
, f% e3 @ R S - 5.5.4 窗口函数" p2 J* F7 X) Q3 y4 d
- 5.5.5 窗口聚合
, z- t8 \6 j7 Y$ \& e! j - 5.5.6 分组聚合
- ?6 i# D( ]! m% L' w" q - 5.5.7 OVER聚合3 K; w' q% w2 \ G
- 5.5.8 连接查询3 t$ c k! P( o" g" d9 b( s6 f
- 5.6 TopN查询7 p: d0 P: Q2 Z; C/ N
- 5.6.1 OVER子句
7 z! U& ~- [. H) u - 5.6.2 示例:计算产品类别销售额TopN# X5 g5 P3 D; i9 Y2 x$ |; f2 `
- 5.6.3 示例:搜索词热度统计! c8 h4 W4 ?; H4 F, S
- 5.6.4 窗口TopN
: d, g; s8 U2 R* K& C l - 5.7 Catalog元数据管理 m5 j) F2 k% u! V5 J' s" _
- 5.8 Flink SQL整合Kafka- `* e9 i. ~' A1 I2 j
- 5.8.1 基本概念% _1 e- \( {( @( w8 d
- 5.8.2 示例:Flink SQL整合Kafka实现实时ETL
. e! I" u+ j; S6 U% z - 5.9 Flink SQL CLI3 ^* y5 V9 Y7 }7 s; |3 b
- 5.9.1 启动SQL CLI9 R7 N( E' Y9 }
- 5.9.2 执行SQL查询
; I1 E% b6 F: Y - 5.9.3 可视化结果模式% K; N/ |% X' B0 |1 g& E
- 5.10 Flink SQL整合Hive
" l# [5 Q% k' T - 5.10.1 整合步骤
5 ~- H( S( m* l$ d* s - 5.10.2 Table API操作Hive
0 z( T! `. c9 [$ X/ F/ i - 5.10.3 示例:Flink SQL整合Hive分析搜狗用户搜索日志
0 k0 u9 l( E+ L$ `0 Y+ g* h - 5.11 案例分析:Flink SQL实时单词计数: I3 A9 K4 o( H, u( l' W6 k8 ^
- 5.12 案例分析:Flink SQL实时计算5秒内用户订单总金额- s. O* Z$ ~8 n, B$ I
- 5.13 案例分析:微博用户行为分析
5 c8 \+ S- `: ?4 o - 5.13.1 离线与实时计算业务架构
6 x A# `8 w( g5 |3 a0 ? - 5.13.2 Flume数据采集架构) e3 w9 ^& H6 \: K9 \2 b7 n/ ]
- 5.13.3 Kafka消息队列架构. ~: x: t# H7 R1 B0 X3 n7 ~
- 5.14 案例分析:Flink SQL智慧交通数据分析% Q7 j6 l- B) J8 `% N/ w
- 5.14.1 项目介绍
' Q5 w. ~) n) l+ b% x* ~: \ - 5.14.2 数据准备( P/ s& n3 B- x( B1 N3 B- q
- 5.14.3 统计正常卡口数量. d3 L- T8 P* b( n/ l. Q: D
- 5.14.4 统计车流量排名前3的卡口号( e% [' ?. O& a5 [% }
- 5.14.5 统计每个卡口通过速度最快的前3辆车
+ m. O% v/ X4 [- K/ S: @ - 5.14.6 车辆轨迹分析# r7 _- W8 m! U. I" _' s
- 第6章 Flink内核源码* N( k9 k. K2 `/ v7 O# B1 p
- 6.1 流图
( \$ x5 Q* ^$ ? - 6.1.1 StreamGraph核心对象; b7 [8 D* F8 K. I1 J2 ?
- 6.1.2 StreamGraph生成过程
$ e3 G# K6 L" P; ^ - 6.2 作业图
5 {# \0 m: x: V' H9 p+ Q - 6.2.1 JobGraph的核心对象
7 G( W0 |( r1 Y8 [( E$ B. z - 6.2.2 JobGraph的生成过程
7 a& ]0 f* x# m2 u - 6.3 执行图
( C4 f9 P* R3 k: t% q - 6.3.1 ExecutionGraph的核心对象7 {6 F, {" R& F
- 6.3.2 ExecutionGraph的生成过程, P. m0 i0 {& d) i7 ]( L
- 第7章 Gelly图计算
. h2 p8 v( [6 C8 L - 7.1 什么是Gelly
: q; R2 ^" ?9 z q - 7.2 第一个Gelly程序
& ^6 p5 x1 A- p- {8 w8 a - 7.3 Gelly数据结构# G! t8 C* \. p5 }7 p
- 7.4 如何使用Gelly& n9 ~5 H) }4 ?' Z9 q/ m$ ]. J
- 7.5 图操作, ~! k4 p! D) u& Z9 a( G* B: b
- 7.5.1 基本操作
7 r+ B7 u. R! w/ L8 M - 7.5.2 属性操作! Z) i& Q% R' x. K @2 I1 l6 a
- 7.5.3 结构操作
' ~$ R- X4 N( ` - 7.5.4 连接操作
/ w, K+ y4 o& F& a" r" P - 7.6 图常用API
p+ p& _+ _* B, {2 q9 N/ |- {, ? - 7.6.1 创建图
1 c, C. V7 ]5 ?! q4 Q$ ?8 u6 F2 J - 7.6.2 图的转换
! d2 X B" l, J" O5 z7 M% q - 7.6.3 图的添加与移除
8 g' C- e) i0 c! b, P4 E% l: N- j - 7.6.4 图的邻域方法7.7 案例分析:Gelly计算社交网络中粉丝的平均年龄
5 S( J; L* f- |: L% q! J4 V
6 p$ E5 o4 ^2 z6 J$ k4 y9 e! E; h! s% ~6 l, d! }7 b
- G, K W% e( X% d9 o
0 n3 [1 A' s8 k$ b! E5 F) O F. p+ N
+ P6 W y U$ u/ S侵权联系与免责声明1、本站资源所有言论和图片纯属用户个人意见,与本论坛立场无关
" D; ^1 s" R" C2 x% m) H( T2、本站所有资源收集于互联网,由用户分享,该帖子作者与瑞客论坛不享有任何版权,如有侵权请联系本站删除
2 n- Z# ~" x& q z5 W! [3、本站部分内容转载自其它网站,但并不代表本站赞同其观点和对其真实性负责
' v( s; J/ m! T% ~% x4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
/ Q% A' ]) ]4 K如有侵权联系邮箱:ruikelink@gmai.com: r. ~7 r8 i' R U5 N+ i3 ~
资源下载地址和密码(百度云盘): [/hide] 百度网盘信息回帖可见+ f- v8 p0 b1 J! s; O G7 b. q
1 J" r/ w# h8 d: V+ G4 R# h
7 N9 H9 z1 b# B' L( T9 r) {: P& @' J8 X: E9 ? U
本资源由Java自学网收集整理【www.javazx.com】 |
|