|
|
简介, m: a9 w" |" D& i; i0 J/ a L
书名：Flink大数据分析实战[size=10.2047pt]作者：张伟洋
1 C$ e7 S- t* d7 V! ~" ^, J[size=10.2047pt]出版社：清华大学出版社9 e9 g. y( D# V) G; y
[size=10.2047pt]出版日期：2022-02-01
: t& d! _& [ B/ q4 @" g! lISBN：9787302598183
; w2 m9 l) ?4 S% F! o" \0 Y4 X
* D: N; b+ @% }1 I/ [' l8 e. u目录1 U, H3 s: J f( \3 O. m* w
6 B4 X! y/ t" H- 封面. d: F$ x6 ^4 b: i' v5 c
- 版权信息
# f* v# h' u2 i0 I3 M% Z - 作者简介
N' H6 R8 L1 F! S - 内容简介 B1 S9 F3 {! E; p8 p
- 前言6 _! i* p, \. t# f4 s
- 第1章 初识Flink
- E7 p" o; A0 B# l7 } - 1.1 大数据开发总体架构
% f7 e/ K, O5 a; ?* l: H - 1.2 什么是Flink
2 a& E" U+ r- r: \& f. U, E5 [ - 1.3 Flink的应用场景. E9 O: M9 f6 Q% a( V+ C
- 1.4 流计算框架对比
2 w. F* w/ o4 C0 a \ - 1.5 Flink的主要组件2 ^! \6 M I; L% i! R
- 1.6 Flink编程模型
) Z8 r# `7 @( m3 G. v" T - 1.6.1 数据集
% q& F/ J5 v( m% r2 w% m - 1.6.2 编程接口! d9 ^) L% w1 B
- 1.6.3 程序结构, @. k) w! ?- V6 }& P7 |
- 1.7 快速体验Flink程序; a5 ^4 U/ y$ r% n7 Z
- 1.7.1 IntelliJ IDEA安装Scala插件% M2 u7 T& z( _: i; Y
- 1.7.2 IntelliJ IDEA创建Flink项目
' W+ t1 Q3 u1 L/ K. { - 1.7.3 示例：批处理单词计数
+ i& R6 b6 L: R" g - 1.7.4 示例：流处理单词计数( G" b4 d# J! Y/ q5 r. I$ w$ {
- 第2章 Flink运行架构及原理! Z i: K( L: y( x& q
- 2.1 Flink运行时架构; I) o- W0 @: W5 H- s# B- A+ J
- 2.1.1 YARN集群架构( j0 A& ]& L) f- s# ]! t
- 2.1.2 Flink Standalone架构
+ T3 u+ A# E# ?6 A- Q* M" L - 2.1.3 Flink On YARN的架构# H& K" {6 w6 e! ^1 J1 `# q: f
- 2.2 Flink任务调度原理/ z, d( v6 B( z! l6 B9 f
- 2.2.1 任务链
) [2 W6 y$ z! G. i2 i - 2.2.2 并行度, d9 s$ C. _9 i5 L" V% d, y
- 2.2.3 共享Task Slot g6 m& k8 }& U1 F6 `
- 2.2.4 数据流
2 x4 |$ P/ a. o4 S9 Y - 2.2.5 执行图2 T( {! W a1 s& j7 K' z7 x. G
- 2.2.6 执行计划
# |) D3 H- i P- w - 2.3 Flink数据分区
7 Y5 g' O$ I5 ~ T) d - 2.3.1 分区数量
% B: v: j* q1 _6 r- _3 B+ Z$ I! ^3 N& { - 2.3.2 分区策略
z; U8 K) w: l; d# q0 F8 r* F - 第3章 Flink安装及部署% {0 T/ z; a, h- l% B
- 3.1 Flink集群搭建
2 s- p# M* k3 A" q, l - 3.1.1 Flink本地模式搭建2 }) d% i: l0 `* e
- 3.1.2 Flink Standalone搭建4 r, v1 w0 ?6 {/ k+ _4 r. U
- 3.1.3 Flink On YARN搭建
6 b& |$ j0 ~) ]9 G, }) h% y - 3.2 Flink HA模式
. @) S { D0 W' ] - 3.2.1 Flink Standalone模式的HA架构
, t2 p: Y9 x) G; M7 L& U$ d7 X - 3.2.2 Flink Standalone模式HA集群搭建4 g4 O7 ]8 p x% A# {4 n" w
- 3.2.3 Flink On YARN模式HA集群搭建# O0 I# l Y- M; m. E% M' X; J1 h+ F, y
- 3.3 Flink命令行界面, v- \: n! s' r& w! ^! ]
- 3.4 Flink应用提交
& q5 f3 `% B3 J( B2 ^$ `3 T - 3.5 Flink Shell的使用" ?% S$ E* {8 g- I# @
- 第4章 Flink DataStream API
. D) Q# m4 O; u3 x# R7 z$ e% z - 4.1 基本概念, [$ t; G6 a0 \: q3 u6 F. ]
- 4.2 执行模式6 I* L4 ]5 e3 \
- 4.3 作业流程
* T# t; O) M( e- A - 4.4 程序结构7 e, D/ \- @1 c1 ]9 A& x
- 4.5 Source数据源
2 a0 J5 U- F2 \( h9 c - 4.5.1 基本数据源
+ l+ s G. K: S6 G% a3 b - 4.5.2 高级数据源
8 g) v1 u w* ? - 4.5.3 自定义数据源; W3 k' z( P; x' h. @! b
- 4.6 Transformation数据转换" t$ f: C' o. _- p2 ^
- 4.7 Sink数据输出
8 M% ] P% H# U5 ~3 p - 4.8 数据类型与序列化
6 B8 ^6 d+ @' y* S1 x9 U1 O3 H - 4.9 分区策略
: D* G/ ?' x; m; O) I; Z0 \ - 4.9.1 内置分区策略9 l" o8 F0 I- C. X' T- d8 n
- 4.9.2 自定义分区策略
+ X9 l1 ]9 ~% x) _ - 4.10 窗口计算
* @) Q0 e8 b/ S! B" Y - 4.10.1 事件时间
/ \6 H& e$ }( @3 R' o6 ~6 l - 4.10.2 窗口分类/ U1 C3 e3 D: x% j2 z4 U
- 4.10.3 窗口函数
0 }! Q5 o! e2 z/ U) M" m - 4.10.4 触发器% W$ g# v/ K6 i* E
- 4.10.5 清除器
1 N f# B/ g4 a5 ]$ } - 4.11 水印* a B Q% Q: Z5 F- Z( r* S
- 4.11.1 计算规则
2 ~ N+ u0 N, L% |# }, m. i - 4.11.2 允许延迟与侧道输出& n1 v9 Y8 s1 |& N5 [1 ?
- 4.11.3 生成策略
/ n: u, T* k" ~+ o - 4.12 状态管理
6 ?, E' ?! a* z8 e7 G! h - 4.12.1 Keyed State/ m$ ^( N4 L q# d: C
- 4.12.2 Operator State
1 L4 f% B6 R; v0 C p5 r - 4.13 容错机制
: [9 l7 h/ l. O1 b* g; X - 4.13.1 Checkpoint
% [$ N3 u$ f( U2 H$ l - 4.13.2 Barrier+ G& o. C! B- |0 R* @
- 4.13.3 重启与故障恢复策略
' [$ x5 o" o7 H0 s - 4.13.4 Savepoint% @ W$ n7 }' U7 |% v4 {
- 4.14 案例分析：计算5秒内输入的单词数量 h# `, F* a) C a3 h }
- 4.15 案例分析：统计5分钟内每个用户产生的日志数量, B7 U( c# n5 \
- 4.16 案例分析：统计24小时内每个用户的订单平均消费额
" c' i) p9 b: r9 H8 X6 I0 S8 N - 4.17 案例分析：计算5秒内每个信号灯通过的汽车数量. W9 [" \+ k9 l
- 4.18 案例分析：Flink整合Kafka计算实时单词数量4 C5 ?6 [) ~9 R% T( z5 w
- 4.19 案例分析：天猫双十一实时交易额统计
3 l8 h/ ~8 y0 u* ]- H; ` - 4.19.1 创建自定义数据源: e: ~9 a5 J! h6 I
- 4.19.2 计算各个分类的订单总额+ V: F! O$ a, O* M7 v
- 4.19.3 计算全网销售总额与分类Top3
4 Q- R! S; u$ N0 K0 ~% y - 第5章 Flink Table API&SQL" M4 p, a1 Q }' N* n% g1 x
- 5.1 基本概念3 M4 u' M5 n1 P( N( s, v" ?
- 5.1.1 计划器
/ \2 T8 s. K8 ?; {! Y - 5.1.2 API架构
3 t; [( o8 Z3 u; B, w& F9 r( Q - 5.1.3 程序结构& ]. _* f( z c+ Z9 G. D2 ^5 w
- 5.2 动态表7 N/ I, B/ N0 r) U I8 ?' n
- 5.2.1 流映射为动态表 d" L1 N) E; I
- 5.2.2 连续查询
: f9 [5 N0 c$ A5 @ - 5.2.3 动态表转换为流, s4 l5 a# P7 Z( S& {0 w) J! N4 M
- 5.3 TableEnvironment API/ Y0 B S( k7 A& Z5 R
- 5.3.1 基本概念% Z7 `/ l% ?+ G0 z( p( I" U
- 5.3.2 创建TableEnvironment+ C# O" ~& u% Q. z9 |1 x1 I
- 5.3.3 示例：简单订单统计
9 R1 \' f$ r$ u8 D+ C" Q - 5.4 Table API
+ F: j; X6 c8 D4 T' T8 Z - 5.4.1 基本概念
+ S' b# b+ @5 |0 k0 D# Z - 5.4.2 示例：订单分组计数
' q4 K8 V4 v8 |" Y+ e7 V1 F - 5.4.3 示例：每小时订单分组求平均值, A/ K+ @/ q# F! O
- 5.4.4 关系操作
& k- ]* D7 U- b1 l9 K - 5.5 SQL API
6 Z0 n$ j$ n/ B5 q - 5.5.1 DDL操作# U7 d8 b1 [# J( b' Q2 M, B, M
- 5.5.2 DML操作. D* M8 p5 W: I
- 5.5.3 DQL操作
' H3 u; |! v5 L% C% B - 5.5.4 窗口函数0 Y& i( `/ ]; a# W0 C( v7 x/ ]$ l7 L
- 5.5.5 窗口聚合
1 r* U! I+ m8 V5 |7 i - 5.5.6 分组聚合
3 C. l" ^2 q4 u5 i# f - 5.5.7 OVER聚合) C8 l5 R: t# X1 k
- 5.5.8 连接查询3 Z+ t+ v& W5 [% W
- 5.6 TopN查询+ K! t# B+ _$ i5 `
- 5.6.1 OVER子句: t* |. J, u( `: X# M; q
- 5.6.2 示例：计算产品类别销售额TopN& q3 M1 F2 [# m7 ^2 @( Q! t
- 5.6.3 示例：搜索词热度统计. P6 I. M6 V3 x5 n0 H7 ?
- 5.6.4 窗口TopN/ I. o* q2 G& E( A; j6 \
- 5.7 Catalog元数据管理! G: p' u) s/ ^6 j, F& M# t) a
- 5.8 Flink SQL整合Kafka
( I- {1 ?! L) }) F5 ~ T+ V- C+ M8 X& Q - 5.8.1 基本概念
" s8 G% n0 p* [ ^" k. S/ W n, e - 5.8.2 示例：Flink SQL整合Kafka实现实时ETL5 ~4 d" I- u9 N( n* }% T
- 5.9 Flink SQL CLI
: ^, g# Y, y8 u# ~4 D( [ - 5.9.1 启动SQL CLI9 `! B1 h1 j! U' L* q7 R Z
- 5.9.2 执行SQL查询
- g+ C" g& H) g - 5.9.3 可视化结果模式
; Q8 x7 ~4 K- ^* W& B& A1 ] - 5.10 Flink SQL整合Hive. \1 |" X( v2 v( k6 Z
- 5.10.1 整合步骤. w+ Z4 a3 T' F6 _% j X" |
- 5.10.2 Table API操作Hive3 k$ X* _9 a7 e! D6 r4 |* R# O+ q8 b
- 5.10.3 示例：Flink SQL整合Hive分析搜狗用户搜索日志
2 K& m' A9 v0 Z3 K - 5.11 案例分析：Flink SQL实时单词计数
) N2 F" }' \5 Y; X+ _ - 5.12 案例分析：Flink SQL实时计算5秒内用户订单总金额
7 N: [! V: {4 J' e - 5.13 案例分析：微博用户行为分析7 {2 i, [$ w5 v+ d5 l
- 5.13.1 离线与实时计算业务架构- H% `1 C8 J5 n( c( Y$ N9 u+ B
- 5.13.2 Flume数据采集架构
8 Z2 B' h9 }2 h* {8 g4 U - 5.13.3 Kafka消息队列架构( Z$ M6 O) @5 s6 c0 \
- 5.14 案例分析：Flink SQL智慧交通数据分析
# }) \9 ]: j3 E0 t) o3 H - 5.14.1 项目介绍, T3 g# H9 x; \# f# v8 i
- 5.14.2 数据准备+ D! y- ^6 ~! ?' B" K
- 5.14.3 统计正常卡口数量
9 _! ?7 w' w+ Z - 5.14.4 统计车流量排名前3的卡口号* B4 C1 m& b. j7 M" t
- 5.14.5 统计每个卡口通过速度最快的前3辆车* h1 ?2 J6 L- g8 I+ V' h+ n
- 5.14.6 车辆轨迹分析, V' V- V A+ c; }6 h A+ I
- 第6章 Flink内核源码
- S, i/ |: P! ]! H: Z - 6.1 流图
: t9 j, X% g" t v - 6.1.1 StreamGraph核心对象% O. Y' L* \1 C/ ]1 S4 S
- 6.1.2 StreamGraph生成过程' `9 y, G+ p: q }
- 6.2 作业图
) ~: \* p- {) C' R0 J' @ - 6.2.1 JobGraph的核心对象( Z6 h/ h4 G% ^* t9 H" d
- 6.2.2 JobGraph的生成过程 C! J; M, x/ L0 _7 A2 X0 q) s$ Z
- 6.3 执行图
0 r7 L: m" N- l% @" | - 6.3.1 ExecutionGraph的核心对象
& N1 \4 B- l( D! v6 J4 p$ ~# f. a7 P - 6.3.2 ExecutionGraph的生成过程8 q i7 h$ b5 ^7 |: ^2 h# ]
- 第7章 Gelly图计算6 M" Z3 x% I3 Z: u2 E1 R
- 7.1 什么是Gelly/ g; v9 O4 w& e+ B% U
- 7.2 第一个Gelly程序- x; X% z; ]- ^8 F0 i6 m
- 7.3 Gelly数据结构
( N( ^0 O9 A: y7 y - 7.4 如何使用Gelly8 U4 r! ]7 {% r1 x
- 7.5 图操作
& |! I$ G: s" q; g4 ] - 7.5.1 基本操作
7 ? C8 Z4 l8 |6 c1 m% H' [ - 7.5.2 属性操作* | N; C+ y0 z
- 7.5.3 结构操作* L' [- @) e& i% ]" S$ Q
- 7.5.4 连接操作
# {+ K: N, }: c2 h) g* X0 @4 X9 V - 7.6 图常用API
: g* I5 [3 N8 M# A( B# P: n - 7.6.1 创建图
& W+ H, z! {" c; t2 B - 7.6.2 图的转换
) v7 t* d7 T' x) }/ g& y- y - 7.6.3 图的添加与移除7 ^0 ~- O9 j. O `; Y* \" u) i( x
- 7.6.4 图的邻域方法7.7 案例分析：Gelly计算社交网络中粉丝的平均年龄
9 z* a# {) S- _9 J& h" A3 r7 C* ?- n
0 X8 i0 L/ r) C; G0 I1 j7 S/ F$ y! o
3 G+ \* b, s8 D* p9 L$ A% V
2 p" @) @, `$ T: C
+ @5 F+ ^$ I- v# i9 w8 U4 _ O% q6 D: d- z8 b5 }
7 h- w4 b7 v9 L侵权联系与免责声明1、本站资源所有言论和图片纯属用户个人意见，与本论坛立场无关9 p2 C& E" H1 V1 j9 V( z
2、本站所有资源收集于互联网，由用户分享，该帖子作者与瑞客论坛不享有任何版权，如有侵权请联系本站删除
: |& H. N- S6 N/ O" m% r5 g3、本站部分内容转载自其它网站，但并不代表本站赞同其观点和对其真实性负责
# X, ]$ G" V( |+ ~4、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意
( e1 \9 t. _/ U; B# V如有侵权联系邮箱：ruikelink@gmai.com+ L# n) m! A2 N" \
资源下载地址和密码（百度云盘）： [/hide] 百度网盘信息回帖可见
+ C- f2 D! D9 _- S2 ?# K o! X7 d, l) u( m0 s7 z: B3 y P0 Q
0 t# O( U( F( }* y
7 P" |8 G) v: ]' }$ e' L( N1 T" A
本资源由Java自学网收集整理【www.javazx.com】 |
|
发表于 2024-8-7 12:29:53
