|
|
简介
2 o! P& a5 [8 O" d. Q书名：Flink大数据分析实战[size=10.2047pt]作者：张伟洋
0 S4 q* W u; A _( o[size=10.2047pt]出版社：清华大学出版社
% R8 R/ |! K7 Q( i5 \7 B[size=10.2047pt]出版日期：2022-02-011 G: M9 `. w- n2 P
ISBN：9787302598183 & e* L: E$ z' ]4 K4 O7 }
0 V- E) p. ~1 i- J( c* x目录1 i. w4 z: M; U! X7 [4 q9 G; `4 }
) Z: w- G2 F. i3 T6 _: Y- 封面, B/ H4 U) R/ m7 O
- 版权信息. y% b4 L" W/ ^# v+ A3 f$ s2 N
- 作者简介5 n7 j4 C; h) P u, v
- 内容简介# h k7 r0 C: Y4 b& p
- 前言
- Z3 s- I2 F: u7 l" K. f - 第1章 初识Flink
3 H+ e* I" a' l4 U7 c$ Q - 1.1 大数据开发总体架构6 G# G! U, a; t& |+ s
- 1.2 什么是Flink3 i. p6 Q, K/ M1 A( b
- 1.3 Flink的应用场景
- [0 q- B; X" [9 \* D4 _' F6 _ - 1.4 流计算框架对比: f! m' i5 X. f# [ a
- 1.5 Flink的主要组件( n: }6 `5 D! V% p4 H7 J
- 1.6 Flink编程模型% F0 H* R) I: U* e# ?
- 1.6.1 数据集, |' {( I( a8 U+ s" i
- 1.6.2 编程接口3 Q0 m+ _% n# n& }
- 1.6.3 程序结构/ p9 R; u8 k2 ~$ ^. h: P# J
- 1.7 快速体验Flink程序, l9 P, L9 ~ i2 S3 x) ^
- 1.7.1 IntelliJ IDEA安装Scala插件
; Q, ^) A$ o( J. S) G# y0 L& x% f - 1.7.2 IntelliJ IDEA创建Flink项目
5 D- ]* E/ M2 |! P - 1.7.3 示例：批处理单词计数
W0 y) |6 D6 N6 p- P' g: d - 1.7.4 示例：流处理单词计数$ W% [" F- N, B3 {- W- [3 @
- 第2章 Flink运行架构及原理
* n4 o5 _* G+ ? x: Q - 2.1 Flink运行时架构
+ c. ]0 T/ L b( A6 c+ _7 B, N - 2.1.1 YARN集群架构
* U1 m: Q+ X+ i7 Z% B9 [ - 2.1.2 Flink Standalone架构* x: W6 J! H- U R. y* H
- 2.1.3 Flink On YARN的架构 R3 C( k7 T' G5 \ j
- 2.2 Flink任务调度原理
* N8 z+ I) L' [3 g) A" {/ @7 U, J - 2.2.1 任务链
# z# ^" M: z; D/ u9 P' c' R - 2.2.2 并行度
! Q# _- d! c8 E - 2.2.3 共享Task Slot% e4 O8 P9 k' a& a& t$ I# w
- 2.2.4 数据流: W. b+ l) r) i; j8 j% f
- 2.2.5 执行图
! \% e; ], M1 O* A9 r9 T M& n - 2.2.6 执行计划
# K1 Q8 v( N2 a: |/ }4 ?+ Z - 2.3 Flink数据分区4 N& J1 N, d" q r. k3 I
- 2.3.1 分区数量
6 m/ U u' Q, z! Y6 a) B - 2.3.2 分区策略0 d/ i" Q- m7 C# x. B x0 g
- 第3章 Flink安装及部署
$ ]! v/ H/ G( r/ M/ H& \6 W; B - 3.1 Flink集群搭建
: V$ m: P* c; y, t) Y: n7 G - 3.1.1 Flink本地模式搭建9 Z! a n" [# {) }+ `
- 3.1.2 Flink Standalone搭建
. s' h: U( y% J: d3 Y - 3.1.3 Flink On YARN搭建, o" f0 s1 y: V* a" G5 a, b# ?
- 3.2 Flink HA模式6 [# X( T) g' H
- 3.2.1 Flink Standalone模式的HA架构
" \1 F# w+ D! }, Q& I ] - 3.2.2 Flink Standalone模式HA集群搭建! ~8 U; l3 @* J' D8 g( x \8 L$ E
- 3.2.3 Flink On YARN模式HA集群搭建. x+ v* g, P+ \3 a4 m5 `
- 3.3 Flink命令行界面% e" }0 o/ I! b% C0 m
- 3.4 Flink应用提交
* N3 Y& o/ L! k2 d! }% o. V4 X! P1 s; k - 3.5 Flink Shell的使用! e# O) P' a# K' `. `; `
- 第4章 Flink DataStream API
, P$ e- C ]: ?; i9 C - 4.1 基本概念 k8 l- `* P' w- ]5 }5 k
- 4.2 执行模式5 D3 q& C7 ]( d; z
- 4.3 作业流程
; d7 [4 ^- h2 N" }+ d - 4.4 程序结构
# i# T3 {' b) s7 _4 g7 z9 E - 4.5 Source数据源" s$ g* e; q) g( L- m
- 4.5.1 基本数据源
E: b3 e3 X3 r5 h - 4.5.2 高级数据源
2 L( Z$ P. Y3 Q+ e7 D; X - 4.5.3 自定义数据源
- O- J' V$ v: h( u4 E# c - 4.6 Transformation数据转换# I! f; Z/ M1 G( A c5 a# Z0 j
- 4.7 Sink数据输出+ |7 x6 g/ e$ P2 C( B* O8 D. N; n( L
- 4.8 数据类型与序列化
% D% E4 I0 S! \6 K: G: _3 z4 x - 4.9 分区策略# p6 S* g/ A/ ^& G
- 4.9.1 内置分区策略
9 U0 }" J1 n' F4 P - 4.9.2 自定义分区策略
, F/ w7 I: A8 C6 E' Y - 4.10 窗口计算
3 R( t8 q# l2 ^/ s. J! h - 4.10.1 事件时间8 A8 [8 x/ Z. g* W
- 4.10.2 窗口分类+ x1 z; j0 B1 }+ C+ R
- 4.10.3 窗口函数
) L: w3 ^2 t" I" i" R - 4.10.4 触发器" G2 O0 o0 C0 M1 Y2 e6 R
- 4.10.5 清除器$ j3 @4 r! M1 \: `7 v* J9 _ Z
- 4.11 水印
3 F* p% _! S& |. ^7 E$ G - 4.11.1 计算规则; c! n+ V6 x0 m' z3 X
- 4.11.2 允许延迟与侧道输出
b: N& D: h! S0 B: m - 4.11.3 生成策略
3 }+ h7 M7 x! g3 E - 4.12 状态管理
: P( p$ \9 H% A* [7 k$ h' y - 4.12.1 Keyed State
# Z2 i; b& b: J3 g/ y6 c - 4.12.2 Operator State
6 K- p/ u" e0 D$ l* F - 4.13 容错机制
+ z3 \3 K7 A+ ?( ^8 X - 4.13.1 Checkpoint W+ ?7 y- z' {( J4 e' k
- 4.13.2 Barrier4 n! p; ?4 j' k
- 4.13.3 重启与故障恢复策略: U) E4 ~7 }7 x; f: Y
- 4.13.4 Savepoint
7 ]3 V- G" j1 n! L# T. S - 4.14 案例分析：计算5秒内输入的单词数量
9 ~3 G% h0 t1 V3 z( c2 D) }% r - 4.15 案例分析：统计5分钟内每个用户产生的日志数量
# {9 c: P* e S - 4.16 案例分析：统计24小时内每个用户的订单平均消费额6 V; ^% g& x8 P; w) G& l/ o7 ]
- 4.17 案例分析：计算5秒内每个信号灯通过的汽车数量
9 O" F( }* s$ ?$ f - 4.18 案例分析：Flink整合Kafka计算实时单词数量1 A9 }+ D0 M5 E0 u
- 4.19 案例分析：天猫双十一实时交易额统计+ o5 b/ @/ v9 o' {
- 4.19.1 创建自定义数据源
+ u# Q. f1 v. F2 z8 h - 4.19.2 计算各个分类的订单总额" G, R8 w/ i; n Y
- 4.19.3 计算全网销售总额与分类Top3
: i8 D- t G" D- f+ x/ D - 第5章 Flink Table API&SQL
: A" k! E3 z6 b l( u4 Z+ H/ n - 5.1 基本概念- M" }9 n" R5 J# `3 _, s Q/ y0 w
- 5.1.1 计划器
3 O+ K1 R* N5 Q, z0 } j5 e6 m/ t - 5.1.2 API架构3 ?( C& s1 D% y' k0 V% g& b7 k
- 5.1.3 程序结构
% g" S8 ~+ B2 B+ V* J) ~ - 5.2 动态表
% a2 E1 ?4 m+ b. _! r- Y0 T( c5 Z( v - 5.2.1 流映射为动态表$ h7 Y% \5 h! z: Y$ |
- 5.2.2 连续查询
4 G. E3 Y- Z0 _/ y/ D: H - 5.2.3 动态表转换为流
O% F- L- N; y - 5.3 TableEnvironment API' }# }6 O3 B9 k% M" w
- 5.3.1 基本概念
) z' q- ]0 u' {/ ~3 f9 j - 5.3.2 创建TableEnvironment& r! L/ k2 V4 Q G
- 5.3.3 示例：简单订单统计
1 P% p0 z2 e$ b2 u+ G! i# f: b - 5.4 Table API/ w3 T$ `8 a# _ J
- 5.4.1 基本概念) g0 m. q9 U& j/ b
- 5.4.2 示例：订单分组计数
% a$ R' R7 X8 V& b - 5.4.3 示例：每小时订单分组求平均值
* _6 H \8 P% R& j2 ? - 5.4.4 关系操作, F3 T( {& n; f4 Q( G1 X) N
- 5.5 SQL API3 ~, _3 j) E {3 |
- 5.5.1 DDL操作
9 N% i8 i; k' P# r - 5.5.2 DML操作! K$ Q* W9 {. E8 l
- 5.5.3 DQL操作- n+ Z7 D7 o4 |6 n8 g# `& ?
- 5.5.4 窗口函数
% q2 b2 c! r! [ - 5.5.5 窗口聚合) ]: m) R3 U1 x/ w: C
- 5.5.6 分组聚合1 |: ?* W9 s1 p% t; t6 h3 ~8 z) U# i
- 5.5.7 OVER聚合
; P+ r% I6 ~9 y0 J. i4 F& u! E4 V - 5.5.8 连接查询. R6 o- H( D/ ]! O- f! X
- 5.6 TopN查询/ P/ T8 q0 ]+ g+ n5 ?2 V M
- 5.6.1 OVER子句! T" f5 p8 x7 H" }
- 5.6.2 示例：计算产品类别销售额TopN: Q3 A. C$ d) e4 b( H6 D: [ n2 T0 H3 e) S- l
- 5.6.3 示例：搜索词热度统计$ J! J( p; f* T+ r. W
- 5.6.4 窗口TopN
, L! C9 `5 T! f/ L1 P - 5.7 Catalog元数据管理
/ l1 T8 v, B1 [/ [& n \ - 5.8 Flink SQL整合Kafka/ o/ A* n0 ^, M8 E: s
- 5.8.1 基本概念
& u& y6 S4 _ y: g$ ]6 e$ i9 r - 5.8.2 示例：Flink SQL整合Kafka实现实时ETL, s& J+ ~# v$ u2 C, ?& \$ n8 _, K
- 5.9 Flink SQL CLI
& D( n+ H; j- @! H# c; H2 N; T - 5.9.1 启动SQL CLI
) L! p4 t9 g: l$ e" v7 ~: A - 5.9.2 执行SQL查询
, Y7 d! I( R/ A9 ^+ k5 W, L - 5.9.3 可视化结果模式
. H+ [* F# T/ f/ R, W - 5.10 Flink SQL整合Hive- [% |7 f1 o8 e3 |/ [: U# k. w
- 5.10.1 整合步骤
* ^5 O/ ], |- {* J' ]- U - 5.10.2 Table API操作Hive
$ k; H- L; \8 ?2 S8 K+ | - 5.10.3 示例：Flink SQL整合Hive分析搜狗用户搜索日志
/ Q9 G0 ], C8 L5 n5 y, u2 n, j, v- \' l - 5.11 案例分析：Flink SQL实时单词计数* ?" M3 `1 P+ P! q% d
- 5.12 案例分析：Flink SQL实时计算5秒内用户订单总金额% @0 K& g7 m# Z& @ ]- p9 t
- 5.13 案例分析：微博用户行为分析
% l5 k/ `2 C7 j7 X9 G, o& z! W - 5.13.1 离线与实时计算业务架构
( N0 i& r& O, k1 T0 f! f - 5.13.2 Flume数据采集架构8 N* F8 t4 ^% y" h3 r1 J, L
- 5.13.3 Kafka消息队列架构% y3 O9 Y8 t; Y+ I+ \7 c* N
- 5.14 案例分析：Flink SQL智慧交通数据分析
4 I' U: C( j, g$ T+ A i - 5.14.1 项目介绍1 L4 q2 W% K0 Q
- 5.14.2 数据准备3 {5 n& D# n& K4 u% F4 g
- 5.14.3 统计正常卡口数量' a( b- @# r5 a0 c/ G7 ?: Y2 _) u( p5 c
- 5.14.4 统计车流量排名前3的卡口号
) m R% z$ S% j" c. u$ L8 | a1 h - 5.14.5 统计每个卡口通过速度最快的前3辆车
/ T3 S* D2 q8 x! t, m# A - 5.14.6 车辆轨迹分析
* _/ v! p2 \- a" B! k - 第6章 Flink内核源码
/ x* q' ~7 p& T9 @0 R - 6.1 流图/ m5 w. m; D: j$ n; p
- 6.1.1 StreamGraph核心对象
- e/ W) U- C+ h0 \ - 6.1.2 StreamGraph生成过程
( m1 z2 i& T8 C$ S" f/ O5 J - 6.2 作业图
1 W0 z& S' [1 t! h% f - 6.2.1 JobGraph的核心对象' ^! B' @' K! z! O6 y) x: |( D
- 6.2.2 JobGraph的生成过程
, X* d4 Y" s& p: v - 6.3 执行图- Z) i! U( S7 n9 [1 J9 x
- 6.3.1 ExecutionGraph的核心对象. ?: n* U2 ^6 N, z! e7 S
- 6.3.2 ExecutionGraph的生成过程
. o* U, L& h, V. X+ w/ n# ]9 v - 第7章 Gelly图计算
) q* w9 I+ y. L$ ` - 7.1 什么是Gelly( k+ C' l8 l/ s/ C% [. x5 _1 m
- 7.2 第一个Gelly程序
% k" @' @" y7 s7 G% o - 7.3 Gelly数据结构$ f0 A8 W0 Z$ t. U2 r( l/ W1 @+ \
- 7.4 如何使用Gelly* F: p$ k7 a7 Z# u; S! A7 g
- 7.5 图操作
2 q7 d# N& O0 l - 7.5.1 基本操作% a( M. z) z# }/ X) A7 h0 B
- 7.5.2 属性操作* o/ o- n$ `1 V# N
- 7.5.3 结构操作
6 z3 d+ Q5 A3 F; y0 S* m - 7.5.4 连接操作
' Y, Y' z4 B& U" D- p' O - 7.6 图常用API: m4 X" w6 e ~0 L# u/ E
- 7.6.1 创建图
8 |5 W- ]4 h0 @% ?0 j& `3 r* n - 7.6.2 图的转换
7 X# e8 R+ \! H9 U0 r' n - 7.6.3 图的添加与移除
- C' m- j1 K3 F, `- o' Q - 7.6.4 图的邻域方法7.7 案例分析：Gelly计算社交网络中粉丝的平均年龄
9 @7 L! _6 _6 C, y9 f
) P# U# d1 U3 e9 \5 p+ K8 [, U0 R/ a* C& v3 N) t! b7 h" f
8 T, [0 J, ]5 t
" O/ ^' ^) V3 x3 _
- y' ` s% z& ~* k8 A. C$ l
- ?' z, c/ b/ M- G/ p侵权联系与免责声明1、本站资源所有言论和图片纯属用户个人意见，与本论坛立场无关
/ S3 j* P5 ~5 a: W2、本站所有资源收集于互联网，由用户分享，该帖子作者与瑞客论坛不享有任何版权，如有侵权请联系本站删除
1 {* K% r0 m* ~1 Z3、本站部分内容转载自其它网站，但并不代表本站赞同其观点和对其真实性负责# P1 e- n; l( }0 `; _- |
4、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意
+ s) Q0 v6 H& f如有侵权联系邮箱：ruikelink@gmai.com
( G+ g3 B* P5 b) k8 i: m资源下载地址和密码（百度云盘）： [/hide] 百度网盘信息回帖可见3 R# {$ D/ u D+ L7 O9 ?; H
8 @9 s7 }) s r- a/ k5 a
5 l' R' [4 X' a; E) M, O
6 d' m, p9 m2 ^+ l
本资源由Java自学网收集整理【www.javazx.com】 |
|
发表于 2024-8-7 12:29:53
