|
|
简介( w9 c3 b8 W+ f' e) s2 O& ^7 P1 ?
书名：Flink大数据分析实战[size=10.2047pt]作者：张伟洋
5 o7 V# `- d7 {. g, r+ _[size=10.2047pt]出版社：清华大学出版社
9 n/ I: K$ l' b% \' D[size=10.2047pt]出版日期：2022-02-01
. J0 F9 o+ _5 Z8 ~: A3 E9 [" WISBN：9787302598183
: i# r& w. l0 U' L* M5 J' b
8 ~1 C5 D: q4 f' }/ F: [6 s& J目录9 @% W8 _+ c$ D* f) T5 G
' ^) l& q$ Q0 B4 u2 r P- Q! U0 ~
- 封面) {; L, t7 R6 S& }1 n
- 版权信息
$ l6 t! ?4 U( r& ? - 作者简介" G' ?: I/ b' ^2 e o; U
- 内容简介
' T6 e; o" v' Z6 h - 前言7 ~' t0 Q4 D% {5 G
- 第1章 初识Flink
: I$ g) S1 t& o2 ~ - 1.1 大数据开发总体架构
1 q0 I) @+ D. {. t7 P1 W4 H& j - 1.2 什么是Flink* r3 a9 t0 K; [3 @. c: u' [
- 1.3 Flink的应用场景
0 }- ~, `( _ P0 V - 1.4 流计算框架对比6 J# X0 H: Y8 J6 U
- 1.5 Flink的主要组件
2 d* l# l9 s, g8 \) ^7 ? - 1.6 Flink编程模型
: l- v$ H8 k( F - 1.6.1 数据集
8 f; k- `. D: Y% B: W" U; k - 1.6.2 编程接口
( K$ Y8 l2 h {. e - 1.6.3 程序结构6 T8 j3 r: ~0 T5 V& E, S
- 1.7 快速体验Flink程序9 I5 K) p' C3 G' F, {4 u
- 1.7.1 IntelliJ IDEA安装Scala插件4 |; k) F, D# B9 l# T" |% y
- 1.7.2 IntelliJ IDEA创建Flink项目
% M! b$ c- B) P# g- i* c0 C1 ] - 1.7.3 示例：批处理单词计数5 j* H+ p- {: f( x0 I1 t7 j
- 1.7.4 示例：流处理单词计数
: B0 N# J# z2 u4 e" m: J* D8 L - 第2章 Flink运行架构及原理
0 D! E, \) P; X; s% B) E - 2.1 Flink运行时架构/ x- e r8 x) }) b& ]5 S' G3 |
- 2.1.1 YARN集群架构
0 h( f# Y% c3 {# k - 2.1.2 Flink Standalone架构
7 @# Z9 [! J" ]8 o* c - 2.1.3 Flink On YARN的架构
0 Z0 ~8 x Q% f) D8 y$ d - 2.2 Flink任务调度原理
& F$ _1 @# Q" |8 T5 I - 2.2.1 任务链& V* I$ O4 L2 Q3 Z0 K1 T; L
- 2.2.2 并行度2 E; U0 a) D3 [$ b/ Y# b
- 2.2.3 共享Task Slot
* `, ]9 n+ \2 R - 2.2.4 数据流
( }% E4 t/ w K' p - 2.2.5 执行图) D8 T0 }3 H5 K9 e
- 2.2.6 执行计划
5 b! }) n/ F# I( F0 i2 _' I5 m - 2.3 Flink数据分区/ G5 h3 p" ?( K. k* `2 K
- 2.3.1 分区数量( e* x; b& v8 y8 ]5 v+ R- _9 U. |4 z- x
- 2.3.2 分区策略
* p+ R) I* r* v' s: Z - 第3章 Flink安装及部署
* h- }7 j4 R$ d) K. T) g* u - 3.1 Flink集群搭建
0 u" f! z+ S0 k) R. @ - 3.1.1 Flink本地模式搭建
3 f5 l7 ~) H6 f+ q7 Z - 3.1.2 Flink Standalone搭建; D+ b% L( {2 E6 O3 e; F
- 3.1.3 Flink On YARN搭建9 s5 x# i/ ]( o9 {6 g% p& u' L
- 3.2 Flink HA模式1 e) D7 [6 O, j$ Q; O4 K5 y) S
- 3.2.1 Flink Standalone模式的HA架构1 m9 \# k% J; J+ J, G, ?
- 3.2.2 Flink Standalone模式HA集群搭建, `8 m3 L% N4 M7 u* D" D; c* V2 D
- 3.2.3 Flink On YARN模式HA集群搭建% l( ]( X( R: f* b/ @: G
- 3.3 Flink命令行界面
4 q( o. v4 ^( P9 T: Y$ L - 3.4 Flink应用提交
# D; }9 v8 E, D0 u: I# b4 u8 T - 3.5 Flink Shell的使用( |2 s' p: B' N$ q6 o; g
- 第4章 Flink DataStream API( ~, Z2 |4 } Y6 b! |
- 4.1 基本概念
' p! Y% L0 M5 S; l6 u5 |3 w - 4.2 执行模式
% A9 q/ v% B: y$ W: q! a - 4.3 作业流程! e' ~4 k3 R4 |
- 4.4 程序结构
5 {* W w/ n- ` - 4.5 Source数据源$ c' I% G6 h5 e$ e3 D8 W
- 4.5.1 基本数据源
8 K. I0 }) O; @& z - 4.5.2 高级数据源. O1 }0 S% v+ \
- 4.5.3 自定义数据源
9 b* U/ x% f" i# z& W5 m - 4.6 Transformation数据转换
5 O6 F( `' c! k; |9 g$ e* [$ | - 4.7 Sink数据输出
1 x- w. n( O, X7 R - 4.8 数据类型与序列化
. L$ O/ j2 s$ K. s$ u# F - 4.9 分区策略
- S4 E1 E# X8 h/ t2 K2 J - 4.9.1 内置分区策略* M8 S* l/ }- {6 Q3 u4 h* \- ^
- 4.9.2 自定义分区策略
3 |/ U5 v5 m( p9 e: W - 4.10 窗口计算
5 Y. h$ R( B4 W/ b* X - 4.10.1 事件时间) i: {2 L# K0 ?$ v
- 4.10.2 窗口分类; O; n. X) X0 Z; j
- 4.10.3 窗口函数, H9 }& C$ ^3 j: {, ?
- 4.10.4 触发器) ~% F* p1 m4 s
- 4.10.5 清除器
0 C' o4 I. i1 S. [0 c- Y - 4.11 水印
$ Z- y7 w3 K1 y/ N - 4.11.1 计算规则
0 {5 L/ n9 N' {, j2 D - 4.11.2 允许延迟与侧道输出; b- U" u; J3 L: o J; R
- 4.11.3 生成策略
/ E& g0 F$ [8 Y6 {, V - 4.12 状态管理: z ~" g/ F! g2 u! J
- 4.12.1 Keyed State
( `/ w% K4 ?+ V S2 i9 D - 4.12.2 Operator State, {, c+ {# ~" o3 h3 t+ e; }, N1 _- c
- 4.13 容错机制" [0 G& d- E8 ?' q
- 4.13.1 Checkpoint% }0 W3 f- a% E- r
- 4.13.2 Barrier* x: `: _4 Q( P1 w& T
- 4.13.3 重启与故障恢复策略
# |- N* X t0 k - 4.13.4 Savepoint" e: a* a* B( z$ D) v9 N
- 4.14 案例分析：计算5秒内输入的单词数量
* v# i/ y. k7 l7 P - 4.15 案例分析：统计5分钟内每个用户产生的日志数量- S0 V1 n$ I$ k5 B. N& Z2 S. H# V
- 4.16 案例分析：统计24小时内每个用户的订单平均消费额- ?4 q W! o x6 @ j+ g1 I! v5 X
- 4.17 案例分析：计算5秒内每个信号灯通过的汽车数量& a, J+ E( k9 }6 z
- 4.18 案例分析：Flink整合Kafka计算实时单词数量
. e# y, q% h/ J% U, R! R - 4.19 案例分析：天猫双十一实时交易额统计, y4 g* D' h& s6 r1 A
- 4.19.1 创建自定义数据源
2 R i" M# G. t7 N* h - 4.19.2 计算各个分类的订单总额2 ^1 x$ p, { D& I. v, S
- 4.19.3 计算全网销售总额与分类Top3$ E) B- Y7 P1 F8 o5 H& @% ^3 ]: I
- 第5章 Flink Table API&SQL
& j5 U; t- D0 n/ f- d) k - 5.1 基本概念& I* z' m' P# q; l2 V2 _
- 5.1.1 计划器* Q' f# w) F S2 n% b1 U4 K6 y
- 5.1.2 API架构
' ~5 g6 |( g8 p - 5.1.3 程序结构
! R3 o9 f$ \$ \7 y! G0 P - 5.2 动态表
. r. E0 i8 b Q" M3 U: Y1 B - 5.2.1 流映射为动态表
! i( _5 o; w$ V - 5.2.2 连续查询
6 P. W U; L( z5 U, j. { - 5.2.3 动态表转换为流
: F9 |3 K9 L) n) f, F; l - 5.3 TableEnvironment API1 J6 Y* r8 R' s. z5 Y# N
- 5.3.1 基本概念
: v+ U! f+ N! Z& C& Y - 5.3.2 创建TableEnvironment
9 V" D& |3 T4 z' Y, }' x - 5.3.3 示例：简单订单统计2 M( w3 W' k: B9 w8 m
- 5.4 Table API
5 d( N# Q5 j4 R; O& | - 5.4.1 基本概念
: K9 y- `8 K3 A - 5.4.2 示例：订单分组计数/ _8 ]- p! N1 b' h
- 5.4.3 示例：每小时订单分组求平均值
3 ~/ \% ]* s) t0 @/ Q. c6 _ - 5.4.4 关系操作% ^5 ?- C( ^3 V" W
- 5.5 SQL API9 F' k2 J' s" {1 v
- 5.5.1 DDL操作( C" o! S$ W9 {' B
- 5.5.2 DML操作
; U1 J% f) s$ L# G; _ - 5.5.3 DQL操作/ A& |9 i6 o& E5 s% [0 {$ P ^
- 5.5.4 窗口函数
' v6 g- t, b* M - 5.5.5 窗口聚合
5 t5 Q9 @$ b8 |8 d! Q$ M. C: L( L M - 5.5.6 分组聚合
4 C& U! t( t! O5 o* u1 X" y - 5.5.7 OVER聚合
8 L) q$ N. L. L( x - 5.5.8 连接查询
# y0 O! n' R; q% N) ?- U - 5.6 TopN查询! |. H# }, w; x' m1 p" {
- 5.6.1 OVER子句5 t$ n8 z! t4 j* o1 i
- 5.6.2 示例：计算产品类别销售额TopN
8 s. Q0 i1 }& v9 t6 c - 5.6.3 示例：搜索词热度统计+ Q4 R. S( B5 S/ B& }
- 5.6.4 窗口TopN
" b% L8 x' _" Q$ E- c - 5.7 Catalog元数据管理
H; u* r1 J6 e: D+ [ - 5.8 Flink SQL整合Kafka6 S9 h! o; A! S8 w; a7 y ~' E
- 5.8.1 基本概念
* w$ |) `5 K2 h7 x ?; U - 5.8.2 示例：Flink SQL整合Kafka实现实时ETL$ j' c8 y% a0 F/ h
- 5.9 Flink SQL CLI
& A) ~+ P0 i4 P5 q$ A' B2 S/ y; u - 5.9.1 启动SQL CLI
4 {& y# X0 i$ r7 c - 5.9.2 执行SQL查询. M) V. x# Z" \
- 5.9.3 可视化结果模式# l1 U; X1 z# N
- 5.10 Flink SQL整合Hive3 m: }" ?; e0 F/ j$ R9 N( d
- 5.10.1 整合步骤! D( B+ e9 Z' f* p, {8 T
- 5.10.2 Table API操作Hive: r( {$ R- o y X% \
- 5.10.3 示例：Flink SQL整合Hive分析搜狗用户搜索日志
) w P9 u3 d, m6 S% k - 5.11 案例分析：Flink SQL实时单词计数
& R0 v/ Q& H0 P$ j - 5.12 案例分析：Flink SQL实时计算5秒内用户订单总金额8 v' [& f1 h' w$ g% @
- 5.13 案例分析：微博用户行为分析0 X) L: P9 S F1 Q# Y
- 5.13.1 离线与实时计算业务架构
2 O, p" f/ q7 |9 M - 5.13.2 Flume数据采集架构 I3 o! B% S. a5 B6 Q5 D5 J
- 5.13.3 Kafka消息队列架构
% {) q6 B; q: ? O6 v, A2 P% O - 5.14 案例分析：Flink SQL智慧交通数据分析
' s) r* i1 W1 _+ O, \ - 5.14.1 项目介绍
8 [8 b7 D, {; J( }+ t; e8 J/ @ - 5.14.2 数据准备
# `- O# Y* I4 Y5 S - 5.14.3 统计正常卡口数量! S7 O2 h3 U0 P8 o/ \8 `" I. y6 I
- 5.14.4 统计车流量排名前3的卡口号
' U3 T8 T* {+ {) B3 b: R; j - 5.14.5 统计每个卡口通过速度最快的前3辆车) T' ]5 x9 Z+ l3 C- O( S
- 5.14.6 车辆轨迹分析
3 s/ z& d% D; O: I1 `# U - 第6章 Flink内核源码3 |- ]& W5 _3 Z7 s0 N3 L
- 6.1 流图
; S+ e0 W9 @; E- A% m% A+ i - 6.1.1 StreamGraph核心对象$ `# G! x n! t( J; [$ |3 `
- 6.1.2 StreamGraph生成过程
$ L$ j8 K, z& u' Y# x - 6.2 作业图
! g1 i+ I' x6 U - 6.2.1 JobGraph的核心对象; B$ m ?, C9 S) O
- 6.2.2 JobGraph的生成过程
i- K- L- g e- D6 g3 L" J - 6.3 执行图! p) U) \* `: U
- 6.3.1 ExecutionGraph的核心对象
4 _ D+ ]# l% r1 y. {7 j - 6.3.2 ExecutionGraph的生成过程$ G# u- V# y c5 I ^) E
- 第7章 Gelly图计算* F* V8 l4 S4 p. \
- 7.1 什么是Gelly
! `, F7 X5 P i+ r( j R - 7.2 第一个Gelly程序7 j# K* p7 c4 \: W1 r4 n. P
- 7.3 Gelly数据结构2 S3 f2 ~. h- P* O% \1 X6 V
- 7.4 如何使用Gelly
* T# ]6 i5 O% V; _7 A - 7.5 图操作
) x( y0 q% Q6 w* \( K1 J; l% ?; L - 7.5.1 基本操作: b7 D( J- C o r) h
- 7.5.2 属性操作) c! N- B X2 I! u/ {* [* v! {
- 7.5.3 结构操作( d: j/ \: y5 d$ f1 s8 d
- 7.5.4 连接操作8 d3 }5 }2 T: l4 {- @1 d! R
- 7.6 图常用API
0 G- T' P# n3 W5 X. \ - 7.6.1 创建图
/ R2 m/ K- ~0 t3 X8 X7 L7 @ - 7.6.2 图的转换( F, R' E( y1 h8 n1 ~
- 7.6.3 图的添加与移除& V0 i3 |& h% c
- 7.6.4 图的邻域方法7.7 案例分析：Gelly计算社交网络中粉丝的平均年龄2 o( x' g7 S0 r1 r& Z4 m8 E
2 P; W+ ?7 i/ ]1 b3 F* V
* {( D2 P0 V! F
6 I4 }: B8 {, N1 Y7 b6 m' k- `) S( r n" D/ S$ S
4 t1 Y2 s' t' T
$ o" J+ t- w( _2 P侵权联系与免责声明1、本站资源所有言论和图片纯属用户个人意见，与本论坛立场无关
. H, P5 ~5 @6 M6 Y3 _* u3 Q2、本站所有资源收集于互联网，由用户分享，该帖子作者与瑞客论坛不享有任何版权，如有侵权请联系本站删除
6 b! a' J' ?) r& x- O0 Y3、本站部分内容转载自其它网站，但并不代表本站赞同其观点和对其真实性负责1 S$ l" `4 s/ \& u# m( X
4、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意! ~$ n. y: i6 I/ k6 e- ]* g Y
如有侵权联系邮箱：ruikelink@gmai.com
. P2 M; h2 Q/ ] p7 I" F; `资源下载地址和密码（百度云盘）： [/hide] 百度网盘信息回帖可见& a( ]$ ?4 W% `: j8 N
$ ^. V4 |5 J% C3 L% @) H$ _) S! E* p2 C' G9 n" I. v* }
2 k% N2 E3 g$ M) L
本资源由Java自学网收集整理【www.javazx.com】 |
|
发表于 2024-8-7 12:29:53
