|
|
简介! W- R1 h' d, D s4 m
书名：Flink大数据分析实战[size=10.2047pt]作者：张伟洋
* y3 e8 x: @ `' o. s8 u4 z[size=10.2047pt]出版社：清华大学出版社* B3 O' U7 ~+ J8 i4 i- V" T( H* s
[size=10.2047pt]出版日期：2022-02-014 l Y8 V" {: f1 B9 @
ISBN：9787302598183 + r! T8 @# L0 q: S+ @
" o6 Q4 \( _9 S; ^% ?0 J7 X5 X H
目录' G% c# q% q8 X8 {
( f X* Z) ]" k* |- 封面
" J$ y$ I: j+ C, F - 版权信息
( ?" G- z( l" ]" C' d - 作者简介$ K: P6 y7 W, V8 D& J; k. f0 U
- 内容简介( S- K5 e/ ~- o% j6 ^
- 前言& k' I8 d$ q9 m7 R# _
- 第1章 初识Flink0 {( m* C8 H! Y5 i1 i0 h& R
- 1.1 大数据开发总体架构0 ^9 q2 ? T% T8 p( f
- 1.2 什么是Flink
" i/ d6 o6 Q. `' I9 j. `. g v$ Q - 1.3 Flink的应用场景" G% M! p5 n1 H& U: h1 p% G @
- 1.4 流计算框架对比% p `$ |7 [) S1 ^# G( l
- 1.5 Flink的主要组件
9 G$ H' }6 d0 a% ] - 1.6 Flink编程模型
% }# Q+ D+ a4 R2 Y - 1.6.1 数据集3 L. F# ~7 N0 E" F" v% {$ ]2 v
- 1.6.2 编程接口, i# | B2 V: U; W5 W7 l$ [
- 1.6.3 程序结构! ` `2 O+ ~4 T: J7 {) v
- 1.7 快速体验Flink程序
# H3 I: x1 l$ S$ X: I. I - 1.7.1 IntelliJ IDEA安装Scala插件, j0 k& r# h! i& O* N" k x
- 1.7.2 IntelliJ IDEA创建Flink项目8 g, b4 ?5 s2 M: y+ }: Y: g
- 1.7.3 示例：批处理单词计数* Z% g7 K6 W. Z" Y2 g$ M! ]- h
- 1.7.4 示例：流处理单词计数0 a# l9 ~% W6 u4 P0 f
- 第2章 Flink运行架构及原理
8 A3 F* |* Y9 M# P& }$ ?5 n - 2.1 Flink运行时架构 |& f. t9 \" S0 m# o1 _, {$ V
- 2.1.1 YARN集群架构
* b6 V( y3 S4 l* ~4 U4 H - 2.1.2 Flink Standalone架构' w2 L( C/ }4 w E
- 2.1.3 Flink On YARN的架构0 Q- `" B- A8 g: P& Q$ a$ B
- 2.2 Flink任务调度原理
$ p& b7 Y/ n _) D( }$ l, ` - 2.2.1 任务链
8 }( b9 q4 }. G( A5 @" [- @" \& n& ^ - 2.2.2 并行度
0 ?' ?) v) ]6 [* x - 2.2.3 共享Task Slot p% \+ i7 Z9 H+ t& Q+ Z \
- 2.2.4 数据流5 e2 O2 i/ R. j1 M0 h- I
- 2.2.5 执行图3 I+ P) h- V/ m% G8 H) W5 x
- 2.2.6 执行计划$ {3 a) H4 k% l7 q W
- 2.3 Flink数据分区5 t# i+ s; D7 Q& j- @
- 2.3.1 分区数量
# k M$ i7 a3 X# _2 @; H - 2.3.2 分区策略
# I4 n* N/ f( g; @5 }; V - 第3章 Flink安装及部署+ G& ?9 `9 D$ m( U5 q
- 3.1 Flink集群搭建$ S9 Z5 `9 |/ C
- 3.1.1 Flink本地模式搭建
2 u2 P# H) @% H- L2 \9 k - 3.1.2 Flink Standalone搭建" K5 c7 }3 U9 N. \
- 3.1.3 Flink On YARN搭建
& J$ K' b; l6 Q- k7 h4 z - 3.2 Flink HA模式- t! W; C, M! N+ P4 p h
- 3.2.1 Flink Standalone模式的HA架构
% `- G& s ^+ @9 r- U! g - 3.2.2 Flink Standalone模式HA集群搭建
. L y/ k& H& Q* z, i- \1 _ - 3.2.3 Flink On YARN模式HA集群搭建1 u. B" _/ J9 X& H. G
- 3.3 Flink命令行界面8 n, v; w, W4 h8 K! J
- 3.4 Flink应用提交
6 }5 g- P. Z; I5 H) M - 3.5 Flink Shell的使用) \6 Q/ o8 ~6 M: J5 {
- 第4章 Flink DataStream API
; b: _6 P% u# l - 4.1 基本概念
- C) Z x9 t; |0 K - 4.2 执行模式
0 w2 N7 o: ?( F4 @* T0 X7 _ - 4.3 作业流程) `( k/ c1 |$ M7 w! Z
- 4.4 程序结构5 e( u0 a$ u3 a
- 4.5 Source数据源9 Z/ Q+ L: v% m" O; V6 J
- 4.5.1 基本数据源9 u2 m0 B- x9 }: x$ L, h8 y6 n
- 4.5.2 高级数据源
5 l! z# h5 \2 F( t - 4.5.3 自定义数据源" t9 j5 S3 d( y; e1 `# d. M
- 4.6 Transformation数据转换
* R+ S9 s0 I! s& ^2 g" D - 4.7 Sink数据输出
5 R/ _: Q2 M8 ^7 L - 4.8 数据类型与序列化
( ?( W& S; D- h$ k0 [6 G; N - 4.9 分区策略
$ x1 T! G- e3 W0 B8 O. t - 4.9.1 内置分区策略7 J& R( o: \1 p3 a& B3 y0 ~
- 4.9.2 自定义分区策略/ |) y/ T) x3 p$ d
- 4.10 窗口计算, Q/ G+ Z, q/ h7 d) t$ V
- 4.10.1 事件时间6 G) J% C9 _0 ^- ?5 Z
- 4.10.2 窗口分类
( r, B$ Z( T" |) B" m& G2 n - 4.10.3 窗口函数
2 r# p# `/ \) f- x - 4.10.4 触发器2 h5 O G: _* b, C" g& ^5 L! t
- 4.10.5 清除器$ ?% V, }9 `, c) e1 H
- 4.11 水印6 W2 Y3 F" X& b' Z5 K0 A! t: K
- 4.11.1 计算规则. O' b ]3 v" V- x; I+ T. H: Z( c. R
- 4.11.2 允许延迟与侧道输出1 j4 j- n+ M; Z# |% q
- 4.11.3 生成策略
" h" D: u* A4 j( ^, e2 o - 4.12 状态管理
7 W+ D$ U6 W# k9 L% J - 4.12.1 Keyed State" m" D2 Z* t, t7 O/ T* q
- 4.12.2 Operator State
0 F8 a& G' ?" p8 k7 ^# ^ - 4.13 容错机制2 ^6 l, k" `+ u5 U: E O+ B% a: [, J
- 4.13.1 Checkpoint! }; |% o; _! N6 U4 N( X3 q6 W; k
- 4.13.2 Barrier1 {' X6 r6 l# @- H/ c2 d
- 4.13.3 重启与故障恢复策略
' K% N: H U% @! z2 @% M" U' I - 4.13.4 Savepoint2 |7 C+ i+ `$ E& C4 @, R6 q
- 4.14 案例分析：计算5秒内输入的单词数量
, _, [, X$ J x( G - 4.15 案例分析：统计5分钟内每个用户产生的日志数量
6 r8 `2 ?7 s9 a+ ]( ? - 4.16 案例分析：统计24小时内每个用户的订单平均消费额
3 j; S% ?* Z9 z& k- s - 4.17 案例分析：计算5秒内每个信号灯通过的汽车数量
, P {& N: g9 |, p0 ~( C - 4.18 案例分析：Flink整合Kafka计算实时单词数量8 I" _3 O, j) N/ X3 D
- 4.19 案例分析：天猫双十一实时交易额统计3 V8 d$ A6 o, f7 w/ n# V! b5 S
- 4.19.1 创建自定义数据源
" _! j+ [6 b8 @1 O - 4.19.2 计算各个分类的订单总额 N0 l; a, x s# n' P
- 4.19.3 计算全网销售总额与分类Top3
/ u+ U x6 e# _( K3 g9 v9 E6 K5 k - 第5章 Flink Table API&SQL
! m7 o8 P) z/ W6 m+ W" P" z - 5.1 基本概念/ u. Y& J& H0 E4 ?4 V) a2 ] ?
- 5.1.1 计划器5 ^: U l' T; K( O& r$ m
- 5.1.2 API架构/ v3 |* T, @$ I3 |& x7 }! O0 f8 ~; T
- 5.1.3 程序结构- ~2 G0 T+ w! I9 Y9 s$ u2 w
- 5.2 动态表9 K5 n4 j+ J0 A/ p
- 5.2.1 流映射为动态表
% r2 }) x4 S/ t - 5.2.2 连续查询. |3 k$ I% D% W8 n* |
- 5.2.3 动态表转换为流
A+ }2 V `! N7 g& H4 W, q - 5.3 TableEnvironment API
3 l% L/ t/ ?, G6 B - 5.3.1 基本概念7 J* ?. N2 }% b/ P5 G7 F l' X
- 5.3.2 创建TableEnvironment/ k! r7 Q' x+ d& E- K! t
- 5.3.3 示例：简单订单统计+ K" V+ |/ v! w( ^: |2 k
- 5.4 Table API; l4 M' R/ x3 `3 ~$ a7 ]
- 5.4.1 基本概念
! h" n: X5 ] a- X7 n7 W - 5.4.2 示例：订单分组计数
; Q" s' o0 D* a% d; @+ b+ h) ? - 5.4.3 示例：每小时订单分组求平均值
6 x# A E1 T. s - 5.4.4 关系操作) A5 b; v% l6 U! l" g; V: Y+ ^! z
- 5.5 SQL API2 h6 g0 R2 f7 t% N# U' q, N! F
- 5.5.1 DDL操作
7 c1 K- }! V' y: s0 C& d - 5.5.2 DML操作
: W; h, j6 p9 _: k. c - 5.5.3 DQL操作
2 A* W9 J6 K { - 5.5.4 窗口函数
/ \! d: Q) A7 V* h+ [& ^' g0 f - 5.5.5 窗口聚合
# z J5 G; @$ T9 J$ r" A7 }( b0 V - 5.5.6 分组聚合, i+ ^, g6 u5 M; Q( m) |+ N
- 5.5.7 OVER聚合
! b: a* g3 A, d) m8 o5 J - 5.5.8 连接查询) [3 l) M3 P# s% s* m; ^% W
- 5.6 TopN查询
( B2 p0 l5 ]. ?6 t3 I t- R5 ] - 5.6.1 OVER子句6 [5 \- ~2 ]3 V. {9 [* k3 W0 a
- 5.6.2 示例：计算产品类别销售额TopN5 R N( B: ]* e1 y- ?( c
- 5.6.3 示例：搜索词热度统计+ G9 w2 d+ I: G' n: B' }8 Z
- 5.6.4 窗口TopN9 D7 \1 j1 C$ l8 a' f* k: m
- 5.7 Catalog元数据管理$ ?5 m( w) u9 e# z/ S/ T: \
- 5.8 Flink SQL整合Kafka
( P4 b) Y" |5 w% Z Q - 5.8.1 基本概念
; z) h0 D4 J6 ~4 ]) W+ N - 5.8.2 示例：Flink SQL整合Kafka实现实时ETL0 _+ t, p$ E0 x2 N r1 b0 L! w3 r
- 5.9 Flink SQL CLI
. Z9 n3 ?0 B3 c+ J- L - 5.9.1 启动SQL CLI
& ^, P3 L1 Q2 O- \. `& ]; f! e - 5.9.2 执行SQL查询
/ H. c% K# \6 J) X, T! o - 5.9.3 可视化结果模式; p5 J( R/ I! b' ]" f3 d+ [
- 5.10 Flink SQL整合Hive2 |) X' y* x1 _
- 5.10.1 整合步骤4 H7 k' S! m ^' N" ~/ y
- 5.10.2 Table API操作Hive9 p" R4 [# I9 n( U% [7 Z
- 5.10.3 示例：Flink SQL整合Hive分析搜狗用户搜索日志
# e& ^- P* s ?5 @% S) @4 O4 d - 5.11 案例分析：Flink SQL实时单词计数
9 D+ {0 e: U$ V6 }9 g - 5.12 案例分析：Flink SQL实时计算5秒内用户订单总金额7 f# N; Q6 Q6 p& X; F# W- o( P
- 5.13 案例分析：微博用户行为分析
# {3 @/ k8 B! k' _8 Z7 U! v - 5.13.1 离线与实时计算业务架构
! ]) d# c- C4 z! g( K - 5.13.2 Flume数据采集架构8 ]8 c8 Y3 L) ?. g9 p
- 5.13.3 Kafka消息队列架构
* S$ r: x0 S4 }% C& M - 5.14 案例分析：Flink SQL智慧交通数据分析. V- v$ h; m# s8 P2 {
- 5.14.1 项目介绍
& b, o# t) {% @7 }) p1 M - 5.14.2 数据准备8 U9 w' `: ], z% n2 F# D
- 5.14.3 统计正常卡口数量
c/ y$ p6 P2 @/ d5 C6 m% h - 5.14.4 统计车流量排名前3的卡口号
1 V N. O# w% @; C- _8 u - 5.14.5 统计每个卡口通过速度最快的前3辆车0 Q- l* t p0 \! k* K4 `( a
- 5.14.6 车辆轨迹分析
: V" R. z# C; i6 ?% K - 第6章 Flink内核源码
# r+ r3 O$ W; A) { - 6.1 流图
5 |+ z' S$ c5 {3 [ - 6.1.1 StreamGraph核心对象
/ A: c2 ~' e2 V# T8 N - 6.1.2 StreamGraph生成过程
9 t7 N9 M7 K+ w4 L9 X! k - 6.2 作业图& I8 z+ V5 k5 a1 f/ X! R4 C' R0 `
- 6.2.1 JobGraph的核心对象
+ i' V. z, y+ j" t& S% a& _. N - 6.2.2 JobGraph的生成过程6 ^. R4 }" v0 h1 V$ K. L
- 6.3 执行图
4 |7 Z( h: N" j1 `) ~1 l9 F% v; | - 6.3.1 ExecutionGraph的核心对象' @4 w8 w+ r8 G7 Z
- 6.3.2 ExecutionGraph的生成过程5 E( H: w% o( P. e7 G* e
- 第7章 Gelly图计算. |1 s$ a) [; M6 t
- 7.1 什么是Gelly
2 p. s, v& }8 q7 m - 7.2 第一个Gelly程序# E3 N1 e8 l; Z- D0 z; e w5 C
- 7.3 Gelly数据结构: k% v2 u3 r* u# R% I* p
- 7.4 如何使用Gelly
- l& U0 w. a4 F- P( N' N# m4 ] - 7.5 图操作
2 ?0 r% B+ p* ^. |: W* L - 7.5.1 基本操作$ [8 z5 Q6 N% v
- 7.5.2 属性操作% N2 i* c4 h8 f* R8 m" Q; L7 F
- 7.5.3 结构操作
. K; _, {7 F; F3 R0 o/ z6 D - 7.5.4 连接操作+ N8 }' m9 l7 m" R' c3 L; {
- 7.6 图常用API9 x: x* M" ^- S3 S S
- 7.6.1 创建图; Q8 D6 a U+ ]; V4 @: N5 x5 b
- 7.6.2 图的转换* l- U8 o& _0 P' S* M2 j
- 7.6.3 图的添加与移除% t8 w* z1 H1 N0 N, I
- 7.6.4 图的邻域方法7.7 案例分析：Gelly计算社交网络中粉丝的平均年龄
; E6 n! v! t& W* @2 r
7 e1 v3 I, ^% q v2 Z
; ^/ h B4 E$ ^( Z: q1 ]& E; q/ q- {7 d/ w4 t: |
9 b t& X6 e1 l8 n2 j9 e! T: w; f v) C& t Y4 ]3 b/ q
! }+ K) |: J/ `- ?' R侵权联系与免责声明1、本站资源所有言论和图片纯属用户个人意见，与本论坛立场无关8 g+ ]% O, ?5 F* b, F
2、本站所有资源收集于互联网，由用户分享，该帖子作者与瑞客论坛不享有任何版权，如有侵权请联系本站删除
7 F: ]) g1 P& G q4 y/ t0 S3、本站部分内容转载自其它网站，但并不代表本站赞同其观点和对其真实性负责
0 R9 f2 I' ]# r; T0 j1 x4、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意
; @* ^! {/ M5 f4 |! P u0 W如有侵权联系邮箱：ruikelink@gmai.com, n# b) ~+ U, ?3 O
资源下载地址和密码（百度云盘）： [/hide] 百度网盘信息回帖可见% k8 Y9 ?! |% ?3 l* y9 v) H' \
, W2 X4 K7 ~# j
R8 K1 M. K- R' R8 }
: P% h, m! a; u f! L* e- K# W5 G本资源由Java自学网收集整理【www.javazx.com】 |
|
发表于 2024-8-7 12:29:53
