|
|
简介
! s- \* @2 W; Z$ [7 E9 _书名：Flink大数据分析实战[size=10.2047pt]作者：张伟洋
& Z* i' w3 I, U- Z[size=10.2047pt]出版社：清华大学出版社
% c7 b" Y$ y' N2 V) ][size=10.2047pt]出版日期：2022-02-01
1 O1 e+ v7 l- b! WISBN：9787302598183
2 a, u0 v- u, @# e
+ N6 l) g+ h% V* v$ u/ g目录1 Z! m' C2 o' p
$ R* w E; W8 X! P5 Z' w* h- 封面
1 a' D" V9 V+ ]5 ~8 a! u- } - 版权信息
6 k' o8 \8 h; y% _ - 作者简介) ~$ K4 p# D8 R/ W/ u- h5 i$ W$ M( c
- 内容简介
% ^! L+ T) j* [ - 前言; j0 y" z5 d: `' q% e% Y. u
- 第1章 初识Flink
& H0 M2 m6 |# @7 r" R - 1.1 大数据开发总体架构5 O# V3 ]$ t! h
- 1.2 什么是Flink0 I+ ]: e5 C$ X2 q% T' P
- 1.3 Flink的应用场景( @5 l9 Z, x7 s! {3 q$ I
- 1.4 流计算框架对比; M" c, d' |5 s# ^: }- D- b
- 1.5 Flink的主要组件8 i! e. O! _( k2 o, k6 C4 ^. S
- 1.6 Flink编程模型
! a9 H. g5 q5 Y% Q - 1.6.1 数据集
8 T: n4 c$ R% e0 e8 Q& z N/ X - 1.6.2 编程接口
1 t. K B8 X5 T! i6 ^ - 1.6.3 程序结构! b; v; B1 ^; c5 I% n
- 1.7 快速体验Flink程序
$ z0 y' K n3 y5 A' D5 d - 1.7.1 IntelliJ IDEA安装Scala插件3 i1 J& @: ^: R$ m9 ]1 U
- 1.7.2 IntelliJ IDEA创建Flink项目+ T6 l; u6 V/ M
- 1.7.3 示例：批处理单词计数
% B7 ?6 s# V: [7 d4 @( | - 1.7.4 示例：流处理单词计数7 }& g( W; c. {- E. j3 z1 ~, Z9 g
- 第2章 Flink运行架构及原理% e* m$ A% Y/ q3 j, j9 m
- 2.1 Flink运行时架构
, h; B0 ~. ]: a |! R; Q w# d, @ - 2.1.1 YARN集群架构
, }: m m9 y6 r3 L - 2.1.2 Flink Standalone架构& d0 g: j$ o9 R3 Q+ U
- 2.1.3 Flink On YARN的架构8 n9 Y6 I0 Z6 k% K# F. p" h3 ?
- 2.2 Flink任务调度原理
0 w- X5 W( T) x/ z5 b& \ - 2.2.1 任务链
+ O9 j3 a( p# h4 z - 2.2.2 并行度
! i3 z4 W$ r+ X& V9 t. s, M - 2.2.3 共享Task Slot
5 m- n, e: K, ]8 q* K" P9 F - 2.2.4 数据流) @8 C8 o+ ?6 Z& j% j
- 2.2.5 执行图% O% F$ r) @/ t1 |
- 2.2.6 执行计划
- E2 |7 b1 U2 f! p4 ^' `" @ - 2.3 Flink数据分区
: p" b3 G8 o! G) b - 2.3.1 分区数量' i \( D. C% ]' A
- 2.3.2 分区策略
: z; |1 O; H6 F/ o0 X8 R - 第3章 Flink安装及部署
* G0 J, |3 e6 [5 u: Z - 3.1 Flink集群搭建
6 j B6 R m) Y$ j5 h - 3.1.1 Flink本地模式搭建9 k- \" X) I" a0 a/ D
- 3.1.2 Flink Standalone搭建
+ x* ]: @. @8 B0 N - 3.1.3 Flink On YARN搭建
9 C4 }% e7 k/ `4 s - 3.2 Flink HA模式. X5 l, L; y3 [
- 3.2.1 Flink Standalone模式的HA架构
' H, _* M7 I" C# e3 c - 3.2.2 Flink Standalone模式HA集群搭建 W1 Z3 {1 h7 R" _
- 3.2.3 Flink On YARN模式HA集群搭建
6 w5 g& F, X0 Q1 U# q3 ~. i - 3.3 Flink命令行界面
. K6 p/ r' K# E, U' u z - 3.4 Flink应用提交" Q7 b9 ~2 o5 `5 A
- 3.5 Flink Shell的使用1 g" k( g% a: n$ j9 p
- 第4章 Flink DataStream API
! n, f% V7 \ R/ H! G3 A6 o - 4.1 基本概念
0 O, ]1 |# G. K w, [/ S1 `4 F8 ]( z - 4.2 执行模式( N3 a) e$ v6 B8 z2 V) U
- 4.3 作业流程. C- ~3 I+ g* c* s
- 4.4 程序结构) t0 I0 L& r1 @+ @
- 4.5 Source数据源* T; e: F, ]- c9 j' [
- 4.5.1 基本数据源) ^/ } K7 I' K
- 4.5.2 高级数据源
0 X! [; @$ t0 z% Z4 M) j) Y8 h2 b) K: x - 4.5.3 自定义数据源
/ e, k* h* L0 s; S X! t& E - 4.6 Transformation数据转换
0 R+ j" B2 d& f1 ` - 4.7 Sink数据输出% _. W/ i, K& v9 g- G
- 4.8 数据类型与序列化 ^: Q! A3 z) l
- 4.9 分区策略
, ?3 J- W1 g$ |* f9 r* v - 4.9.1 内置分区策略
" r! V( H" F ^- Y/ K8 }/ d* H - 4.9.2 自定义分区策略
1 T: H- x! E: |' ^: L1 v. s8 p: Y - 4.10 窗口计算
4 V8 c4 K; R$ s3 A3 n) z& K: q1 K* ]+ @ - 4.10.1 事件时间
& l7 w& K+ O8 L9 R( `( | - 4.10.2 窗口分类7 M7 ?3 J6 x6 B! A
- 4.10.3 窗口函数
4 S+ t" Z2 L. c" C7 n# ^6 Z- e) w6 | - 4.10.4 触发器% ?( m! }; }! F, y# p9 Z x
- 4.10.5 清除器
. e' n6 h# T; e8 f& w8 Y - 4.11 水印8 P& f4 s9 Z+ Z# D! s
- 4.11.1 计算规则
' _% S/ ^6 H* |/ f) U9 n - 4.11.2 允许延迟与侧道输出
. V2 f" ?. t' I. P* I" y - 4.11.3 生成策略7 _( a0 e* u2 i* E: F( U
- 4.12 状态管理& t4 d4 r6 v& |" Z4 ~
- 4.12.1 Keyed State: a- I" o: I/ x, Y9 _
- 4.12.2 Operator State4 d, d: H- W& E! i5 u' ]
- 4.13 容错机制* w/ ]5 O6 ~- N5 G+ K
- 4.13.1 Checkpoint, a, j. e4 g0 I
- 4.13.2 Barrier( Q0 |( e# D! ]0 q S: @4 F* k
- 4.13.3 重启与故障恢复策略- H4 g! k& E+ g
- 4.13.4 Savepoint- A0 d; M, e4 g; b9 ^- a4 o
- 4.14 案例分析：计算5秒内输入的单词数量( }& W# N. G5 r# ]: X: z
- 4.15 案例分析：统计5分钟内每个用户产生的日志数量
1 A& J1 \$ l4 R$ G: g1 g - 4.16 案例分析：统计24小时内每个用户的订单平均消费额% c/ B* K. m6 b" ^
- 4.17 案例分析：计算5秒内每个信号灯通过的汽车数量5 A0 A. u; h/ Y/ N ?& Y
- 4.18 案例分析：Flink整合Kafka计算实时单词数量
, I1 u- o9 A5 P+ f0 P; l - 4.19 案例分析：天猫双十一实时交易额统计
3 c" E# u4 P7 \5 R4 P - 4.19.1 创建自定义数据源# |8 r2 o q( R- ^4 d" |) ]1 @
- 4.19.2 计算各个分类的订单总额
0 |5 y7 @# r1 [ - 4.19.3 计算全网销售总额与分类Top3
2 H: m. J2 s; j' P* S6 o+ x4 S% Y - 第5章 Flink Table API&SQL
4 R2 a: g+ E+ L) C. f - 5.1 基本概念
3 H |( E. b- q/ X; x' y - 5.1.1 计划器" b' E) B2 j8 d
- 5.1.2 API架构# B4 `6 }, i( `: ?
- 5.1.3 程序结构4 J0 j' V; F9 c* ^( E& d
- 5.2 动态表
/ J9 z7 o( n+ W. a( ? u( ? - 5.2.1 流映射为动态表
/ ?; s: ]( N6 W5 j" R/ K - 5.2.2 连续查询
4 O" b9 ~) g" {. v; } - 5.2.3 动态表转换为流& Y+ b: e3 U) z$ ]$ E S
- 5.3 TableEnvironment API/ ~0 K& F# r+ H6 W
- 5.3.1 基本概念
' m0 M& P+ {. [3 X5 y2 i( j - 5.3.2 创建TableEnvironment3 A) C) q; m2 x
- 5.3.3 示例：简单订单统计
: t5 Y. T n2 i# G2 M - 5.4 Table API) Y# J. l! x2 H% t4 m
- 5.4.1 基本概念# a9 e3 D# ~$ c5 ` j! r
- 5.4.2 示例：订单分组计数
+ E3 N' v; h( l+ P8 t( I - 5.4.3 示例：每小时订单分组求平均值
6 I9 C; P8 ^( x8 J, Q0 r; E" T - 5.4.4 关系操作( s8 Z) m. `4 z M) y5 j
- 5.5 SQL API
3 N# h1 x8 a# n0 V( x. N' T6 C; I - 5.5.1 DDL操作5 M3 i, U; s0 V: I5 @; Z" P- G
- 5.5.2 DML操作
& T1 `; M# g( G9 ]& h0 S - 5.5.3 DQL操作' v! ?0 u8 G* h$ Z
- 5.5.4 窗口函数: _% `, s7 `2 f, X% ?4 q
- 5.5.5 窗口聚合
5 h5 m7 H* K% [/ s$ Z- P9 F5 \: ~ - 5.5.6 分组聚合+ L, z( f! O9 N
- 5.5.7 OVER聚合! V5 K( F u" G$ v6 ~, ?% h- V
- 5.5.8 连接查询3 ?6 h) r8 A2 U& h8 X
- 5.6 TopN查询* ~7 T B; N. H; M# `
- 5.6.1 OVER子句5 s3 A& p" ? |/ w5 c" b0 `% ^* Y" W; _
- 5.6.2 示例：计算产品类别销售额TopN, J3 o/ I$ y7 C T3 g) U) O" ?! v% |6 i
- 5.6.3 示例：搜索词热度统计! }$ X0 h2 g7 l' P
- 5.6.4 窗口TopN; Y' `9 k7 r' N, C0 Y9 t0 o% ?0 J
- 5.7 Catalog元数据管理0 H- A3 j, o8 l J
- 5.8 Flink SQL整合Kafka7 Z1 j, _1 {. m
- 5.8.1 基本概念
5 Q3 ?6 A; Q5 l* Q - 5.8.2 示例：Flink SQL整合Kafka实现实时ETL, O* ?: d/ b' P5 o8 M+ J
- 5.9 Flink SQL CLI
- p7 o( E d3 \ U6 _( c6 \ S$ y, h, M - 5.9.1 启动SQL CLI0 V/ |" C: n8 Z( |, Y0 F
- 5.9.2 执行SQL查询7 ~% o6 V" E m6 N3 X+ r
- 5.9.3 可视化结果模式- Q2 e6 H" o, a, r% u* t3 V
- 5.10 Flink SQL整合Hive" G- z; H& F& o# _) Y/ j. Q2 r
- 5.10.1 整合步骤/ v2 D/ a- r4 [
- 5.10.2 Table API操作Hive
4 i% u, S8 e; ]+ z/ s+ Q+ r% j - 5.10.3 示例：Flink SQL整合Hive分析搜狗用户搜索日志
+ `& E3 ^7 O9 S3 Y - 5.11 案例分析：Flink SQL实时单词计数7 x" O( E7 S& h
- 5.12 案例分析：Flink SQL实时计算5秒内用户订单总金额# Z' A* t+ j, h0 F* Q* S
- 5.13 案例分析：微博用户行为分析
9 E7 i% P7 f* |' P8 n& Q - 5.13.1 离线与实时计算业务架构
0 S, d1 B8 N$ ^4 g- c+ Z - 5.13.2 Flume数据采集架构
! k4 q7 q' Z1 K* I8 f - 5.13.3 Kafka消息队列架构
9 o. ?" h( _$ O. k' e2 z - 5.14 案例分析：Flink SQL智慧交通数据分析- ` q: h% X. `" D t+ m @
- 5.14.1 项目介绍
0 n8 x O% X! z# x+ u. _9 I - 5.14.2 数据准备1 \" ] ^/ P& ~, k1 _
- 5.14.3 统计正常卡口数量
3 A7 m# Z: d" w3 ~ - 5.14.4 统计车流量排名前3的卡口号
6 y8 y, f" a/ w7 e - 5.14.5 统计每个卡口通过速度最快的前3辆车
" J; {4 Y0 P6 q2 l. a+ A) z - 5.14.6 车辆轨迹分析
4 `- ?' V8 a: W- [ - 第6章 Flink内核源码3 o0 a2 H5 K' k2 \; F7 j
- 6.1 流图
0 n1 v; A1 p- \& U- X/ u - 6.1.1 StreamGraph核心对象3 k* `. j u' `- w: X O0 a
- 6.1.2 StreamGraph生成过程
9 \! L& _2 t {9 \+ o - 6.2 作业图
% A7 ^& I7 l" N1 `& ^) ]! h% }' a) y - 6.2.1 JobGraph的核心对象) E _6 l: P. r! r
- 6.2.2 JobGraph的生成过程& w) }5 n4 `* c
- 6.3 执行图 O% I) Z3 @3 M. a* g- e/ A; z
- 6.3.1 ExecutionGraph的核心对象
: X, G* X/ S2 ~3 t: j4 b5 b - 6.3.2 ExecutionGraph的生成过程
" T. ?: y# O& E! R9 W - 第7章 Gelly图计算
3 g! R1 ~( l! H6 w - 7.1 什么是Gelly
! p3 D0 d+ }& T1 d% G4 f8 y6 f+ v, Y - 7.2 第一个Gelly程序
+ i; m: j" I8 j% h: F - 7.3 Gelly数据结构
3 l3 `+ f4 O& P0 ` - 7.4 如何使用Gelly
, Y$ F$ b+ O$ B6 }# K - 7.5 图操作
4 ~- C( K7 c* C0 b - 7.5.1 基本操作
- D0 L B! b7 } - 7.5.2 属性操作
/ _4 O8 W' d. X- u- ~* m. [ - 7.5.3 结构操作& M8 x. f a6 a; B
- 7.5.4 连接操作, d! X2 I6 Q8 l; g8 N8 G
- 7.6 图常用API+ m5 |2 e% ]+ c. h5 W( k
- 7.6.1 创建图2 v0 O2 }* j S2 T& L
- 7.6.2 图的转换2 E( ^' e( x1 g2 g1 f9 x8 u U1 @
- 7.6.3 图的添加与移除; @" _, F6 e+ f* j
- 7.6.4 图的邻域方法7.7 案例分析：Gelly计算社交网络中粉丝的平均年龄
# T) j) w/ p3 X3 K5 k1 R. J
4 I- @$ S3 [- Q$ q; ?) {) e$ Z) v9 s* f$ I2 h2 i
! G9 P- u; r) o' ]# y* x% B% b4 W3 `" P/ v: t& s3 z
. [9 x3 \: w% z4 C( Y3 w$ b% Q0 @/ q" R) [, F$ B" \: g" T4 D
侵权联系与免责声明1、本站资源所有言论和图片纯属用户个人意见，与本论坛立场无关1 R6 p+ ]- o3 l9 T! v0 I
2、本站所有资源收集于互联网，由用户分享，该帖子作者与瑞客论坛不享有任何版权，如有侵权请联系本站删除
% d( P2 Y5 L0 t# \! L* K3 D% z; G3、本站部分内容转载自其它网站，但并不代表本站赞同其观点和对其真实性负责
( D% Q, o1 D6 L) e4、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意$ c9 B- w7 [* |3 K6 e9 V# J; M% z, w0 }
如有侵权联系邮箱：ruikelink@gmai.com
% h( \% L$ W9 V资源下载地址和密码（百度云盘）： [/hide] 百度网盘信息回帖可见5 i/ f" g0 u# F+ D
4 {2 U+ z3 S) b9 l1 k
7 O7 [: r& ^! ]/ U+ w/ Y6 P" m) K3 k* P f7 I+ I% b q
本资源由Java自学网收集整理【www.javazx.com】 |
|
发表于 2024-8-7 12:29:53
