|
|
简介" Q% Q P# e+ Y
书名：Flink大数据分析实战[size=10.2047pt]作者：张伟洋: W. b% p& z: b& t
[size=10.2047pt]出版社：清华大学出版社
4 I: N- U }+ ^3 N4 _[size=10.2047pt]出版日期：2022-02-012 Z8 u7 v2 A$ m: r* v, v
ISBN：9787302598183
! Q/ d n- K7 o `2 j7 K# y% A3 u( C& x& G4 S+ }0 o0 |6 N
目录" A4 f' ~( ~/ W' Q, }' D+ o
) n1 Q4 N' F4 b7 ^1 L$ s! N
- 封面# g& d* Q5 {) h! ]! f( X
- 版权信息! R! G! S$ Q0 x7 g8 M1 Q. V
- 作者简介
; c D7 A5 f' \, \ - 内容简介1 y3 T9 o3 y9 O, \5 ?
- 前言3 d% s. b* n6 ~
- 第1章 初识Flink3 \( j- g8 m9 `+ V& H# Y
- 1.1 大数据开发总体架构$ E1 \3 k) `* t% n* b4 T
- 1.2 什么是Flink
4 Z5 N" x6 g. x - 1.3 Flink的应用场景1 Q# j9 m; @5 X0 }) d
- 1.4 流计算框架对比- y3 W3 L/ J4 ^" J
- 1.5 Flink的主要组件! V2 o! t0 v" D: T: D+ L q4 J
- 1.6 Flink编程模型
8 W1 `- x/ Y0 `% w - 1.6.1 数据集% H5 v H- P! Y* I$ c
- 1.6.2 编程接口7 u* L1 D# p6 J& a. G5 P1 h8 s* |- w. |
- 1.6.3 程序结构* Q2 r D) L$ L; G+ a
- 1.7 快速体验Flink程序( `$ c [; V2 @$ h
- 1.7.1 IntelliJ IDEA安装Scala插件0 F3 n3 D0 J9 k9 i* l. M
- 1.7.2 IntelliJ IDEA创建Flink项目9 |9 N6 P/ _' I
- 1.7.3 示例：批处理单词计数# E, K: G, O; {/ e) x, Y
- 1.7.4 示例：流处理单词计数; o. F( u: \+ h
- 第2章 Flink运行架构及原理
( s# _+ z) R9 F4 M - 2.1 Flink运行时架构
1 G C9 R& C! ~' p - 2.1.1 YARN集群架构
4 O% s- P" @) y# L7 V* z2 Q& C - 2.1.2 Flink Standalone架构
8 ^" K+ ]! j! @ - 2.1.3 Flink On YARN的架构) A) H2 a9 P) t( |2 W
- 2.2 Flink任务调度原理4 r% J7 O6 x# L* m+ B# g
- 2.2.1 任务链, A- Z: v) }& w0 B
- 2.2.2 并行度
' y! s3 T& ~1 z$ b) g% a" U0 m+ m - 2.2.3 共享Task Slot
0 a5 g: |9 ]% e \ - 2.2.4 数据流. ^1 n4 R3 v) z2 ? e
- 2.2.5 执行图& O" Q( Q5 n" R" e* k" O
- 2.2.6 执行计划
* m+ ~2 D2 J1 Q) m# p7 {$ T8 Z X - 2.3 Flink数据分区
9 y) w1 k, k7 S- {0 Z - 2.3.1 分区数量
! f/ U& S1 R8 S - 2.3.2 分区策略9 u: T( E2 n' k* ^- I
- 第3章 Flink安装及部署
$ ^- i* ^8 B2 k9 K - 3.1 Flink集群搭建; k! s5 O. ]4 j- s0 f4 K& u
- 3.1.1 Flink本地模式搭建
& y J+ T% y! I* T) U - 3.1.2 Flink Standalone搭建
& m% O4 A) w3 e8 | - 3.1.3 Flink On YARN搭建% {8 j/ P" R* ]. i9 s' V* m
- 3.2 Flink HA模式
4 Y3 h- M) M2 E* { - 3.2.1 Flink Standalone模式的HA架构/ U2 O% M5 v/ G5 k$ ~5 Q0 J* p
- 3.2.2 Flink Standalone模式HA集群搭建
' A; m, i8 o% V) u6 h; O - 3.2.3 Flink On YARN模式HA集群搭建/ k/ @1 i, M' H4 T P; V d
- 3.3 Flink命令行界面$ @. E- u% L: ]( m, k
- 3.4 Flink应用提交
. x; m/ t' Y+ ?7 f+ S - 3.5 Flink Shell的使用
# P# u2 w' U. u2 J" k# t8 t4 t& j - 第4章 Flink DataStream API- k& d# l: w# b2 X" u
- 4.1 基本概念
8 c; r! f2 k2 N2 A4 V - 4.2 执行模式
' l) ~: S/ P* ]. v0 p - 4.3 作业流程3 i" A, ^) R) V* _/ X
- 4.4 程序结构% _3 w$ C# k" i/ I% ~: [8 p$ V
- 4.5 Source数据源: A$ T. B# _* \& X" f$ i
- 4.5.1 基本数据源3 u: D& U& M# H8 c* |
- 4.5.2 高级数据源7 O: K) \! J/ ?# W0 k
- 4.5.3 自定义数据源
4 M3 X* y R/ |6 G X. X - 4.6 Transformation数据转换( p1 q/ h0 m* C. H$ c
- 4.7 Sink数据输出
* R" g/ E% x/ Q - 4.8 数据类型与序列化1 c1 w4 n, f. f) j' X7 j: y; I
- 4.9 分区策略" Q8 [$ {. L; s
- 4.9.1 内置分区策略
4 J+ h, s9 w' B" e - 4.9.2 自定义分区策略
* h- b( k) B# E! |( e( u4 P - 4.10 窗口计算7 x# M. c- Y( \: Z0 X' `2 B( g& a
- 4.10.1 事件时间
7 ^1 i P$ R4 {9 O" {, W# K - 4.10.2 窗口分类
' F! z4 ~# B' W4 C- F' j# r - 4.10.3 窗口函数7 U& ]. y4 X( c0 l. ^. W* N
- 4.10.4 触发器" r' z1 B# t+ v' R7 y5 u
- 4.10.5 清除器3 |# O' Z9 I) U( l& `, s2 `; X
- 4.11 水印+ B& y+ ]8 U) @7 {' `" @) x% O) A
- 4.11.1 计算规则; V8 |( W4 L' y" i$ [
- 4.11.2 允许延迟与侧道输出1 `3 x8 \- m4 o* l
- 4.11.3 生成策略
+ i9 t3 n$ r7 H6 q: k - 4.12 状态管理" P. R9 M$ A" a: H
- 4.12.1 Keyed State
1 ~6 k6 T O' b' {; S - 4.12.2 Operator State
, k. Z, [5 ?/ t: t) G - 4.13 容错机制
# Q0 _& H3 M6 m( C1 l" Y( [ - 4.13.1 Checkpoint3 X Q9 j6 P! X* B9 I
- 4.13.2 Barrier
: x' e; Y, Z. l! h+ u% v - 4.13.3 重启与故障恢复策略
$ [6 G# H2 @+ I$ Q7 b - 4.13.4 Savepoint
3 I% |- k- r/ ]; k" b - 4.14 案例分析：计算5秒内输入的单词数量
$ z) {2 Q- o5 w! m8 J0 k - 4.15 案例分析：统计5分钟内每个用户产生的日志数量& E) F* h1 S0 Q$ m
- 4.16 案例分析：统计24小时内每个用户的订单平均消费额
$ k* H1 O, p) ]" K4 ]1 g - 4.17 案例分析：计算5秒内每个信号灯通过的汽车数量 q& Q$ C4 I& x; \6 ]8 a
- 4.18 案例分析：Flink整合Kafka计算实时单词数量* F2 T" e+ F" q
- 4.19 案例分析：天猫双十一实时交易额统计
3 e; y6 a! \0 _$ _: R; l - 4.19.1 创建自定义数据源
8 E' D( N0 `" p# B; ^3 f( L, I7 d. x - 4.19.2 计算各个分类的订单总额4 {( l3 ~! s& L; t# o# j! v& U
- 4.19.3 计算全网销售总额与分类Top31 X& L9 ?' A1 y. \
- 第5章 Flink Table API&SQL
$ k0 i# t0 t; j8 f - 5.1 基本概念
0 w0 ]1 ~% }& R+ T% _7 C; n - 5.1.1 计划器2 [7 ^/ r2 \: m) c& l, ?
- 5.1.2 API架构
3 |6 w+ n7 m6 C6 R/ o! @2 f - 5.1.3 程序结构+ I, C! b z/ M) @1 s) u
- 5.2 动态表
( g7 W4 ?# D6 D5 J. i - 5.2.1 流映射为动态表
, \! @9 P F3 } S - 5.2.2 连续查询. D+ Z- n# V. [4 P
- 5.2.3 动态表转换为流8 S6 t7 i* y. D+ l2 J- y$ k
- 5.3 TableEnvironment API
4 F9 y' R* D2 Z) Y! h1 q3 L4 l - 5.3.1 基本概念
/ M5 s6 w+ Z; c$ f7 l - 5.3.2 创建TableEnvironment. _2 n' g0 D. u
- 5.3.3 示例：简单订单统计
7 ]5 C# b3 }: w& P2 `5 A - 5.4 Table API
) _: ^0 e' U! D# B, u: j - 5.4.1 基本概念3 L* e9 b( w: ^3 `; C+ w i) A
- 5.4.2 示例：订单分组计数
. d+ \) q1 i5 }$ i' ~4 L: i1 H - 5.4.3 示例：每小时订单分组求平均值2 F+ a! y3 C- x% D
- 5.4.4 关系操作
3 \3 W1 U1 M6 [1 N7 L - 5.5 SQL API9 E# {* B$ X! O O
- 5.5.1 DDL操作
+ @+ }' j7 k& r) C2 P, _ - 5.5.2 DML操作& I8 `* v* D1 o6 O. N
- 5.5.3 DQL操作& [' ^/ m) n4 }3 c( x* z
- 5.5.4 窗口函数( S, v+ L& ~1 u0 A; f$ k
- 5.5.5 窗口聚合; ~; u8 Q7 h# a
- 5.5.6 分组聚合
# g: M( e7 B0 V, W, f/ f- u r, | - 5.5.7 OVER聚合4 [7 r, t6 W3 g- I7 R, V/ w
- 5.5.8 连接查询* @: F5 K. W9 }/ t6 F, k
- 5.6 TopN查询
! U# e- z4 y" _ - 5.6.1 OVER子句* M) w: |3 I2 m; L% D) w- K
- 5.6.2 示例：计算产品类别销售额TopN5 [* m `3 R! a' l/ F! y
- 5.6.3 示例：搜索词热度统计
& I2 g2 R( s& x ?8 U - 5.6.4 窗口TopN( q- Y0 c X& {
- 5.7 Catalog元数据管理. K/ D4 r- k# ?# l
- 5.8 Flink SQL整合Kafka
/ ]7 [4 k$ s9 m5 Q - 5.8.1 基本概念
5 T; d3 f. ^# O - 5.8.2 示例：Flink SQL整合Kafka实现实时ETL! V$ S9 D: v* Q2 @$ g
- 5.9 Flink SQL CLI
0 c9 [2 y+ y) _+ B4 d0 G: W - 5.9.1 启动SQL CLI
+ E) K( a9 l7 r3 N8 V) N/ ~) {1 t O - 5.9.2 执行SQL查询
& S1 y$ T7 Y9 j8 ~) o/ s6 k - 5.9.3 可视化结果模式
3 K# N- i- q+ a5 w( P - 5.10 Flink SQL整合Hive
% W; q6 \9 Z( ~# `% q8 L - 5.10.1 整合步骤
" h5 c- P# F7 V! ^# I" R* i& C; S' d - 5.10.2 Table API操作Hive# A% D% p0 K+ I( A' N
- 5.10.3 示例：Flink SQL整合Hive分析搜狗用户搜索日志. b! D: Z, P& W% t3 O
- 5.11 案例分析：Flink SQL实时单词计数
7 [* m: s! i& O/ W/ p+ p# d0 ~ - 5.12 案例分析：Flink SQL实时计算5秒内用户订单总金额" A8 x: Q8 Y% [- o1 B# X* _' ]$ k) G
- 5.13 案例分析：微博用户行为分析+ j2 \) h5 b( o; L: O
- 5.13.1 离线与实时计算业务架构
; w+ s P: C0 `: w" j - 5.13.2 Flume数据采集架构0 q! ?) K- Y5 s! L5 v) d8 _0 t: Y
- 5.13.3 Kafka消息队列架构
! o( ^5 ?$ p I, Q( A# |) L% H - 5.14 案例分析：Flink SQL智慧交通数据分析% Q8 S$ e' o, c0 D0 O9 O3 A" _" a
- 5.14.1 项目介绍9 D7 Z& ~* F% q+ d
- 5.14.2 数据准备
* a1 X9 {2 r7 M! U/ h6 I; j - 5.14.3 统计正常卡口数量
: ]. j6 B' g2 ^, P$ J# r k - 5.14.4 统计车流量排名前3的卡口号
8 J) i A8 r% j D - 5.14.5 统计每个卡口通过速度最快的前3辆车7 R2 S% E2 m$ C8 D o
- 5.14.6 车辆轨迹分析
; W1 R' c- O* x# Q2 @* L - 第6章 Flink内核源码
" ~, H; n8 }5 N6 ~% A - 6.1 流图
' J$ k/ R( a; }0 T5 ^ i* Y+ H* N- e - 6.1.1 StreamGraph核心对象
4 N( e( U# g2 _: W4 c - 6.1.2 StreamGraph生成过程5 n0 S1 ?! U9 _9 l" b
- 6.2 作业图
e% g \# i' V# j: Q - 6.2.1 JobGraph的核心对象+ N5 a- V+ w$ {" \5 o* _4 c& ]0 M
- 6.2.2 JobGraph的生成过程& C. S3 ]0 m, C: G1 R; `
- 6.3 执行图. n Q( k& B8 j
- 6.3.1 ExecutionGraph的核心对象
. q4 Z' F5 I+ n, y - 6.3.2 ExecutionGraph的生成过程
! \+ a* t" G2 Z7 P - 第7章 Gelly图计算
/ G' g( j \2 ]$ \ - 7.1 什么是Gelly, Y$ c& T8 U. I/ L( V2 G
- 7.2 第一个Gelly程序1 j& |6 G( R. |4 F5 \ Z9 X1 \3 Y( N
- 7.3 Gelly数据结构9 b4 l* n( S+ Q& g5 f5 B
- 7.4 如何使用Gelly8 ^( _1 v$ H4 ]
- 7.5 图操作* h4 I! U$ r, e0 e5 V0 f. y1 j8 n8 C
- 7.5.1 基本操作
; G+ o- A" r7 X& }% L0 o0 H) u8 l1 M8 H - 7.5.2 属性操作7 o$ J j k4 l0 ]- @
- 7.5.3 结构操作! N& x- \$ y! d4 t9 \+ f
- 7.5.4 连接操作
: D1 ]: D$ q: h3 k9 P" J# i/ y" E - 7.6 图常用API1 @. J# J( S# v, {9 u" D/ g \# A& n( r
- 7.6.1 创建图' f; X3 H8 H, U q# r( Z
- 7.6.2 图的转换! b; t' ^( T, l* f% n7 X/ y4 a
- 7.6.3 图的添加与移除
/ k0 O7 E. K; m7 d( I - 7.6.4 图的邻域方法7.7 案例分析：Gelly计算社交网络中粉丝的平均年龄
% C* k' N% Q* Z. g5 p! f
. Y. e; p' \) X- R& {( T) r- q
4 l- @3 N/ X& U1 a$ |
7 V* b3 @3 o5 Z1 c# V1 t3 X* p
0 v$ D/ [ ?& b" g# v# Q/ o+ R# [* {$ Z6 k2 P! S- {
1 @- K; K1 J, r2 R
侵权联系与免责声明1、本站资源所有言论和图片纯属用户个人意见，与本论坛立场无关 @. I8 n# t. ~3 O% `
2、本站所有资源收集于互联网，由用户分享，该帖子作者与瑞客论坛不享有任何版权，如有侵权请联系本站删除" T: P. p7 B. i: h/ O8 J
3、本站部分内容转载自其它网站，但并不代表本站赞同其观点和对其真实性负责% d: k& d6 N7 H. R. Z+ k
4、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意
" `9 _ G6 ~8 K \$ a7 q0 ]0 {! Y如有侵权联系邮箱：ruikelink@gmai.com! r9 W; t& U7 I
资源下载地址和密码（百度云盘）： [/hide] 百度网盘信息回帖可见) M; B& q& k9 t& D7 Q% g8 N5 @+ V
: z; I0 L( o3 r% Z# R# |/ Z- m( C2 }/ K3 @1 j
! ~# s3 q- x& N- b本资源由Java自学网收集整理【www.javazx.com】 |
|
发表于 2024-8-7 12:29:53
