|
|
课程简介
9 c) }/ J1 _, w+ ^! R& e以某知名电商用户画像系统为基础二次开发，形成本项目。包含了几乎所有的常见标签类型的计算思路，也具有数个机器学习类型的标签，标签种类充足。采用 Spark 进行数据开发，使用 Spring 系统作为业务系统开发，包含了从部署到标签计算的全流程。+ ]+ K7 Z. _" V5 {3 w
讲解方式
: V/ k( `2 r- R& C( e7 H) x! H& n2 P知识点介绍、代码演示、逻辑分析、灵活举例、使用图形的方式详细演示代码的流程和细节、整合企业级实战案例，全面讲解并突出重点，让学习也变成一种快乐。
* g+ c: c, ?: R0 \' f2 s# l: w9 J$ a% v5 f# ~
课程亮点% d$ p6 g% O* R+ q4 `
1，知识体系完备，阶段学习者都能学有所获。- O# S$ t4 R4 M8 H' A2 }
2，综合各种方式演示代码、分析逻辑，生动形象，化繁为简，讲解通俗易懂。9 d: l) W! w" C8 E+ H P7 e* }- V: H( k8 D
3，结合工作实践及分析应用，培养解决实际问题的能力。
- W* H: C/ W: Y4，使用综合案例来加强重点知识，用切实的应用场景提升编程能力，充分巩固各个知识点的应用。
# j: r' ?- L4 x1 N4 b5，整个课程的讲解思路是先提出问题，然后分析问题，并编程解决解题。
4 {. m% L( N5 R% x* ?
" S* u: z% ~: A! T适用人群
0 @" ]2 V/ w5 V/ f1 r& N1、对大数据感兴趣的在校生及应届毕业生。2 x8 V: }+ Q& k0 _5 p" S7 T
2、对目前职业有进一步提升要求，希望从事大数据行业高薪工作的在职人员。
. {" D0 H9 v+ e0 u/ n7 A3、对大数据行业感兴趣的相关人员。
' c# H7 p) d. u$ _ h9 t/ O+ g7 k, F: \5 @ W) B2 s; K- K) E
课程内容
/ @, A, y0 {) G ^: g f( W第一章：用户画像概念、项目概述及环境搭建
; ]9 a- y. {7 _) T l3 \1.用户画像产生背景与概念 $ ~9 S- G6 Z! P
2.用户画像应用场景
) C+ e- h, M* u- G8 r' G. f3.用户标识 9 F# N- ]! M# l$ R
4.项目功能模块与技术架构
2 d8 n/ N" X' m' d$ A- v" D5.项目标签梳理
# o2 {. E; {" q6.项目工程导入及演示
2 |1 P7 J0 p7 w0 ?' Y M7.项目标签系统
4 ]. X6 h# [- j3 m8 h8.项目大数据环境搭建
8 r( i ^) b H" T" b; v- X+ o* ~9.项目工程搭建及Git使用
y% l2 N( P* X' r5 R第二章：数据ETL加载及Oozie 应用调度
$ @) }2 _4 B+ c' u4 L# u* a1.业务数据调研; c; X9 S8 m% M2 V" Z7 E
2.数据导入几种方式
]7 |" D' [: b V8 @! O! U3. SQOOP导入数据至HBase表
8 P4 m# k s2 b1 |; ^* d, K, A% q4. HBase ImportTsv工具导入数据
! w, I: a6 ^- c. U. C5. 批量数据加载BulkLoad + Z1 o C9 `! i# X3 r' o% J
6. Oozie调度工作流组成及本质 0 ]6 Z" I5 L& s9 K" k0 k; y2 z
7. 配置部署Oozie调度Spark2 : \2 V W3 J) |6 H
8. Oozie调度Spark2应用运行 7 I5 G! w2 g5 g9 M- D' [; V" [
9. Hue集成Oozie调度Spark2应用 ! t6 N, `8 q$ O0 z g) R& F. q
10. Oozie Java Client API 使用/ G4 g$ V5 ~, h- q7 G( k
第三章：标签模型开发及自定义外部数据源
9 i g6 D1 V% ]: @( K1. 用户画像实现方式:HiveQL和Spark ; I ?* I. T( |
2. 用户画像功能模块:标签调度、标签管理及标签模型开发
, k h. h/ k( M4 ?3. 标签模型开发流程
0 P0 ]) C: `2 x$ v4. Spark与HBase数据库交互
# `+ F# S5 y0 l0 k7 e3 x8 K( g9 o# {5. 用户性别标签模型开发流程:标签数据->业务数据->打标签->合并存储
0 g# \0 y# [7 c, O" K/ l* C6. 模板设计模式TemplatePattern思想及重构标签模型基类AbstractModel
4 U, `7 _) [5 Z# v. J0 c7 _7. SparkSession实例对象构建工具类及配置信息加载
0 ]4 L3 p5 P) S8 y5 \* ^% f |3 [8. 其他规则匹配类型标签模型开发 # u P8 g5 o$ S' L# T5 }$ c
9. SparkSQL提供外部数据源实现接口分析
0 p* `. Q4 y- T6 B10. 实现外部数据源接口从HBase加载爆粗数据
, w2 M8 u8 G3 e5 D11. 加载HBases数据实现字段过滤条件WhereCondition
: }* v) K7 d* X. y/ W& ?. `- F+ L; ~12. 统计类型标签模型开发:年龄段、消费周期及支付方式
R1 s; j) Z( l5 c8 e13. 用户标签值存储方案:标签及标签权重；
& n8 a# x; _+ J第四章：基于Solr构建画像标签索引7 [' z0 E/ z) B/ b! a% a5 Q; M
1. 用户标签功能【微观画像和标签查询】
1 P- L; K% Z+ D! N1 P9 c! A( s$ Y2. 构建标签索引思路
* `" r, q8 ^ a, t) I2 e3. 全文检索Solr概述及索引机制 ( p7 J+ Y: \+ F* l9 r5 ^0 L
4. Solr核心组成及目录结构
2 K) Q6 O+ `* P2 Q5. Solr 安装部署及启动
2 k! e, w/ X' N5 w B0 I) e+ w6. Solr 核心配置文件schema.xml
6 H" U% V/ v% i5 ?, k7 f7. Solr 客户端SolrJ API使用
|! y; S: X) r) l0 D' {8. 构建Solr标签索引及配置分词器
5 z8 b N; ]1 ? ?4 L$ V9. HBase 协处理Coprocessor同步Solr索引数据
' I4 u' }& q$ o# K10. 批量插入数据至Solr : |1 E# |. \: M/ v H
第五章：商品推荐及业务数据多数据源
$ u$ @: R, U: O/ k0 n6 S* a7 F1. 业务数据多数据源概述及设计思想 8 R0 Q# q( H4 A
2. 重构加载业务数据
# H( l& P. C6 a/ \9 m/ W5 c$ K3. 加载MySQL、Hive及HDFS等数据源数据
/ {# I$ {3 G9 h- M6 H4. 推荐系统核心及协同过滤算法推荐思想
8 u) H# d+ h. G' h: R6 l7 n1 Y5. 依据行为数据获取用户对物品评分
2 A; u1 V8 ~# E3 l% \, n3 z6. 特征数据提取及构建ALS模型 3 p' _5 H! r4 J; n8 B% J
7. ALS模型推荐商品及保存
; ^. `: x5 O0 @8. 总述全方位用户画像功能、业务及实现
1 V: c7 j3 b3 c. O7 d: \: I) e3 F! t* I9 m# f: d8 R, l
资源下载地址和密码（百度云盘）： [/hide] 百度网盘信息回帖可见
. ?# ?" {1 x6 h" `9 \! d" A: P# Z8 L8 M, ?' _: n
1 ~: C; o( R2 K" p: d
& p! K% z2 t# e, V6 `& w4 F本资源由Java自学网收集整理【www.javazx.com】 |
|
发表于 2022-6-12 18:39:01
