|
|
课程简介
; x6 p: w( n2 o以某知名电商用户画像系统为基础二次开发，形成本项目。包含了几乎所有的常见标签类型的计算思路，也具有数个机器学习类型的标签，标签种类充足。采用 Spark 进行数据开发，使用 Spring 系统作为业务系统开发，包含了从部署到标签计算的全流程。
2 u1 p7 _- ]9 H. G6 W4 {! A) t讲解方式
; l% A1 j6 X8 Q# @' L$ Y! F知识点介绍、代码演示、逻辑分析、灵活举例、使用图形的方式详细演示代码的流程和细节、整合企业级实战案例，全面讲解并突出重点，让学习也变成一种快乐。: U# a' p/ Y% a- B
* U, w7 O/ r6 o5 N" s3 O7 `
课程亮点4 E( w8 m% N: i) M& l$ g3 s! M
1，知识体系完备，阶段学习者都能学有所获。2 E1 j) H0 F r( \. @
2，综合各种方式演示代码、分析逻辑，生动形象，化繁为简，讲解通俗易懂。
o T5 V7 s% z" {$ m8 V4 O& V3，结合工作实践及分析应用，培养解决实际问题的能力。6 i5 j2 A6 I' U8 b
4，使用综合案例来加强重点知识，用切实的应用场景提升编程能力，充分巩固各个知识点的应用。: P) h8 c, T6 @) x7 J5 w% h M" d% R
5，整个课程的讲解思路是先提出问题，然后分析问题，并编程解决解题。
+ V! h: c! }2 n* }6 ~) E+ X& k& I3 S+ p
适用人群
# V8 X& \9 r8 S( k- O) c- o+ i' [1、对大数据感兴趣的在校生及应届毕业生。% X+ g# O& b. f9 l1 \
2、对目前职业有进一步提升要求，希望从事大数据行业高薪工作的在职人员。 Q N. K" [( k/ C: ~! p! m
3、对大数据行业感兴趣的相关人员。( U/ g3 a; Q7 o2 g5 o9 d
& f @0 u$ L( i# S9 H- c- @# ?
课程内容
n/ E% g; B% B5 n3 K5 x9 A, w0 Y第一章：用户画像概念、项目概述及环境搭建
8 w$ W9 @6 D$ q" ?$ a$ L+ A6 a1.用户画像产生背景与概念
4 y" H# }- q) `/ d3 K& K% ` S2.用户画像应用场景 ; Z9 N& a* l; @* R) W9 l& v
3.用户标识 - z$ } M; u9 |0 [$ S+ ~: J& v4 C
4.项目功能模块与技术架构 5 q& B( }8 H4 W$ d1 T+ @! n6 W
5.项目标签梳理
$ @; i- g' j0 f1 H% v! ^6.项目工程导入及演示 D" K: Q/ c" [; O
7.项目标签系统
& _7 _7 }/ g! H- e0 b" `8.项目大数据环境搭建
$ b) H/ ]) s" ^8 U% ^ I9.项目工程搭建及Git使用
! V9 V4 R& o. O8 G; O3 i- u/ ` E第二章：数据ETL加载及Oozie 应用调度# m4 o S$ |. `! Q3 P! O
1.业务数据调研 ?$ X( @7 h' L6 Z5 V' @4 \4 P; w2 t
2.数据导入几种方式 6 ]3 [6 K4 b- K9 |) d- p
3. SQOOP导入数据至HBase表 3 J ]. v! O! A$ d5 Q
4. HBase ImportTsv工具导入数据
* Q5 M9 `6 `2 f; @4 S5. 批量数据加载BulkLoad 4 i. Q6 @% t) I" ]& ]$ ^
6. Oozie调度工作流组成及本质
6 A. X V0 _ w1 N7 G; J/ Y7. 配置部署Oozie调度Spark2 , N3 P9 a: h8 l1 g7 o
8. Oozie调度Spark2应用运行
$ D# D( f8 Q1 x: X2 c, Q! @& l9. Hue集成Oozie调度Spark2应用 / k$ e7 ^2 Q8 P+ ]: y& E5 W
10. Oozie Java Client API 使用
. c C. u* o1 n第三章：标签模型开发及自定义外部数据源8 M1 W6 `/ h& O8 H v9 D/ {
1. 用户画像实现方式:HiveQL和Spark 5 g; Z T% ^6 P. @
2. 用户画像功能模块:标签调度、标签管理及标签模型开发 # |! _6 E& J* a1 z% O1 V6 n% r
3. 标签模型开发流程
1 K' J# Z1 S: n2 c! }9 Q! f4. Spark与HBase数据库交互 Y9 @2 W6 n$ L/ U. ?
5. 用户性别标签模型开发流程:标签数据->业务数据->打标签->合并存储 : A" I* i6 l- O3 C9 ]
6. 模板设计模式TemplatePattern思想及重构标签模型基类AbstractModel
! B2 r( L2 N% P& Z9 h; T) I4 C# I5 [4 x7. SparkSession实例对象构建工具类及配置信息加载
& y" w+ j- Y+ t# q4 S; e& H# n8. 其他规则匹配类型标签模型开发
& W( n9 \, r" x9. SparkSQL提供外部数据源实现接口分析 / x# h* v' G6 O; U }
10. 实现外部数据源接口从HBase加载爆粗数据 0 }1 b) _0 `+ `* c8 @( ]1 I
11. 加载HBases数据实现字段过滤条件WhereCondition
1 q {8 b& h0 K' P$ M12. 统计类型标签模型开发:年龄段、消费周期及支付方式 $ Y! ^& a0 R {
13. 用户标签值存储方案:标签及标签权重；
2 E6 p1 X* s$ H第四章：基于Solr构建画像标签索引3 [! n* B( a, ^/ V
1. 用户标签功能【微观画像和标签查询】 2 O: }1 [$ o* y$ A, t( n
2. 构建标签索引思路
* H2 }* f( R$ k( `3. 全文检索Solr概述及索引机制
( C8 n2 d1 @4 o% ~4. Solr核心组成及目录结构
: C. E G7 M* O2 ^: B' ^; H5. Solr 安装部署及启动 4 p, \% I; X3 [; u3 C
6. Solr 核心配置文件schema.xml
: g: Q! \5 @; {- j/ o3 m# n7. Solr 客户端SolrJ API使用 ! h' B8 a5 N0 z
8. 构建Solr标签索引及配置分词器
. R' v$ X5 r. |0 A/ s9. HBase 协处理Coprocessor同步Solr索引数据 2 B7 I% q7 ?0 c# B* q
10. 批量插入数据至Solr
5 M2 ]4 m" b( t; P3 s: I! E第五章：商品推荐及业务数据多数据源8 g" ~; }% @' ]6 N9 y
1. 业务数据多数据源概述及设计思想 + e, K* e4 x% H2 V9 `$ [
2. 重构加载业务数据 4 j6 [) r' C6 b# O" c( F; L& G
3. 加载MySQL、Hive及HDFS等数据源数据
* L$ S. `" @, w6 N5 F4. 推荐系统核心及协同过滤算法推荐思想
' g' A( y( }) l9 D$ }( t5. 依据行为数据获取用户对物品评分
# F; s3 G0 K# V* G" j6. 特征数据提取及构建ALS模型 3 Q! s: \+ I3 L; A7 O
7. ALS模型推荐商品及保存 7 o" h9 k' p, e% R) S1 `# J
8. 总述全方位用户画像功能、业务及实现
5 v7 {! V3 M: A$ z) a8 N: G9 T Z# `" L/ Y7 P
资源下载地址和密码（百度云盘）： [/hide] 百度网盘信息回帖可见' R3 a1 c& C) U l
a3 Z" a* |1 O; c4 @7 S9 y$ i3 [( Y
" i9 V# Z2 ^7 Z/ @; E) A- y本资源由Java自学网收集整理【www.javazx.com】 |
|
发表于 2022-6-12 18:39:01
