|
|
课程大纲- [) {: E( _3 g* n3 ?9 Q6 p$ Z: E+ b
$ b* p9 H4 J: l3 a# v+ D第一周：Hbase系统搭建与部署，Hbase shell操作; c2 y8 H5 ~' c: t
' ]0 L$ J+ t# _* p1 X学习内容：1 x% b; L( U' i
Hbase系统搭建与部署，Hbase shell操作；
9 |1 F* [' w" j+ i( @9 \+ y, u) B; W" A1 D& W客户端API操作，包括put、get、delete方法以及批量处理操作与客户端缓存，HTable类与Bytes类的使用；9 r @! @* o. ~ ~
比较过滤器、专用过滤器、附加过滤器、自定义过滤器的使用
. O5 N2 ?: a( t: Y& \8 [计数器的使用，协处理器（coprocessor类、regionobserver类、masterobserver类、endpoint）的使用9 H0 b' W1 S4 T3 h) k& u l4 ?
HTablePool类的使用
' `: A% S D4 p# y- D7 I5 L/ Q, b6 e& |+ S+ E5 u, K2 _2 j2 M
实战：
* w( [- a" U; B3 j* X. t! L% w搭建Hbase集群；使用Hbase shell进行表的操作；利用Hbase API编写客户端工具操作Hbase集群% o7 @7 ~0 u n" X0 V+ K
( M% r. m6 V% o
收获内容：) z' l% y; Z( s/ Y- d/ P
熟练掌握Hbase集群的搭建，能够利用Hbase shell对数据进行操作与查询；
: A. F8 `7 c2 {$ ]熟练使用客户端API，了解过滤器、计数器、协处理器以及HTablePool的使用& A8 o, z* i/ k+ n
- C- f3 O0 L6 F+ x0 Y第二周：客户端API的管理功能、MapReduce系统集成
' X( Z# U) ]" r: f: C9 y0 U2 g, o
7 M: f4 S! v1 m, v学习内容：
: q( j) ]' z7 |4 M2 h利用HbaseAdmin类进行Hbase表的管理，包括表、属性、列的操作；' e" B$ v, M7 r3 [( Y7 O6 b
MapReduce集成，编写Mapreduce程序实现对HBase表的select，多表join，聚合操作，sort等功能6 M4 _5 N3 [$ m$ G! b0 d3 ~
% [* X# F0 C5 o& `
实战：/ b4 o/ Q2 B0 E) G! B5 {6 j! q
通过利用Mapreduce实现数据的查询、聚合、连接等操作
1 O8 ~# I, U$ b. c0 `% I9 |5 [( r+ \9 {3 }. U
收获内容：" N% `$ q" ~3 B! z0 q( X
掌握基于Hbase的Mapreduce程序编写，实现对表的操作
2 _) ~: B/ {9 {! J
2 O1 L2 w0 s5 k8 N$ @第三周：HBase系统架构原理1 ^' b5 V7 X4 D0 S# a m: o
$ d, c2 s' @8 z1 J- M
主要介绍：
- t5 I& R6 e5 a2 `8 _0 jHbase中数据的查找与传输，数据结构B+树、LSM树介绍；( n0 \0 C8 P( v7 \3 c5 o
数据存储格式HFile格式、KeyValue格式；* V# o0 S1 T6 W/ W* u5 M+ B
WAL机制，HLog类、HLogKey类、WALEdit类、LogSyncer类、回放与持久性； I4 a: V9 J2 k6 B4 D% k
region、-root-表的查找；3 t; }7 ~ P3 D8 K, x0 U8 ?
LogEdit的生命周期与内部机制；4 _1 p& ^% Q6 W9 k/ p0 Q6 N
Coprocessor实现；
! X6 a1 E# |- ]二级索引HIndex原理+ s& m* p) p* L( I5 C
* C1 P: c) K; y( `实战：
+ V0 I7 D0 C0 h4 t自定义Coprocessor的实现；HIndex的使用8 K% f3 c% x' _
! P9 C, o0 i/ ?: C" [
收获内容： g9 |- K! I, ]6 R4 [& x
了解WAL机制
: G4 _* R( k: YCoprocessor的内部实现- T. Y+ S8 \" L, n
二级索引HIndex的实现原理
' ~6 Z! `. f( @+ s" L5 v& w8 f: J. Z+ [2 l0 M* O
第四周：HBase高级用法
& V8 m% a1 X1 E4 l/ r) ~% v. o3 i
; l8 z6 J1 g( Z. \% r' w主要介绍：
6 `" M: Z- C* |, Q+ uHbase表的行键设计，高表与宽表、部分键扫描、分页、时间序列、时间顺序关系；, [7 N, g1 x1 y7 H, V
高级模式；' Z2 C. _' d1 J
辅助索引；
' |5 f1 y# |3 b- C6 W搜索集成；* U0 Q H% @ Q+ @4 _: r) d0 h$ s& I
事务；8 \6 G. @$ ]9 W" V& y& d
BloomFilter布隆过滤器；! \8 N* c/ z; [! d; z
隐式版本控制与自定义版本控制
' o2 [3 O+ E% r- }4 n
* B6 K6 W9 H) U6 F0 m% ?7 [实战：
# S& i+ z% k% b4 s+ m# BHbase表的行健设计
: a# k3 W/ u6 }
+ O/ n) U$ z2 i( j: x- t4 G收获内容：
8 r$ h# }( w/ B+ _! {4 _- sHbase的高级用法，Hbase行健设计的一般方法与各自的特点
, H P2 v8 M' s u: z$ W
1 b7 T, r; V. s& R第五周：HBase系统集成与案例实战 j6 V5 C# [, e# O
/ \5 i6 ]3 h; Z4 q: u: }主要介绍：
1 N+ I' A4 u" U1 M利用hbase、Solr和Solr-IndexBuilder，设计与实现一个在线Hbase数据存储与实时查询系统，构建基于Hbase的SQL查询系统
2 {$ x9 I- ]+ R4 d实战：设计与开发一套数据存储与实时查询系统! @8 {0 u; s5 F
; S6 F1 e' z" a: g& B% T$ H收获内容：2 `2 T) ^9 U) y4 i* M7 W; n5 [
从系统设计、开发、集成的角度，掌握Hbase的各项操作与性能优化方案，构建自己的实时查询系统6 G9 b* p6 l9 q) s. y
% V( W/ O- }& O$ M8 @下载地址:0 X( g1 I& M; _: W
3 c' w7 c; p; d9 f资源下载地址和密码（百度云盘）： [/hide] 百度网盘信息回帖可见4 }/ U$ u$ L, Q5 Z# h4 ^0 w4 g
9 s. \& \+ o5 |" }& z5 ]) J, G& A9 M& i) ?2 o* F6 y& E$ {
8 {0 E6 N3 t* a
本资源由Java自学网收集整理【www.javazx.com】 |
|
发表于 2022-6-17 22:18:01
