|
|
第8章 OceanBase架构初探
2 U# U: T0 ]4 I0 MOceanBase是阿里集团研发的可扩展的关系数据库，实现了数千亿条记录、数百
) i8 ~4 l* H2 B. tTB数据上的跨行跨表事务，截止到2012年8月，支持了收藏夹、直通车报表、天猫评7 ?$ j5 q, D; | k$ b+ _
价等OLTP和OLAP在线业务，线上数据量已经超过一千亿条。
0 K# p2 @( [) D从模块划分的角度看，OceanBase可以划分为四个模块：主控服务器
( F T2 t; O+ S( ]RootServer、更新服务器UpdateServer、基线数据服务器ChunkServer以及合并服务器4 z7 b9 p" k4 w9 E: g' k
MergeServer。OceanBase系统内部按照时间线将数据划分为基线数据和增量数据，基6 H" c8 R. z: P# `
线数据是只读的，所有的修改更新到增量数据中，系统内部通过合并操作定期将增* D3 ~/ U' E4 T) [1 @
量数据融合到基线数据中。本章介绍OceanBase系统的设计思路和整体架构。5 b3 t- o7 M) c' ~3 R7 t/ j% ?$ x
8.1 背景简介
2 q! s+ s0 ~6 Z7 t5 V# A% W淘宝是一个迅速发展的网站。全球网站排名公司Alexa提供的数据显示，2010年: y* i2 s4 q% Q; y; ?$ Q
4月27日，Amazon、EBay的用户占全球互联网用户的百分比分别为3.47%和2.68%，
8 X. ?0 G5 l6 w; {: b2 _7 G. G而淘宝的用户占全球互联网用户的百分比则达到了4.1%，淘宝网日独立访问量从此1 \& m/ a- L+ S
超过了Amazon和EBay。( {& B! ?; V4 F+ j5 j" t
淘宝的数据规模及其访问量对关系数据库提出了很大挑战：数百亿条的记录、9 R$ k+ z& Y* P& m/ g J
数十TB的数据、数万TPS、数十万QPS让传统的关系数据库不堪重负，单纯的硬件升
. w2 {* k2 q3 P5 a. F2 {9 f8 q2 \. s级已经无法使问题得到解决，分库分表也并不总是凑效。下面来看一个实际的例6 e& W" |/ r9 N$ X5 k
子。6 z3 N1 m3 b& x& [# p$ r2 D% ^
淘宝收藏夹是淘宝线上应用之一，淘宝用户在其中保存自己感兴趣的宝贝（即
. g! }5 e9 a3 b- F9 e% j商品，此外用户也可以收藏感兴趣的店铺）以便下次快速访问、对比和购买等，用
: g) g- G! D2 ~9 _户可以展示和编辑（添加/删除）自己的收藏。
+ x" h4 W; h: o( y* l3 A) h- i淘宝收藏夹数据库包含了收藏info表（一条一条的收藏信息）和收藏item表（被: \0 g, Y F3 U' O$ \
收藏的宝贝和店铺）等：
4 u. I2 ~8 ~) A& B" M" i |●收藏info表保存收藏信息条目，数百亿条。( ^) ^1 p7 Q7 ? f3 ?/ e/ n
●收藏item表保存收藏的宝贝和店铺的详细信息，数十亿条。9 J" ^& s. r( j% X
●热门宝贝可能被多达数十万买家收藏。
5 U( n0 L5 \& m0 K: |- B●每个用户可以收藏千个宝贝。 L* s2 N" e' Z: Q
●宝贝的价格、收藏人气等信息随时变化。3 i2 Y' x k4 _
如果用户选择按宝贝价格排序后展示，那么数据库需要从收藏item表中读取收藏: |: I/ O7 i1 w/ Q
的宝贝的价格等最新信息，然后进行排序处理。如果用户的收藏条目比较多（例如
5 Q- A% O8 ~# E9 F; f! u y5 D, t6 n4000条），那么查询对应的item的时间会较长：假设如果平均每条item查询时间是
2 B' V' i( K6 ?, n! b7 Y. ?5ms，则4000条的查询时间可能达到20s，如果真如此，则用户体验会很差。' g# V7 e+ a3 f) }7 h- ^6 @
如果把收藏的宝贝的详细信息实时冗余到收藏info表，则上述查询收藏item表的
2 y1 D+ l* h* w操作就不再需要了。但是，由于许多热门商品可能有几千到几十万人收藏，这些热
# f% d0 @) z v- Y+ r, E6 n门商品的价格等信息的变动可能导致收藏info表的大量修改，并压垮数据库。+ M |. u- ^6 U; `. g+ v9 \
为此，阿里巴巴需要研发适合互联网规模的分布式数据库，这个数据库不仅要$ y4 _7 |# n' |
能解决收藏夹面临的业务挑战，还要能做到可扩展、低成本、易用，并能够应用到) w8 |% t; e" S* [
更多的业务场景。为此，淘宝研发了千亿级海量数据库OceanBase，并且已经于2011
9 A: i$ n, i" k' _. h年8月底开源（http://oceanbase.taobao.org/）。虽然距离OceanBase开源已经超过一年0 N$ F/ V' h1 o4 l2 f( F! o
多的时间，但OceanBase系统还有很多的问题，其中以易用性和可运维性最为严重。
* Y. s6 m2 X( a0 C- d4 \% NOceanBase团队一直在不断完善着系统，同时，我们也很乐意把设计开发过程中的一) b4 N5 L) O" ~) g
些经验分享出来。
: t7 v+ ~( F0 }7 J$ w
3 [/ X Q; c8 r1 R6 o# Q. p- g' p" m7 O
|
|
发表于 2017-3-5 00:34:07
发表于 2021-5-11 14:41:14
