|
|
第8章 OceanBase架构初探
. z) b: ^1 i+ i/ Q0 ?/ wOceanBase是阿里集团研发的可扩展的关系数据库，实现了数千亿条记录、数百
# T& W, x. Z6 wTB数据上的跨行跨表事务，截止到2012年8月，支持了收藏夹、直通车报表、天猫评+ M& q1 A1 S6 a. ]
价等OLTP和OLAP在线业务，线上数据量已经超过一千亿条。
4 g( r3 o) s6 j2 Q5 s从模块划分的角度看，OceanBase可以划分为四个模块：主控服务器
" j3 F, w! T) j% @- j9 {RootServer、更新服务器UpdateServer、基线数据服务器ChunkServer以及合并服务器
$ ^! }5 ]. R6 [) K9 M- k* LMergeServer。OceanBase系统内部按照时间线将数据划分为基线数据和增量数据，基
% H' ?. N4 M6 b线数据是只读的，所有的修改更新到增量数据中，系统内部通过合并操作定期将增, e% s/ a f/ v, T0 _
量数据融合到基线数据中。本章介绍OceanBase系统的设计思路和整体架构。
, ?" ~8 V6 q' |- D* m, T9 a8.1 背景简介
" ^+ _6 [9 m& ?( S: o淘宝是一个迅速发展的网站。全球网站排名公司Alexa提供的数据显示，2010年' K) j- l: G0 q$ G8 a
4月27日，Amazon、EBay的用户占全球互联网用户的百分比分别为3.47%和2.68%，
( K0 K! a6 ^$ o- j) Y1 q; ~' N9 n而淘宝的用户占全球互联网用户的百分比则达到了4.1%，淘宝网日独立访问量从此" n; H; d; d$ z" z9 I
超过了Amazon和EBay。
. F# j9 D' M, u- U: ^淘宝的数据规模及其访问量对关系数据库提出了很大挑战：数百亿条的记录、
1 g9 ~5 h1 T# O2 p+ G. {6 O C) ?0 b数十TB的数据、数万TPS、数十万QPS让传统的关系数据库不堪重负，单纯的硬件升% g1 d8 k B }4 j# I
级已经无法使问题得到解决，分库分表也并不总是凑效。下面来看一个实际的例
+ |0 C' Y: O% W; ]1 ^子。
; Z9 G# }8 w) j0 k淘宝收藏夹是淘宝线上应用之一，淘宝用户在其中保存自己感兴趣的宝贝（即
( ?- r" d4 z4 e3 ~1 K. \商品，此外用户也可以收藏感兴趣的店铺）以便下次快速访问、对比和购买等，用1 x; ]$ d5 |( j' ~: _6 W/ N! h
户可以展示和编辑（添加/删除）自己的收藏。9 E, A7 u8 L$ a( S! m' S! i
淘宝收藏夹数据库包含了收藏info表（一条一条的收藏信息）和收藏item表（被1 A" b$ ~+ M8 |) n; e2 F& t9 Z
收藏的宝贝和店铺）等：) w8 ?" p% Q# R9 d/ a+ u: g1 Z
●收藏info表保存收藏信息条目，数百亿条。
+ L& e5 ~6 L/ L) f, Y N% d4 h7 m●收藏item表保存收藏的宝贝和店铺的详细信息，数十亿条。& O4 o* j/ k- J1 ~5 K
●热门宝贝可能被多达数十万买家收藏。
" I0 k' G8 H! F% f( z4 `7 N●每个用户可以收藏千个宝贝。, d$ }7 Y: S" s J( T& F+ t6 U
●宝贝的价格、收藏人气等信息随时变化。
) z% _4 f/ G+ x4 j/ J如果用户选择按宝贝价格排序后展示，那么数据库需要从收藏item表中读取收藏' d, I5 ]5 H! b, ?1 v2 c
的宝贝的价格等最新信息，然后进行排序处理。如果用户的收藏条目比较多（例如
1 B) c+ Q- `2 z2 Q1 g7 L. r4000条），那么查询对应的item的时间会较长：假设如果平均每条item查询时间是! G2 y6 A& L+ |5 I3 G5 w9 E2 ^
5ms，则4000条的查询时间可能达到20s，如果真如此，则用户体验会很差。; ~& Z# g# _# b5 p
如果把收藏的宝贝的详细信息实时冗余到收藏info表，则上述查询收藏item表的
+ @, }9 _* j5 ?" R g操作就不再需要了。但是，由于许多热门商品可能有几千到几十万人收藏，这些热
) J3 E8 X( x4 ~) ]/ ]! X2 v) T门商品的价格等信息的变动可能导致收藏info表的大量修改，并压垮数据库。" H, X& ^! z% s" r% w1 [* W' e
为此，阿里巴巴需要研发适合互联网规模的分布式数据库，这个数据库不仅要1 l2 c6 V; S. o5 L6 R& ?
能解决收藏夹面临的业务挑战，还要能做到可扩展、低成本、易用，并能够应用到* s# {% m7 q/ W& p
更多的业务场景。为此，淘宝研发了千亿级海量数据库OceanBase，并且已经于2011
( F$ j, J, N2 e. f L% y年8月底开源（http://oceanbase.taobao.org/）。虽然距离OceanBase开源已经超过一年8 W1 l0 K( Q: u/ E
多的时间，但OceanBase系统还有很多的问题，其中以易用性和可运维性最为严重。
+ O3 a6 u/ b% x+ zOceanBase团队一直在不断完善着系统，同时，我们也很乐意把设计开发过程中的一
8 G2 _- E. [5 l( O6 L* u些经验分享出来。
( f" ~+ p# O, X0 R: d# |6 Y/ N( F: }4 p1 Y- R% @
r W$ x! _# z/ |
|
|
发表于 2017-3-5 00:34:07
发表于 2021-5-11 14:41:14
