《大规模分布式存储系统》第8章OceanBase架构初探【8.2】

javazx

8.2　设计思路
2 c2 c( n8 B/ [+ j" ^OceanBase的目标是支持数百TB的数据量以及数十万TPS、数百万QPS的访问
, y  h7 D9 e% y  M, h! p: v7 f量，无论是数据量还是访问量，即使采用非常昂贵的小型机甚至是大型机，单台关
系数据库系统都无法承受。
一种常见的做法是根据业务特点对数据库进行水平拆分，通常的做法是根据某
个业务字段（通常取用户编号，user_id）哈希后取模，根据取模的结果将数据分布
& N* ?' p  J6 k, I/ T% I8 S" ]到不同的数据库服务器上，客户端请求通过数据库中间层路由到不同的分区。这种
方式目前还存在一定的弊端，如下所示：
●数据和负载增加后添加机器的操作比较复杂，往往需要人工介入；
7 @+ z4 U/ N+ h2 g' F$ B# u●有些范围查询需要访问几乎所有的分区，例如，按照user_id分区，查询收藏了
一个商品的所有用户需要访问所有的分区；
) d" V* j7 c& x7 o3 t: J●目前广泛使用的关系数据库存储引擎都是针对机械硬盘的特点设计的，不能够
完全发挥新硬件（SSD）的能力。
3 j! h) \& r! H( f' v" }1 g另外一种做法是参考分布式表格系统的做法，例如Google Bigtable系统，将大表
. Y; e3 y( P) b! X/ M! n1 Q+ l划分为几万、几十万甚至几百万个子表，子表之间按照主键有序，如果某台服务器
8 \* u7 f3 @  D& T2 {/ ~) o发生故障，它上面服务的数据能够在很短的时间内自动迁移到集群中所有的其他服
务器。这种方式解决了可扩展性的问题，少量突发的服务器故障或者增加服务器对
2 M! F6 L! x2 ]7 \: X4 G- l+ v使用者基本是透明的，能够轻松应对促销或者热点事件等突发流量增长。另外，由
于子表是按照主键有序分布的，很好地解决了范围查询的问题。
万事有其利必有一弊，分布式表格系统虽然解决了可扩展性问题，但往往无法
支持事务，例如Bigtable只支持单行事务，针对同一个user_id下的多条记录的操作都
无法保证原子性。而OceanBase希望能够支持跨行跨表事务，这样使用起来会比较方
便。
最直接的做法是在Bigtable开源实现（如HBase或者Hypertable）的基础上引入两
阶段提交（Two-phase Commit）协议支持分布式事务，这种思路在Google的Percolator
系统中得到了体现。然而，Percolator系统中事务的平均响应时间达到2～5秒，只能
# v4 O2 j* \% b5 I- s" }应用在类似网页建库这样的半线上业务中。另外，Bigtable的开源实现也不够成熟，
: E7 w( m7 d6 J' l$ l- h单台服务器能够支持的数据量有限，单个请求的最大响应时间很难得到保证，机器
故障等异常处理机制也有很多比较严重的问题。总体上看，这种做法的工作量和难
度超出了项目组的承受能力，因此，我们需要根据业务特点做一些定制。
+ v7 M% K' V1 N" q% f5 w通过分析，我们发现，虽然在线业务的数据量十分庞大，例如几十亿条、上百
& |. F$ D' k5 \) Q/ p0 x亿条甚至更多记录，但最近一段时间（例如一天）的修改量往往并不多，通常不超
过几千万条到几亿条，因此，OceanBase决定采用单台更新服务器来记录最近一段时
# ]1 }7 p5 C% M* g: t间的修改增量，而以前的数据保持不变，以前的数据称为基线数据。基线数据以类
似分布式文件系统的方式存储于多台基线数据服务器中，每次查询都需要把基线数
据和增量数据融合后返回给客户端。这样，写事务都集中在单台更新服务器上，避
免了复杂的分布式事务，高效地实现了跨行跨表事务；另外，更新服务器上的修改
% P( P' D/ ^$ V' `5 Q增量能够定期分发到多台基线数据服务器中，避免成为瓶颈，实现了良好的扩展
性。
- N% O9 B. g) P/ `! k7 T当然，单台更新服务器的处理能力总是有一定的限制。因此，更新服务器的硬
件配置相对较好，如内存较大、网卡及CPU较好；另外，最近一段时间的更新操作
往往总是能够存放在内存中，在软件层面也针对这种场景做了大量的优化。
9 ?) N6 q" Q$ W" l" t9 S& |% F0 p
( u* S" {; h/ `. P: r