《大规模分布式存储系统》第12章 云存储【12.6】

javazx

12.6　云存储技术体系
云存储涉及的知识面很广，既涉及云存储服务端的技术，又涉及终端设备应用
开发相关的技术。本书关注云存储系统服务端技术，其技术体系如图12-8所示。
图　12-8　云存储技术体系
5 a- V* ]( b' x8 x云存储技术体系结构分为四层：硬件层、单机存储层、分布式存储层、存储访
, m7 M( O7 c+ c  C% s0 I3 {问层，下面分别介绍。
8 ]5 Y  B' l3 `* F! U（1）硬件层
! ]4 q! t8 @; N* E2 F0 q; @( |  v- |硬件层包括存储、网络以及CPU。在存储方面，除了传统的SAS或者SATA磁
盘，SSD技术发展迅猛；在网络方面，千兆网卡已经普及，万兆网卡离我们越来越
" H. ]1 m  C# x1 Y3 g* ~近，Google这样的互联网巨头已经开始尝试通过软件自定义交换机；在CPU层面，
: R- G3 A/ v5 s) s) TIntel x86架构成为主流，低功耗逐步成为研究热点。为了降低成本和能耗，云存储服
( E- L  V/ k9 B1 J: f5 E. E7 ~务提供商往往会定制服务器，甚至自建数据中心，需要考虑电源、冷却、
. ^, Z8 G0 t5 C$ _' e( L  l8 APUE（Power Usage Efficiency，能源使用效率）等各种问题。
（2）单机存储层
云存储系统的底层大多为定制的Linux操作系统，服务提供商需要在文件系统、
网络协议以及CPU和内存使用上对Linux系统进行大量的定制化工作。单机存储系统
2 U, M1 a% f7 U. m: Z/ w; `大致分为两类：传统的关系数据库以及NoSQL存储系统。关系数据库支持二维的关
系模式，并提供关系数据库查询语言SQL，支持事务，索引等操作，使用比较方便。
4 |; L. c% ]; [5 G. F, E& ~NoSQL存储系统则百花齐放，常见的NoSQL系统包括仅支持根据主键进行
* t0 x, E/ f* w+ V8 ?CRUD（Create,Read,Update,Delete）操作的键值（Key-Value）存储系统，也有基于传
统的B树或者LSM树（Log-Structured Merge Tree）的存储系统。
（3）分布式存储层
. W4 S" I1 Q1 J9 P, T分布式存储层是云存储技术的核心，也是最难实现的部分。分布式存储系统需
要能够将数据均匀地分散到多个存储节点上，另外，为了保证高可靠性和高可用
性，需要将数据复制到多个存储节点并保证一致性。当存储节点出现故障时，需要
能够自动检测到节点故障并将服务迁移到其他正常工作的节点。分布式存储层依赖
一些基础服务，常见的包括分布式锁服务（例如Google Chubby系统），以及集群资
源管理服务（例如Google Borg系统）。另外，分布式存储层包含分布式缓存以及服
务总线，分布式缓存用于提高访问性能，服务总线用于云平台应用逻辑解耦。云存
储系统既存储无结构化数据，又存储半结构化以及结构化数据，分别对应分布式文
& z; e. C  G$ O3 S件系统、分布式表格系统以及分布式数据库，而CDN以及P2P技术将云存储系统中的
9 q/ I% {* G1 H热点数据缓存到离用户较近的边缘节点或者临近的其他用户的客户端，从而起到访
问加速的作用，并且节省云存储服务提供商的网络带宽成本。
' h, e4 D' }; m/ ?& O% y7 Y5 {（4）存储访问层
云存储系统通过存储访问层被个人用户的终端设备直接访问，或者被云存储平
台中托管的应用程序访问。云存储访问层的功能包括：Web服务、负载均衡、安全服
% v0 S& J9 i# P1 w6 ^, ?  ?务以及计费。云存储系统对外提供统一的访问接口，常见的接口是REST或者SOAP
这样的Web服务，需要通过Apache或者Nginx这样的Web服务器进行协议转化，Web服
务器前端经常使用LVS（Linux Virtual Server）、HaProxy这样的软件或者专业的负载
均衡设备（如F5负载均衡器）进行负载均衡。存储访问层需要提供安全和计费服
务，安全服务包括身份认证、访问授权、综合防护、安全审计、DDos攻击预防/防火
4 V" b4 v: D# i( D( b墙等。
2 c5 v9 N7 l* N. u) s用户的应用程序可能会托管在应用运行平台中，应用场景大致分为三类：
●弹性计算平台。典型的弹性计算平台为Amazon EC2以及Microsoft的各种虚拟机
) X& g# S7 a$ |: K" ]) u. F实例，底层涉及的技术包括虚拟机、自动伸缩。弹性计算平台通过虚拟机自身的机
7 L6 g( }0 V& e制来保证云安全，比如虚拟机安全隔离、虚拟机防火墙。基于虚拟机的弹性计算平
4 `' j+ g( G- Z& N台的优势在于兼容性，支持各种编程语言和平台。
. t2 c2 W$ t( E/ H& ]$ E●云引擎。典型的云引擎为Google App Engine，底层设计的涉及的技术主要是应
. o) t, [5 G. X/ P1 S1 M用容器（比如Java Tomcat、Jetty,Python Runtime）以及应用容器自动伸缩。当应用的
( n8 A7 @4 |$ I; U负载过高时，自动增加应用的运行容器数；反之，自动减少应用的运行容器数。云
4 I% [3 U! z8 [- y% c引擎通过应用容器的沙箱机制来保证安全性，App Engine的沙箱环境通过限制每个请
求的执行时间来防止多租户之间干扰，另外，限制应用程序对网络、文件进行一些
危险操作。云引擎与云存储服务提供商结合较好，但是对于每种不同的编程语言都
3 X% o/ L* L3 c' r& ?4 C需要定制相应的应用容器，对编程语言和平台支持比较有限。
: _3 T* y0 b2 N7 m2 H& u/ u: V. L●分布式计算。云平台往往会支持分布式计算，通过后台的计算实例执行耗时较
长的计算任务。MapReduce是最为常见的分布式计算模型，云平台一般都支持开源的
/ c5 _6 ?1 p1 \/ lHadoop MapReduce计算框架。除了MapReduce之外，还有很多针对特定应用场景的
" w* b* k' o% R! [9 x6 M3 X计算模型，例如MPI（Message Passing Interface）、BSP（Bulk Synchronous Parallel）
等。