《大规模分布式存储系统》第12章 云存储【12.5】
12.5 云平台整体架构云存储是云计算的存储部分，理解云存储架构的前提是理解云平台整体架构。
云计算按照服务类型大致可以分为三类：基础设施即服务（IaaS）、平台即服务
（PaaS）以及软件即服务（SaaS），如图12-3所示。
图 12-3 云计算服务类型
IaaS将硬件设备等基础资源以虚拟机的形式封装成服务供用户使用，如Amazon
云计算AWS（Amazon Web Service）的弹性计算云EC2，PaaS进一步抽象硬件资源，
提供用户应用程序的运行环境，开发者只需要将应用程序提交给PaaS平台，PaaS平
台会自动完成程序部署，处理服务器故障，扩容等问题，典型的如（Google App
Engine）GAE。另外，微软的云计算平台Windows Azure Platform也可大致归入这一
类。SaaS的针对性更强，它将某些特定应用软件封转成服务，如Salesforce公司提供
的在线客户端管理CRM服务，Google的企业应用套件Google Apps等。
本节首先分别介绍Amazon、Google以及Microsoft这三个云平台的整体架构，其
中，Amazon提供IaaS服务，Google和Microsoft提供PaaS服务，接着介绍一般情况下云
平台的整体架构。
12.5.1 Amazon云平台
Amazon Web Services（AWS）是Amazon构建的一个云计算平台的总称，它提供
了一系列云服务。通过这些服务，用户能否访问和使用Amazon的存储和计算基础设
施。如图12-4所示，AWS平台分为如下几个部分：
图 12-4 AWS平台整体架构
●计算类：核心产品为弹性计算云EC2（Elastic Computing）。EC2几乎可以认为
是迄今为止云计算领域最为成功的产品，通俗地讲，就是提供虚拟机，用户的应用
程序部署在EC2实例中。EC2架构的核心是弹性伸缩，当托管的应用程序访问量变化
时能够自动增加或者减少EC2实例，并通过弹性负载均衡技术将访问请求分发到新增
的EC2实例上。在计费模式上，EC2按照使用量计费，而不是采用传统的预付费方
式。EBS（Elastic Block Store）是一个分布式块设备，可以像本地的磁盘一样直接挂
载在EC2实例上，与本地磁盘不同的是，保存到EBS的数据会由EBS的管理节点自动
复制到多个存储节点上。EC2实例的本地存储是不可靠的，如果EC2实例出现故障，
本地存储上保存的数据将会丢失，而保存到EBS上的数据不会丢失。EBS用于替代
EC2实例的本地存储，从而增强EC2可靠性。
●存储类：存储类产品较多，包括简单对象存储S3，表格存储系统SimpleDB、
DynamoDB、分布式关系数据库服务（Relational Datastore Service,RDS）以及简单消
息存储（Simple Queue Service,SQS）。S3用于存储图片、照片、视频等大对象，为
了提高访问性能，S3中的对象还能够通过CloudFront缓存到不同地理位置的内容分发
网络（Content Delivery Network,CDN）节点。SimpleDB和DynamoDB是分布式表格系
统，支持对一张表格进行读写操作；RDS是分布式数据库，目前支持MySQL以及
Oracle两种数据库。SQS主要用于支持多个任务之间的消息传递，解除任务之间的耦
合，相当于传统的消息中间件（Message Queue）。为了提高访问性能，可以使用
ElasticCache缓存存储系统中的热点数据。
●工具支持：AWS支持多种开发语言，提供Java、Ruby、Python、PHP、Windows
＆.NET以及Android和iOS的工具集。工具集中包含各种语言的SDK、程序自动部署
以及各种管理工具。另外，AWS通过CloudWatch系统提供丰富的监控功能。
AWS平台引入了区域（Zone）的概念。区域分为两种：地理区域（Region
Zone）和可用区域（Availability Zone），其中地理区域是按照实际的地理位置划分
的，而可用区域一般是按照数据中心划分的。
假设网站MyWebSite.com托管在AWS平台的某个可用区域中。AWS开发者将Web
应用上传到AWS平台并部署到指定的EC2实例上。EC2实例一般分成多个自动扩展组
（Auto Scaling Group），并通过弹性负载均衡（Elastic Load Balancing）技术将访问
请求自动分发到自动扩展组内的EC2实例。开发者的Web应用可以使用AWS平台上的
存储类服务，包括S3、SimpleDB、DynamoDB、RDS以及SQS。
网站上往往有一些大对象，比如图片、视频，这些大对象存储在S3系统中，并
通过内容分发技术缓存到多个CloudFront节点。当Internet用户浏览MyWebSite.com
时，可能会请求S3中的大对象，这样的请求将通过DNS按照一定的策略定位到
CloudFront节点。CloudFront首先在本地缓存节点查找对象，如果不存在，将请求源
站获取S3中存储的对象数据，这一步操作称为回源。
12.5.2 Google云平台
Google云平台（Google App Engine,GAE）是一种PaaS服务，使得外部开发者可
以通过Google期望的方式使用它的基础设施服务，目前支持Python和Java两种语言。
GAE虽然在产品上相比Amazon云平台还有较大的差距，但在技术上是成功的，尤其
适用于企业构建自己的企业私有云。GAE的整体架构如图12-5所示。
图 12-5 Google App Engine整体架构
GAE云平台主要包含如下几个部分：
●前端服务器。前端的功能包括负载均衡以及路由。前端服务器将静态内容请求
转发到静态文件服务器，将动态内容请求转发到应用服务器。
●应用服务器。应用服务器装载应用的代码并处理接收到的动态内容请求。
●应用管理节点（App Master）。调度应用服务器，将应用服务器的变化通知前
端，从而前端可以将访问流量切换到正确的应用服务器。
●存储区。包括DataStore、MemCache以及BlobStore三个部分。应用的持久化数
据主要存储在DataStore中，MemCache用于缓存，BlobStore是DataStore的一种补充，
用于存储大对象。
●服务区。除了必备的应用服务器以及存储区之外，GAE还包含很多服务，比如
图像处理服务（Images）、邮件服务、抓取服务（URL fetch）、任务队列（Task
Queue）以及用户服务（Users）等。
另外，作为PaaS服务，GAE还提供了如下两种工具：
●本地开发环境。GAE中大量采用私有API，因此专门提供了本地开发和调试的
Sandbox环境以及SDK工具。
●管理工具。GAE提供Web管理工具用于管理应用并监控应用的运行状态，比如
资源消耗、应用日志等。
GAE的核心组件为应用服务器以及存储区，其中，应用服务器用于托管GAE平
台用户的应用程序，存储区提供云存储服务。下面分别介绍这两个部分。
1.应用服务器
GAE对外不提供虚拟机服务，因此，对于不同的开发语言，需要提供不同的应
用服务器实现，目前支持Python和Java两种语言。每一台应用服务器可能运行多个
GAE平台用户的应用，为了防止应用程序之间互相干扰，应用程序将在受限制的“沙
盒”环境中运行。“沙盒”环境中的GAE应用程序无法执行以下操作：
●写入到本地文件系统。应用程序必须使用数据存储区来存储持久化数据。
●打开套接字或者直接访问其他主机。应用程序必须使用网址提取服务（URL
Fetch）分别从端口80和443上的其他主机发出HTTP和HTTPS请求。
●生成子进程或者线程。应用程序的网络请求必须在单个线程中处理，并且必须
在几秒内完成，GAE会自动终止响应时间很长的进程以免应用服务器过载。
●进行其他类型的系统调用。
2.存储区
Datastore是App Engine存储区的核心，底层为6.2节中介绍的Google Metastore系
统。与关系数据库最大的不同点在于，Datastore支持自动增加或者减少存储节点，提
供线性扩展能力。App Engine直接将开源的Memcache用作缓存服务，缓存Datastore中
的热点数据。Datastore不适合存储大对象（Blob对象），因此，App Engine设计了专
门的Blobstore用于支持大对象存储。
除了GAE平台，Google还单独提供了两种云存储服务，Google Cloud Storage以及
Google Cloud SQL。其中，Google Cloud Storage与Amazon S3类似，用于存储图片、
视频等大对象数据，Google Cloud SQL与Amazon RDS类似，用于提供分布式关系数
据库服务。
12.5.3 Microsoft云平台
Windows Azure Platform是一个服务平台，用户利用该平台，通过互联网访问微
软数据中心的计算和存储服务，它不但支持传统的微软编程语言和开发平台，如C#
和.NET平台，还支持PHP、Python、Java等多种非微软编程语言和架构。
WindowsAzure平台包含如下几个部分。
●计算服务
Windows Azure平台中每个计算实例是一个运行着64bit的Windows Server 2008的
虚拟机，分为三种类型：Web Role实例，Worker Role实例和VM Role实例。其中，
Web Role实例提前在内部安装了IIS7，用于托管Azure平台用户的Web应用程序；
Worker Role实例设计用来运行各种各样的基于Windows的代码，例如，Worker Role
实例可以运行一个模拟程序、进行视频处理等，Worker Role与Web Role的不同点在
于，Worker Role内部并没有安装IIS。一般来说，用户只会用到Web Role和Worker
Role。应用通过Web Role与用户相互作用，然后利用Worker Role进行任务处理。当
用户需要将本地的Windows Server应用移动到Windows Azure平台时，VM Role将会起
作用。VM Role除了允许对环境拥有更多的控制权之外，它和Web Role以及Worker
Role是没有区别的。与Amazon云平台需要用户提供虚拟机的虚拟映像文件不同的
是，Azure平台会自动虚拟出虚拟机，处理虚拟机升级，Role实例故障，Azure平台用
户只需要专注于如何创建应用程序即可。
●存储服务
Windows Azure存储服务包括Azure Blob,Table,Queue以及SQL Azure。其中，Azure
Blob存储二进制数据，如图片，照片，视频等个人文件。Azure Table存储更加结构化
的数据，支持单张表格上的操作，但是它不同于关系数据库系统中的二维关系表，
查询语言也不是大家熟悉的关系查询语言SQL。Azure Queue的作用和微软消息队列
（MSMQ）相近，用来支持在Windows Azure应用程序组件之间进行通信。SQL Azure
则是将微软的关系数据库SQL Server搬到云环境中，提供二维关系表和SQL查询语
言。为了提高访问性能，Windows Azure还提供了两种缓存机制：Azure Caching以及
Azure内容分发网络（CDN）。Azure Caching在数据中心内部缓存热点数据，Azure
CDN在离用户较近的“边缘节点”缓存Azure Blob中的Blob对象。
●连接服务
Windows Azure连接服务包括Azure Service Bus以及Azure Connect。Azure Service
Bus包含三个部分：Service Bus Queue,Service Bus Topic和Service Bus Relay。其中，
Service Bus Queue和Service Bus Topic与消息中间件的Queue和Topic模式类似，用于解
除应用程序之间的耦合。Service Bus Queue提供点对点的通信，保证每个发送者产生
的消息只被一个接收者获取；Service Bus Topic提供一对多的发布订阅通信，每个发
布者发布的消息能被所有的订阅者获取。Service Bus Relay使得Azure平台服务器端可
以访问运行在企业内部的本地WCF服务，这些WCF服务通常没有一个固定的IP地
址，而且被企业防火墙所保护。Azure Connect在Windows Azure应用和本地运行的机
器之间建立一个基于IPsec协议的连接，使得两者更容易结合起来使用。例如，某个
企业需要将现有的由ASP.NET创建的Windows Server应用移动到Windows Azure Web
Role中区，如果这个应用使用的数据库需要保留在本地机器上，那么Azure Connect技
术能够使运行在Windows Azure上的应用正常访问本地数据库，甚至连使用的连接字
符串都不需要改变。
●工具支持
Windows Azure平台不但支持传统的微软编程语言和开发平台如C#和.NET平台，
还支持PHP、Python、Java、node.js等多种非微软编程语言和架构。Azure平台提供各
种语言的SDK以及平台管理工具。
图12-6显示了Windows Azure Platform用于托管用户Web程序的整体架构。假设网
站MyWebSite.com托管在Windows Azure平台的某个数据中心内。Azure平台开发者将
Web应用上传到Azure平台，由平台将应用自动部署到Role实例上。在Azure内部，一
个应用可能运行在一个或者多个Role实例上，将运行同一个应用的Role实例成为一个
Role实例组，并通过负载均衡器将访问请求按照一定的策略自动分发到其中的Role实
例。开发者的Web应用可以使用Azure平台上的存储类服务，包括Azure Blob、
Table、Queue以及SQL Azure。为了提高性能，应用也可以使用Azure Caching缓存热
点数据，就像使用Memcache一样。
图 12-6 Windows Azure Platform整体架构
网站上往往有一些Blob对象，比如图片、视频，这些对象存储在Azure Blob系统
中，并通过内容分发技术缓存到多个Azure CDN节点。Internet用户访问
MyWebSite.com中的Blob时，访问请求将通过DNS定位到CDN节点上，如果CDN缓存
了Blob的副本，直接将副本返回给用户，否则，CDN节点将请求Azure源站中的Azure
Blob存储系统获取Blob对象，这一步操作称为回源。
12.5.4 云平台架构
从托管Web应用程序的角度看，云平台主要包括云存储以及应用运行平台，如图
12-7所示。
图 12-7 云平台整体架构
云平台的核心组件包括：云存储组件和应用运行平台组件。下面简单介绍一
下。
（1）云存储组件
云存储组件包括两层：分布式存储层以及存储访问层。分布式存储层管理存储
服务器集群，实现各个存储设备之间的协同工作，保证数据可靠性，对外屏蔽数据
所在位置，数据迁移，数据复制，机器增减等变化，使得整个分布式系统看起来像
是一台服务器。分布式存储层是云存储系统的核心，也是整个云存储平台最难实现
的部分。CDN节点将云存储系统中的热点数据缓存到离用户最近的位置，从而减少
用户的访问延时并节约带宽。
存储访问层位于分布式存储层的上一层，该层的主要作用是将分布式存储层的
客户端接口封装为WebService（基于RESTful,SOAP等协议）服务，另外，该层通过
调用公共服务实现用户认证，权限管理以及计费等功能。存储访问层不是必须的，
云存储平台中的计算实例也可以直接通过客户端应用编程接口（API）访问分布式存
储层中的存储系统。
（2）应用运行平台组件
应用运行平台的主体为计算实例，计算实例最主要的功能有两个：开发者的应
用程序运行环境以及离线任务处理。不同的云计算平台厂商的计算实例形式往往不
同：AWS（Amazon Web Service）平台中的计算实例为Amazon的弹性计算（Elastic
Computing,EC2）虚拟机，它们既用于托管开发者的Web程序，又可用来执行Hadoop
MapReduce计算或者图像以及视频转换等离线任务；GAE（Google App Engine）平台
中的计算实例分为前端实例（Frontend Instance）以及后端实例（Backend Instance），
其中，前端实例为GAE特有的Python、Java以及Go语言运行容器，用于托管开发者使
用Python、Java或者Go语言开发的Web程序，后端实例执行运行时间较长的离线任
务；微软的Azure平台（Windows Azure Platform）的计算实例为运行着一个64位的
Windows Server 2008的虚拟机，分为Web Role、Worker Role以及VM Role三种角色，
其中，Web Role用于托管Web程序，Worker Role用于执行视频处理等离线计算任务。
多个计算实例构成一个计算实例组，当实例组中的某个实例出现故障时，能够
自动将负载迁移到其他的实例，并且支持动态增加或者减少实例从而使得实例组的
处理能力具有动态可伸缩性。运行平台的最前端是路由及负载均衡组件，它将用户
的请求按照一定的策略发送到合适的计算实例。
云存储平台还包含一些公共服务，这些基础服务由云存储组件及运行平台组件
所共用，如下所示：
●消息服务。消息服务将执行流程异步化，用于应用程序解耦。计算实例一般分
为处理Web请求的前台实例以及处理离线任务的后台实例，在很多情况下，前台实例
处理Web请求的过程中需要启动运行在后台的任务，这种需求可以通过消息服务实
现。
●缓存服务。缓存服务用于存储云存储系统中的读多写少的热点数据，从而加速
查询，减少对后端存储系统压力。大多数云存储平台提供Memcache服务。
●用户管理。用户管理主要功能是用户身份认证，确保用户的身份合法，并存储
用户相关的个人信息。云计算平台一般支持单点登录，在多个应用系统中，用户只
需要登录一次就可以访问所有相互信任的系统。
●权限管理。为多个服务提供集中的权限控制，以确保应用和数据只能被有授权
的用户访问。云存储系统一般会维护一系列的访问策略，每一条策略表示某个用户
是否对某个资源具有某种操作权限。
●安全服务。安全服务包括Web漏洞检测，网页挂马检测，端口安全检测，入侵
检测，分布式拒绝服务攻击（Distributed Denial of Service,DDoS）缓解等。Web漏洞
检测提供对应用的SQL注入漏洞、XSS跨站脚本漏洞、文件包含等高危安全漏洞进行
检测；网页挂马检测通过静态分析技术和虚拟机沙箱行为检测技术相结合，对网站
进行挂马检测；端口安全检测通过定期扫描服务器开放的高危端口，降低系统被入
侵的风险；主机入侵检测通过主机日志安全分析，实时侦测系统密码破解，异常IP
登录等攻击行为并实时报警；DDos缓解技术能够抵御SYN flood以及其他拒绝服务攻
击。
●计费管理。利用底层的监控系统所采集的数据对每个用户使用的资源和服务进
行统计，计算出用户的使用费用，并提供完善和详细的报表。云存储系统计费涉及
的参数一般包括：CPU时间，网络出口带宽，存储量以及服务调用次数（包括读写
API调用次数）。
●资源管理。管理云存储平台中的所有服务器资源，将应用程序或者虚拟机映射
自动部署到合适的计算实例，另外，自动调整计算实例的数量来帮助运行于其上的
应用更好地应对突发流量。当计算实例发生故障时，资源管理系统还需要通知前端
的负载均衡层，将流量切换到其他计算实例。
●运维管理。云存储平台的运维需要做到自动化，从而降低运维成本，一般来
说，有一套专门的Web运维系统用于系统上下线，批量升级系统程序版本等。
●监控系统。监控系统有两个层面，其一是资源层面，即资源的运行情况，比如
CPU使用率、内存使用率和网络带宽利用率、Load值等，需要注意的是，云计算平
台除了监控物理机资源，还需要监控虚拟机资源的运行情况；其二是应用层面，主
要记录应用每次请求的响应时间、读写请求数等。
页:
[1]