《深入解析YARN架构设计与实现原理》第3章 YARN基础库【3.3】part1

javazx

3.3 底层通信库
) ]  O& L$ H' k网络通信模块是分布式系统中最底层的模块， 它直接支撑了上层分布式环境下复杂的进程间通信（ Inter-Process
# }2 E# o: l0 lCommunication， IPC） 逻辑， 是所有分布式系统的基础。 远程过程调用（ Remote Procedure Call， RPC） 是一种常用的分布式网络
8 J8 ^  z7 {& M$ C. ^* d通信协议， 它允许运行于一台计算机的程序调用另一台计算机的子程序， 同时将网络的通信细节隐藏起来， 使得用户无须额外地
为这个交互作用编程。 由于RPC大大简化了分布式程序开发， 因此备受欢迎。
作为一个分布式系统， Hadoop实现了自己的RPC通信协议， 它是上层多个分布式子系统（ 如MapReduce、 YARN、 HDFS等）
公用的网络通信模块。 本节首先从框架设计及实现等方面介绍Hadoop RPC， 接着介绍RPC框架在Hadoop YARN中的应用。
3.3.1 RPC通信模型
RPC是一种通过网络从远程计算机上请求服务， 但不需要了解底层网络技术的协议。 RPC 协议假定某些传输协议（ 如TCP
或UDP等） 已经存在， 并通过这些传输协议为通信程序之间传递访问请求或者应答信息。 在OSI 网络通信模型中， RPC 跨越了传
! ]4 q8 H; B, {8 f输层和应用层。 RPC 使得开发分布式应用程 序更加容易 [6] 。
, @; [% U/ ]& BRPC 通常采用客户机/服务器模型。 请求程序是一个客户机， 而服务提供程序则是一个服务器。 一个典型的RPC框架如图3-1
所示， 主要包括以下几个部分：
/ s) G) m! m/ W, a9 S❑通信模块 。 两个相互协作的通信模块实现请求-应答协议， 它们在客户和服务器之间传递请求和应答消息， 一般不会对数
据包进行任何处理。 请求–应答协议的实现方式有同步方式和异步方式两种。
8 Z5 J4 |5 V: `1 F5 w' L9 c如图3-1所示， 同步模式下客户端程序一直阻塞到服务器端发送的应答请求到达本地； 而异步模式不同， 客户端将请求发送
: o$ R5 @  x+ w& g, M到服务器端后， 不必等待应答返回， 可以做其他事情， 待服务器端处理完请求后， 主动通知客户端。 在高并发应用场景中， 一般
, K7 x$ F- A5 [$ R7 K- a6 ?5 F采用异步模式以降低访问延迟和提高带宽利用率。
图3-1 同步模式与异步模式对比
3 N% c* V) H7 _+ {! U; t6 i0 p% Q❑Stub程序 。 客户端和服务器端均包含Stub程序， 可将之看做代理程序。 它使得远程函数调用表现得跟本地调用一样， 对用
户程序完全透明。 在客户端， 它表现得就像一个本地程序， 但不直接执行本地调用， 而是将请求信息通过网络模块发送给服务器
端。 此外， 当服务器发送应答后， 它会解码对应结果。 在服务器端， Stub程序依次进行解码请求消息中的参数、 调用相应的服务
3 s2 F  r  H1 [; D' n过程和编码应答结果的返回值等处理。
6 V) K* L& G& V" @❑调度程序 。 调度程序接收来自通信模块的请求消息， 并根据其中的标识选择一个Stub程序进行处理。 通常客户端并发请求
量比较大时， 会采用线程池提高处理效率。
3 x) T. r- S. n8 }; N. l❑客户程序/服务过程 。 请求的发出者和请求的处理者。 如果是单机环境， 客户程序可直接通过函数调用访问服务过程， 但
- ^6 O; G; S# H+ n! t/ ~* I在分布式环境下， 需要考虑网络通信， 这不得增加通信模块和Stub程序（ 保证函数调用的透明性） 。
) c" Q+ O& Z8 |; V) p4 q* D5 J+ C通常而言， 一个RPC请求从发送到获取处理结果， 所经历的步骤（ 见图3-2） 下所示。
& o  F+ Y0 n3 K. \& u) I1） 客户程序以本地方式调用系统产生的Stub程序；
2） 该Stub程序将函数调用信息按照网络通信模块的要求封装成消息包， 并交给通信模块发送到远程服务器端。
3） 远程服务器端接收此消息后， 将此消息发送给相应的Stub程序；
7 h7 l8 q# ~1 |/ i1 M  Z4） Stub程序拆封消息， 形成被调过程要求的形式， 并调用对应函数；
5） 被调用函数按照所获参数执行， 并将结果返回给Stub程序；
6） Stub程序将此结果封装成消息， 通过网络通信模块逐级地传送给客户程序。
8 G& y  Z1 \5 @+ Z! P7 M图3-2 RPC通用架构
1 i9 g0 o9 w8 {: x5 t3.3.2 Hadoop RPC的特点概述
RPC实际上是分布式计算中C/S（ Client/Server） 模型的一个应用实例， 对于Hadoop RPC而言， 它具有以下几个特点。
2 g( }; v2 J9 A7 Y8 R❑透明性 。 这是所有RPC框架最根本的特点， 即当用户在一台计算机的程序调用另外一台计算机上的子程序时， 用户自身
不应感觉到其间涉及跨机器间的通信， 而是感觉像是在执行一个本地调用。
❑高性能 。 Hadoop各个系统（ 如HDFS、 YARN、 MapReduce等） 均采用了Master/Slave结构， 其中， Master实际上是一个RPC
% k7 ?; U. W4 k3 mServer， 它负责处理集群中所有Slave发送的服务请求， 为了保证Master的并发处理能力， RPC Server应是一个高性能服务器， 能够
1 `5 T: h8 H8 x  P0 u! T高效地处理来自多个Client的并发RPC请求。
8 ]: x7 @9 L. H. P2 g3 K❑可控性 。 JDK中已经自带了一个RPC框架—RMI（ Remote Method Invocation， 远程方法调用） ， 之所以不直接使用该框
架， 主要是考虑到RPC是Hadoop最底层最核心的模块之一， 保证其轻量级、 高性能和可控性显得尤为重要， 而RMI重量级过大且
用户可控之处太少（ 如网络连接、 超时和缓冲等均 难以定制或者修改） [7] 。
) V5 A* v0 t+ j3 E8 `( D. j6 f" M  S, A3.3.3 RPC总体架构
" a: k) M/ J  S0 Y5 j同其他RPC框架一样， Hadoop RPC主要分为四个部分， 分别是序列化层、 函数调用层、 网络传输层和服务器端处理框架，
$ D( X! Q2 `; k. C3 l" R. c  O& D具体实现机制如下：
❑序列化层 。 序列化主要作用是将结构化对象转为字节流以便于通过网络进行传输或写入持久存储， 在RPC框架中， 它主
要用于将用户请求中的参数或者应答转化成字节流以便跨机器传输。 前面介绍的Protocol Buffers和Apache Avro均可用在序列化
层， Hadoop本身也提供了一套序列化框架， 一个类只要实现Writable接口即可支持对象序列化与反序列化。
  h' a. `& v! \6 Q3 e& a❑函数调用层 。 函数调用层主要功能是定位要调用的函数并执行该函数， Hadoop RPC采用了Java反射机制与动态代理实现
了函数调用。
5 J  Y6 _% A% n% n7 W❑网络传输层 。 网络传输层描述了Client与Server之间消息传输的方式， Hadoop RPC 采用了基于TCP/IP 的Socket 机制。
❑服务器端处理框架 。 服务器端处理框架可被抽象为网络I/O模型， 它描述了客户端与服务器端间信息交互方式， 它的设计
直接决定着服务器端的并发处理能力， 常见的网络I/O模型有阻塞式I/O、 非阻塞式I/O、 事件驱动I/O等， 而Hadoop RPC采用了基
于Reactor设计模式的事件驱动I/O模型。
; l7 Z. }( _* M; V$ QHadoop RPC总体架构如图3-3所示， 自下而上可分为两层， 第一层是一个基于Java NIO （ New I/O） 实现的客户机–服务器
9 B8 z" P, ~- [8 x- V$ t2 q* e（ C/S） 通信模型。 其中， 客户端将用户的调用方法及其参数封装成请求包后发送到服务器端。 服务器端收到请求包后， 经解
包、 调用函数、 打包结果等一系列操作后， 将结果返回给客户端。 为了增强Sever端的扩展性和并发处理能力， Hadoop RPC采用
了基于事件驱动的Reactor设计模式， 在具体实现时， 用到了JDK提供的各种功能包， 主要包括java.nio（ NIO） 、
+ Z9 X" v& b; M, F6 C# |4 c- x+ D$ o+ Tjava.lang.reflect（ 反射机制和动态代理） 、 java.net（ 网络编程库） 等。 第二层是供更上层程序直接调用的RPC接口， 这些接口底层
1 q5 f  X4 X! f/ _& e1 t即为C/S通信模型。
! b+ x! ~9 Q: e7 }- x, n图3-3 Hadoop RPC总体架构
7 t2 S5 L: F1 S- N$ K1 O- [3.3.4 Hadoop RPC使用方法
* R; }+ N' ?$ S# C6 O- @1 ZHadoop RPC对外主要提供了两种接口（ 见类org.apache.hadoop.ipc.RPC） ， 分别是：
&#10065;public static <T>ProtocolProxy <T>getProxy/waitForProxy(…)： 构造一个客户端代理对象（ 该对象实现了某个协议） ， 用于向
服务器发送RPC请求。
2 N" S' ?# b5 V' g) C* G&#10065;public static Server RPC.Builder (Configuration).build()： 为某个协议（ 实际上是Java接口） 实例构造一个服务器对象， 用于处理
2 b2 t$ t' {$ d7 G% ?1 T  N客户端发送的请求。
2 ~: c0 I1 d$ ], l  ?2 {0 G9 U通常而言， 使用Hadoop RPC可分为以下4个步骤。
1.定义RPC协议
5 A# |0 y7 j# I. BRPC协议是客户端和服务器端之间的通信接口， 它定义了服务器端对外提供的服务接口。 如下所示， 我们定义一个
  ~1 M# n3 w. _& _7 A. a% iClientProtocol通信接口， 声明了echo()和add()两个方法。 需要注意的是， Hadoop中所有自定义RPC接口都需要继承
VersionedProtocol接口， 它描述了协议的版本信息。
interface ClientProtocol extends org.apache.hadoop.ipc.VersionedProtocol {
//版本号， 默认情况下， 不同版本号的RPC Client和Server之间不能相互通信
public static final long versionID = 1L;
String echo(String value) throws IOException;
4 t; n3 |, x- v7 nint add(int v1, int v2) throws IOException;
}
2.实现RPC协议
, E2 a- f, L+ z1 @4 m) zHadoop RPC协议通常是一个Java接口， 用户需要实现该接口。 对ClientProtocol接口进行简单的实现如下所示：
* W8 L9 Z' ?6 I4 _- D  Ppublic static class ClientProtocolImpl implements ClientProtocol {
//重载的方法， 用于获取自定义的协议版本号，
: f3 O  |. l  Z  y4 U) V! \, p4 Kpublic long getProtocolVersion(String protocol, long clientVersion) {
! \1 u) Z9 t# Freturn ClientProtocol.versionID;
}
//重载的方法， 用于获取协议签名
public ProtocolSignature getProtocolSignature(String protocol, long clientVersion,
inthashcode) {
return new ProtocolSignature(ClientProtocol.versionID, null);
9 z7 b: ~' w4 b/ r. H9 ?/ |}p
  N- T! {0 @/ T9 b: _8 ~9 Public String echo(String value) throws IOException {
return value;
$ t0 J4 [9 z4 V0 m( \}
, S% A2 T7 b7 L" X$ v) x# Spublic int add(int v1, int v2) throws IOException {
- p1 ~# P" {* g- c% qreturn v1 + v2;
}
}
3.构造并启动RPC Server
直接使用静态类Builder构造一个RPC Server， 并调用函数start()启动该Server：
9 u7 R; I! k1 p' L3 Y; UServer server = new RPC.Builder(conf).setProtocol(ClientProtocol.class)
) J" \8 L4 y; n" L9 E+ C- E.setInstance(new ClientProtocolImpl()).setBindAddress(ADDRESS).setPort(0)
2 ]8 V) n& @% [. l  L.setNumHandlers(5).build();
' V: I* x) _: aserver.start();
8 e) h: B' m; t8 i/ e其中， BindAddress（ 由函数setBindAddress设置） 和Port（ 由函数setPort设置， 0表示由系统随机选择一个端口号） 分别表示服
务器的host和监听端口号， 而NnumHandlers（ 由函数setNumHandlers设置） 表示服务器端处理请求的线程数目。 到此为止， 服务器
处理监听状态， 等待客户端请求到达。
8 X8 t: n1 P4 D+ I7 K3 x2 v' ~4.构造RPC Client并发送RPC请求
! t5 {2 P/ w8 v使用静态方法getProxy构造客户端代理对象， 直接通过代理对象调用远程端的方法， 具体如下所示：
( {/ g& r$ `/ s9 Y' t3 N, p$ `" Nproxy = (ClientProtocol)RPC.getProxy(
ClientProtocol.class, ClientProtocol.versionID, addr, conf);
3 q5 l: M( [, u% d# _+ }int result = proxy.add(5, 6);
String echoResult = proxy.echo("result");
+ O) l: G+ w0 z' @: y7 I9 U经过以上四步， 我们便利用Hadoop RPC搭建了一个非常高效的客户机–服务器网络模型。 接下来， 我们将深入到Hadoop RPC
内部， 剖析它的设计原理及技巧。