java自学网VIP

Java自学网

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 3124|回复: 0

《深入解析YARN架构设计与实现原理》第3章 YARN基础库【3.1】

[复制链接]
  • TA的每日心情
    开心
    2021-5-25 00:00
  • 签到天数: 1917 天

    [LV.Master]出神入化

    2100

    主题

    3758

    帖子

    6万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    66834

    宣传达人突出贡献优秀版主荣誉管理论坛元老

    发表于 2017-4-14 11:10:24 | 显示全部楼层 |阅读模式
    第二部分 YARN 核心设计篇
    7 K! N1 u2 P& `: b6 mYARN是一个通用资源管理系统, 可为上层应用提供统一的资源管理和调度, 它的引入为集群在利用率、 资源统一管理和数
    3 N6 r8 L% l% z9 b) ~. I: @据共享等方面带来了巨大好处。 本书第二部分将从底层基础库、 应用程序编程接口、 运行时环境等方面深入剖析
    YARN的内部原4 y% r9 o6 e) p7 P1 {: x" c$ m7 [
    理和实现, 读者通过对这部分的学习应可编写出运行在
    YARN上的应用程序, 且能根据实际项目需求完成对YARN的二次开发。: p2 M+ N  |( E1 l, F# d$ w
    3YARN基础库
    3 {: V3 F9 L6 _" ]. Q
    MRv1的实现相比, YARN的实现要复杂得多。 YARN借用了MRv1的一些底层基础库( 如RPC库) , 因为引入了很多新的- \1 @5 v6 T+ R, f/ l7 P! M# L
    软件设计方式, 它的基础库更多, 例如直接使用开源序列化框架
    Protocol BuffersApache Avro, 及自定义的服务库、 事件库和状
    . H5 m% ^& c7 }; S6 k; Y态机等。
    8 u1 K  z8 \4 p. I3 l/ T9 w, N3 @本章介绍的
    YARN基础库是理解后面几章内容的基础, 重要性不言而喻。 其中有些基础库是开源的, 并且被广泛使用, 读者3 n7 m+ ^3 r$ N  U9 i5 @9 L# W$ j# W
    可根据自己的情况选择性阅读。

      X& Q" z: j% e8 z* y) @+ [3.1 概述
    & G  N# p7 U; w2 t( a' ]' g
    YARN基础库是其他一切模块的基础, 它的设计直接决定了YARN的稳定性和扩展性, 概括起来, YARN的基础库主要有以
    . A: d$ L. a+ E8 F, w( f% ]& {下几个。
    ! G' ]  {# P8 b
    ❑Protocol BuffersProtocol BuffersGoogle开源的序列化库, 具有平台无关、 高性能、 兼容性好等优点。 YARNProtocol4 F$ }, t* e9 T
    Buffers
    用到了RPC通信中, 默认情况下, YARN RPC中所有参数采用Protocol Buffers进行序列化/反序列化, 相比于MRv1中基于自
    ( ~( |& M7 O. _2 g5 z定义
    Writable框架的方式, YARN在向后兼容性、 扩展性等方面提高了很多。
    " s& N: V/ @2 X( |- o6 C
    ❑Apache AvroAvroHadoop生态系统中的RPC框架, 具有平台无关、 支持动态模式( 无需编译) 等优点, Avro的最初设+ f7 a4 S% J! \8 Q: M
    计动机是解决
    YARN RPC兼容性和扩展性差等问题, 目前, YARN采用Avro记录MapReduce应用程序日志( 用于故障后应用程序
    0 y: |+ r* @( I# [6 C$ k. m$ j1 G9 L恢复) , 今后可能代替
    Protocol Buffers作为RPC辅助库( 至少会作为一个可选方案) 。
    2 V6 g$ I6 e5 e! v+ m9 ?+ d- `6 _
    ❑RPC库: YARN仍采用了MRv1中的RPC库, 但其中采用的默认序列化方法被替换成了Protocol Buffers) O7 E* M" ~+ C1 B
    ❑服务库和事件库: YARN将所有的对象服务化, 以便统一管理( 比创建、 销毁等) , 而服务之间则采用事件机制进行通0 [0 N4 t! [0 T; C& [
    信, 不再使用类似
    MRv1中基于函数调用的方式。
    / z+ h. X, o9 o' M1 M5 Y6 k9 m4 m
    ❑状态机库: 状态机是一种表示有限个状态以及在这些状态之间的转移和动作等行为的数学模型。 在YARN中, 很多对象都
    + w4 N  n/ r: x# y是由若干状态组成的, 且当有事件发生时, 状态之间会发生转移, 比如作业、 任务、
    Container等, 而YARN正是采用有限状态机
    ( d5 t+ R/ [: k3 R$ e$ Q6 D. ^描述一些对象的状态以及状态之间的转移。 引入状态机模型后, 相比
    MRv1YARN的代码结构更加清晰易懂了。  B( K# G3 N0 Z6 _
    理解以上这几个库是阅读后面几章的基础, 本章将详细介绍这几个库。
      4 K' ]8 n, o9 u" Y2 e. V/ H8 W

    : M* E: \! l) u, J% o% N  G6 H" s: c2 W. ^% T- z
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|Archiver|手机版|小黑屋|Java自学网

    GMT+8, 2025-4-20 20:26 , Processed in 0.937887 second(s), 31 queries .

    Powered by Javazx

    Copyright © 2012-2022, Javazx Cloud.

    快速回复 返回顶部 返回列表