MAPREDUCE服务 MRS-MapReduce开源增强特性:MapReduce开源增强特性:JobHistoryServer HA特性

时间:2023-11-07 14:09:49

MapReduce开源增强特性:JobHistoryServer HA特性

JobHistoryServer(JHS)是用于查看MapReduce历史任务信息的服务器,当前开源JHS只支持单实例服务。JobHistoryServer HA能够解决JHS单点故障时,应用访问MapReduce接口无效,导致整体应用执行失败的场景,从而大大提升MapReduce服务的高可用性。

图1 JobHistoryServer HA主备倒换的状态转移过程

JobHistoryServer高可用性

  • 采用ZooKeeper实现主备选举和倒换。
  • JobHistoryServer使用浮动IP对外提供服务。
  • 兼容JHS单实例,也支持HA双实例。
  • 同一时刻,只有一个节点启动JHS进程,防止多个JHS操作同一文件冲突。
  • 支持扩容减容、实例迁移、升级、健康检查等。
support.huaweicloud.com/productdesc-mrs/mrs_08_005003.html