MAPREDUCE服务 MRS-MRS 1.9.0.8、1.9.0.9、1.9.0.10补丁说明:安装补丁的影响

时间:2023-11-21 19:41:13

安装补丁的影响

  • 安装MRS 1.9.0.10补丁期间会重启MRS Manager,滚动重启Hadoop、Hive、Spark、Presto以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。
  • MRS 1.9.0.10补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。
    • 重新安装客户端前建议先对老客户端进行备份。
    • 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。
  • (可选)通过委托获取临时AKSK访问OBS场景下,通过参数“fs.obs.auth.node-cache-short-circuit.enable”的不同配置控制是否允许访问ECS元数据接口,从而控制是否允许触发ECS流控。

    MRS集群支持通过委托获取临时AKSK访问OBS。临时AKSK通过ECS元数据接口获取。ECS元数据接口有单机器5分钟140次的流控阈值,触发流控后机器被加入黑名单,30分钟内不能再次请求元数据接口。为防止触发流控,MRS实现了节点级别跨进程的缓存服务meta,用于缓存临时AKSK。

    使用场景:适用于通过委托适用临时aksk访问OBS的Spark,Hadoop等Yarn作业。配置在客户端core-site.xml中。

    默认配置为true,MRS集群上的Yarn应用进程首先从节点级缓存服务meta中获取临时aksk。若meta故障,则从ecs元数据接口获取临时AKSK。

    如果希望meta故障时也不直接访问ECS元数据接口,以免触发流控导致节点被加入黑名单,则将参数配置为false。

support.huaweicloud.com/usermanual-mrs/mrs_01_9039.html