华为云首页用户手册

MAPREDUCE服务 MRS-MRS 3.1.0版本补丁说明:安装完成后必须的手动操作

时间：2024-06-19 14:12:56

MAPREDUCE服务 MRS MRS补丁说明

安装完成后必须的手动操作

支持HDFS单副本检测能力
 MRS 3.1.0.0.2补丁以及之后的补丁中，会增加HDFS单副本检测和告警能力，新增是否允许写入单副本数据配置项dfs.single.replication.enable，对于新建集群该值配置为false，因为HDFS单副本并不属于MRS服务SLA保障范围；但是对于存量集群，为了考虑兼容性，补丁安装完成后dfs.single.replication.enable配置项值为true，保证客户业务不受影响，建议补丁完成后对于没有单副本诉求时手动修改为false后滚动重启HDFS服务，保证HDFS数据的高可靠；对于确定存在单副本诉求的文件也可通过dfs.single.replication.exclude.pattern配置项设置单副本的数据文件和目录。
MRS 3.1.0.0.1版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上同步集群配置，重启ClickHouse、Flink、Hadoop、HDFS、Hue、Kudu、meta、Presto、Spark2x、Yarn、DBService、Flume、HBase、Hive、Impala、MapReduce、Oozie、Ranger和Sqoop服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。
MRS 3.1.0.0.8版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启ClickHouse、Flink、Hadoop、HDFS、Hue、Kafka、MapReduce、Oozie、Ranger、Sqoop、Yarn、DBService、Flume、HBase、Hive、Impala、Kudu、meta、Presto、Spark2x、Tez和ZooKeeper服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。
MRS 3.1.0.0.9版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启Hadoop、HDFS、MapReduce、Yarn和Hive服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。
MRS 3.1.0.0.10版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HDFS、MapReduce、Yarn和Spark2x服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。
MRS 3.1.0.0.11版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HDFS、MapReduce、Yarn、Spark2x、Hive、ClickHouse和Hue服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。
MRS 3.1.0.0.12版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HBase和ClickHouse服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。
MRS 3.1.0.0.15版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HDFS、MapReduce、Yarn、Impala、Kudu、Spark和Hive服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。

重启组件的范围，是以补丁依次升级给定的范围，即如果是从MRS 3.1.0.0.7打补丁升级到MRS 3.1.0.0.8，需要重启MRS 3.1.0.0.8补丁的组件；如果是跨版本升级的，则需要重启的组件范围是各补丁的合集。
MRS 3.1.0版本如果安装了Spark服务，需要在补丁安装完成后在主oms节点执行HDFS上zip包的升级操作：
1. 使用root用户，登录集群主节点，执行如下命令：
  su - omm
  
  cd /opt/Bigdata/patches/{MRS补丁版本号}/client/
  
  所有涉及{MRS补丁版本号}目录名称的操作，均以实际安装的补丁号为准。
  
  例如：cd /opt/Bigdata/patches/MRS_3.1.0.0.1/client/
  
  source /opt/Bigdata/client/bigdata_env
2. 安全集群需要认证对HDFS有权限的用户，普通集群无需执行：
  kinit {用户}
3. 执行升级hdfs上的包：
  sh update_hdfs_file.sh
4. （可选）回退（卸载完补丁后执行）:
  sh rollback_hdfs_file.sh
5. 升级/回退完成后需要在FusionInsight Manager Web界面上重启Spark的JDBCServer2x实例。
如果有使用人为安装的客户端（集群内、外新下载客户端），需要执行客户端升级或者回退的操作：
1. 登录集群主节点:
  cd /opt/Bigdata/patches/{MRS补丁版本号}/download/
2. 将补丁安装包拷贝到客户端机器/opt/目录下：
  scp patch.tar.gz {客户端机器IP}:/opt/
  
  如：scp patch.tar.gz 127.0.0.1:/opt/
3. 登录客户端所在节点。
4. 执行命令创建补丁目录并解压补丁包：
  mkdir /opt/{MRS补丁版本号}
  
  tar -zxf /opt/patch.tar.gz -C /opt/{MRS补丁版本号}
5. 补丁升级/回退。
  - 执行客户端补丁升级：
    1. 登录客户端所在节点
       cd /opt/{MRS补丁版本号}/client
      
      sh upgrade_client.sh upgrade {客户端安装目录}
      
      如：sh upgrade_client.sh upgrade /opt/client/
  - 执行客户端补丁回滚（卸载完补丁后执行）：
    1. 登录客户端所在节点
       cd /opt/{MRS补丁版本号}/client
      
      sh upgrade_client.sh rollback {客户端安装目录}
      
      如：sh upgrade_client.sh rollback /opt/client/