MAPREDUCE服务 MRS-MRS 3.1.0版本补丁说明:MRS 3.1.0.0.1补丁基本信息

时间:2024-06-19 14:12:56

MRS 3.1.0.0.1补丁基本信息

表11 补丁基本信息

补丁号

MRS 3.1.0.0.1

发布时间

2023-02-02

安装前处理

安装此补丁前,需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz,补丁下载地址请参考补丁下载地址

如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。

新特性和优化

  • MRS Manager

    优化磁盘不可写故障告警上报逻辑

    租户面支持直接对接CES

  • 大数据组件

    ClickHouse提高轻量级突变的优先级

    ClickHouse允许空HTTP标头

    优化ClickHouse客户端命令

    ClickHouse SummingMergeTree引擎支持简单聚合函数数据类型

    ClickHouse支持用户名密码同步到metrika.xml中每个replica配置中

    ClickHouse开放users.xml自定义配置到页面

    支持修改Ranger Usersync对接的外部用户的相关配置项

    MapReduce开放Task重试节点黑名单配置阈值,默认值修改为34保证单节点故障作业重试可靠性

    Yarn适配小规模集群下AM黑名单失效导致作业重试失败,默认值修改为0.34保证单节点故障作业重试可靠性

    Yarn实现Container在磁盘级别的可靠性

    hue界面使用hivesql特性

解决的问题

MRS 3.1.0.0.1 修复问题列表:

  • MRS Manager

    解决由于某个节点nodeagent故障导致偶现缩容失败问题

    解决主master节点主网卡down30分钟,集群未发生主备倒换,集群状态异常问题

    解决磁盘不可读磁盘故障告警无法上报问题

    解决主节点正常备份,备节点master2备份文件不老化问题

  • 大数据组件

    解决Hive不兼容开源Sqoop 1.4.7问题

    解决Hive beeline -p输入密码无效问题

    解决[HiveSQL] Support manual skipping partial aggregate问题

    解决Hive并发插入不同分区,存在分区数据丢失问题

    解决Hive in语句被转换为or语句,造成性能损耗问题

    解决Hive会话心跳检测判断问题

    解决Hive高并发场景下会话积累问题

    解决oozie运行workeflow报错问题

    解决flink通过jdbc连接到clickhouse的9000端口超时问题

    解决ClickHouse读取分布式表超时,没反应;数据迁移任务超时卡住,迁移失败;远程查询超时卡住问题

    解决使用clickhouse benchmark 命令连接lb执行查询,并发数超过1个时,偶现coredump问题

    解决ClickHouse HTTP请求为HTTP_BAD_REQUEST时出现crash问题

    解决ClickHouse HTTP块大小限制问题

    解决ClickHouse普通模式集群用户名密码修改、数据迁移问题

    解决ClickHouse安全集群场景下滚动重启失败问题

    解决ClickHouse扩容后manager上原有的用户和角色未同步至新节点的问题

    解决ClickHouse 普通集群执行remote语句失败问题

    解决ClickHouse实例扩容后,扩容节点分布式表的本地表未创建成功问题

    解决ClickHouse修复偶现的证书同步失败导致组件启动失败问题

    解决ClickHouse toWeek函数单调性问题

    解决ClickHouse WITH FILL 和WITH TOTALS 计算问题

    解决ClickHouse 表列名数字开头时,表join查询时无法成功的问题

    解决ClickHouse replaceRegexpAll的问题

    解决安全集群clickhouse二进制的LD_LIBRARY_PATH环境变量偶现失效问题

    解决在节点上看不到kudu的pid信息问题

    解决开启cas认证后,kudu服务不可用问题

    解决Kudu健康检查无法检测到故障问题

    解决impala manager页面上的配置未生效问题

    解决集群扩容task节点,managr中的主机列表中的host无impala实例信息问题

    解决HUE页面无法访问问题

    解决hue导出excel导致临时目录残留文件问题

安装完成后必须的手动操作

请参考安装完成后必须的手动操作

补丁兼容关系

MRS 3.1.0.0.1补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。

安装补丁的影响

请参考安装补丁的影响

support.huaweicloud.com/usermanual-mrs/mrs_01_24872.html