云服务器内容精选

  • MRS 3.2.0-LTS.1.1补丁基本信息 表8 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.1 发布时间 2023-04-07 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 解决的问题 MRS 3.2.0-LTS.1.1 修复问题列表: 解决Hudi性能优化,增加优化参数控制同步Hive schema问题 解决Hudi表包含decimal字段做ddl变更时,执行clustering报错问题 解决MRS 3.1.2版本创建的hudi bucket索引表,在升级后compaction作业失败问题 解决Table can not read correctly when computed column is in the midst问题 解决Hudi的schema evolution和历史版本不兼容问题 解决Fink无法读取低版本Spark用bulk insert方式写入的timestamp类型数据的精度问题 解决mor表delete数据,下游Flink读任务失败问题 解决Flink流写mor开启同步compaction,包含decimal列,Spark添加一列后重启作业,触发compaction执行失败问题 解决Flink写mor表同时sparksql查询,当Flink触发clean后,Spark查询失败问题 解决mor表有rollback,执行cleanData后Flink schedule生成计划,spark run compaction报空指针问题 解决Flink进行批量作业时权限不足导致作业失败问题 解决Flink指定timestamp读Kafka异常的问题 解决Flink写历史版本创建的bucket索引hudi表,索引数据错乱重复fileid问题 解决Flink On HBase当条件为null时,使用错误下推Filter导致漏数问题 解决Flink on hudi解析的时间范围如果超过2262-04-11 23:47:16,则会解析失败,报错overflow问题 解决Spark/Flink写Hudi表,控制归档文件大小的参数不生效问题 解决Spark任务,有多个ddl语句(drop,truncate,create)长时间执行不结束问题 解决Spark建mor表带timestamp,Flink流读数据有误,相差8h问题 解决cow/mor表执行完drop partition后,首次执行delete报错,堆栈异常问题 解决datasource写Hudi表名和同步的Hive表明不一致,写入失败,sql写location指定到一个存量cow表目录,表名不一致,insert成功的问题 CDL链路hudi-dws性能优化 解决CDL升级后业务用户未添加hadoop组,任务启动失败问题 解决CDL hudi-dws链路配置max.commit.number参数时,偶现同步数据丢失问题 解决当CDL存在链接源端库失败的作业,task线程泄漏,导致作业启动超时问题 解决CDL Hudi connector代码中增加hoodie.datasource.hive_sync.skip_sync_schema参数,默认为true,优化元数据同步性能,减少性能毛刺问题 解决CDL读Hudi表出现404失败,找不到rollback.requested问题 解决CDL Task阻塞导致所有任务Task失败问题 解决Yarn的jdbcserver资源超长时间不释放问题 补丁兼容关系 MRS 3.2.0-LTS.1.1补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.2.0-LTS.1.7补丁基本信息 表2 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.7 发布时间 2024-02-21 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 解决的问题 MRS 3.2.0-LTS.1.7修复问题列表: 解决Spark子查询当做列字段执行SQL任务时Ranger鉴权报错。 解决Flink写Hudi失败时,作业从checkpoint恢复失败的问题。 补丁兼容关系 MRS 3.2.0-LTS.1.7补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.2.0-LTS.1.3补丁基本信息 表6 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.3 发布时间 2023-08-04 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性 Manager支持指定节点进行退服入服 MRS集群支持对接LakeFormation MRS对接LakeFormation操作指导,请参见:配置LakeFormation数据连接。 LakeFormation使用流程简介以及约束,请参见:LakeFormation使用流程简介。 Guardian新增开启accesslabel开关 Guardian支持自定义文件生成器 支持添加RangerKMS实例,提供数据加密服务 管控面提交FlinkSQL作业支持元数据管理 解决的问题 MRS 3.2.0-LTS.1.3修复问题列表: 解决Hudi修改long到string后run compaction,spark读失败问题 解决Hudi修改schedule后之前的commit文件被清理,spark compaction失败问题 解决Hudi表有修改列名、删除重新添加列,只进行schedule,spark compaction失败问题 解决Hudi增删改列后run compaction,cdl hudi2dws作业失败报空指针问题 解决Hudi写log会从文件中读schema,log越大读取越慢,影响写入效率问题 解决Hudi subtasks处理数据倾斜,导致300并发的场景下部分资源闲置问题 解决Hudi stg_rtd_hah_ae_t_detail_t表异步compaction失败问题 解决Flink指定COMPLEX创建的hudi表,spark写失败,报KeyGenerator冲突问题 解决Flink提交作业错误提示问题 解决Flink作业异常退出,同一个key的数据做分区变更报NPE的问题 解决Flink作业读hudi log文件报错Did not find the magic bytes at the start of block的问题 解决DataArts Studio作业配置后未从上一个checkpoint重启Flink的问题 解决管控面提交Spark作业长时间运行后访问obs报403问题 解决CDL appid刷新错误,任务显示失败,但实际是运行中的问题 解决CDL Topic Creation失败,报Topic已存在的问题 解决CDL单AZ断网场景,出现作业自动停止的问题 解决CDL任务一直处于正常状态,历史任务id存在失败,仍然上报告警问题 解决CDL单AZ断网后,作业失败,查看appid为空,但是在yarn页面查看任务实际是存在并运行中的问题 补丁兼容关系 MRS 3.2.0-LTS.1.3补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.2.0-LTS.1.5补丁基本信息 表4 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.5 发布时间 2023-10-23 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性 支持在Hue WebUI中使用HetuEngine SQL编辑器。 运维巡检工具查询优化。 Flink流读Hudi新增了对消息滞留时间和消息堆积时间的监控。 解决的问题 MRS 3.2.0-LTS.1.5修复问题列表: 解决Spark-JDBC偶现多租户模式下,driver端口与thriftserver端口一致冲突引发一系列问题。 解决Spark空闲的SparkJDBC任务超过30分钟,没有结束,资源未释放浪费资源问题。 解决HetuEngine在存散分离场景下映射方式对接OBS,查询大数据量时报错的问题。 补丁兼容关系 MRS 3.2.0-LTS.1.5补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.2.0-LTS.1.2补丁基本信息 表7 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.2 发布时间 2023-05-10 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 解决的问题 MRS 3.2.0-LTS.1.2 修复问题列表: 解决Manager无法创建带点字符用户问题 解决IAM同步的用户组无法添加Manager页面上创建的用户问题 解决夏令时时间下组件 on obs功能不可用问题 解决在Manager页面创建备份任务到obs时参数校验异常问题 解决通过API接口提交Spark作业时的日志打印问题 解决修改ClickHouse索引列导致进程重启问题 解决在Manager页面租户管理中动态资源计划显示异常问题 解决修改Clickhouse配置时创建的Zookeeper连接不释放问题 解决在Manager页面ClickHouse组件修改角色添加数据库的create权限,导致已有表的自定义权限丢失问题 补丁兼容关系 MRS 3.2.0-LTS.1.2补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.2.0-LTS.1.4补丁基本信息 表5 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.4 发布时间 2023-10-16 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性 支持在Hue WebUI中使用HetuEngine SQL编辑器。 运维巡检工具查询优化。 解决的问题 MRS 3.2.0-LTS.1.4修复问题列表: 解决Flink读MySQL作业出现的类冲突问题 解决Flink Server提交SQL作业时解码异常错误 解决DataArts Studio提交Flink SQL作业报StackOverflow错误 解决普通集群使用RestA调用FlinkServer的jobs/action时报错 解决Flink客户端不支持-yD或-D配置keytab和principal的问题 解决HetuEngine查询Flink写入的HudiMOR表数据为空的问题 解决HetuEngine对Hudi的bucket索引mor表和mor_rt表查询失败问题 解决HetuEngine查询Hive的LZ4压缩格式数据失败问题 解决HetuEngine查询Hudi的OBS表失败问题 解决HetuEngine多hashkey时,查询条件包含单个hashkey时,无法查出结果的问题 解决Hudi数据源add columns/drop columns之后Hetu查询失败的问题 解决Hudi在replacement场景下无法正常归档文件问题 解决Hudi在InternalSchema转AvroSchema未去掉元字段导致流任务更新数据失败问题 解决Hudi版本升级后出现Spark读hudi表和run compaction失败问题 解决Hudi SQL执行call run_clustering_Mor后,rt/ro表的log数据丢失问题 解决Hudi ro表compaction期间数据查询不出来问题 解决Hudi表带decimal字段做ddl变更,在执行clustering报错问题 解决Hudi Cow/mor表执行完drop partition后,首次执行delete报堆栈异常的问题 解决Hive on Tez查询Hudi的schema演进表报错,需要适配默认InputFormat切分方式问题 解决Spark/Flink写Hudi表,控制归档文件大小的参数不生效的问题 解决Hudi mor表,log中1900前的timestamp数据错误问题 解决HetuEngine查询Hudi数据重复问题 解决Manager中12小时以上监控数据无法导出的问题 解决Manager中节点磁盘使用率和磁盘读速率无法显示一周数据的问题 解决弹性伸缩场景下操作更新集群拓扑时,全表查询TBL_HISTORY_TOPOLOGY导致controller触发OOM问题 解决弹性伸缩过程中出现Metaspace内存不足触发agent重启的问题 解决弹性伸缩场景下OMA进程异常无法采集指标,导致扩缩容任务异常问题 解决大集群中监控数据丢失问题 解决Manager AD对接后同步用户失败问题 解决集群配置ranger元数据外置后RangerAdmin实例启动失败问题 LakeFormation下移混合云,对接lakeformation,policysync同步策略失败整改 解决Spark JDBC模式执行插入耗时过久的问题 解决Hudi-Connector支持bucket裁剪性能优化问题 补丁兼容关系 MRS 3.2.0-LTS.1.4补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.2.0-LTS.1.8补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.8 发布时间 2024-04-23 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 解决的问题 MRS 3.2.0-LTS.1.8修复问题列表: 解决Spark JDBCServer在session关闭超时的时候会出现session一直存在的问题。 解决Spark列字段中的子查询带有distinct聚合函数时执行查询语法报错的问题。 解决DataArts Studio API方式连接Spark SQL查询遇到特殊字符,比如换行时标准的解析会自动换行的问题。 解决Yarn监控图缺失问题。 解决使用Sqoop将MySQL数据导入到Hive中失败的问题。 解决Yarn配置本地化日志级别参数被设置为不支持修改的问题。 Hudi clean与archive逻辑解耦,不执行clean也能执行归档。 解决Hudi的.schema目录下文件找不到的问题。 解决Hudi clean触发时偶现文件mv to trash失败,导致.clean为空,影响Flink流读作业的问题。 Hudi支持changelog特性。 Hudi支持temp view特性。 MRS实时任务告警通知支持显示具体作业名称。 Flink读开启changelog后的表。 解决多AZ集群无法缩容的问题。 解决capacity调度原生页面无法访问队列任务详情的问题。 解决Flink作业无法通过checkpoint恢复的问题(遇到无法从checkpoint启动时:Cannot map checkpoint/savepoint state for operator xxxxx to the new program, because the operator is not available in the new program。需要在第一次启动作业以及通过checkpoint恢复作业时,均添加内核参数table.exec.uid.generation=ALWAYS。)。 Flink用hms方式同步Hive,支持参数配置化。 解决ResourceManager内存泄漏,开源单YARN-11489。 解决Yarn精细化监控部分指标没有数据的问题。 解决3AZ环境DataNode 5个节点,健康度阈值是80%,构造每个AZ下一个DataNode磁盘属主root:root,只有一个DataNode的AZ报了AZ不健康的问题。 解决AZ下缩容DataNode,副本未按照预期AZ策略补齐,导致退服失败的问题。 解决Flink在mysql数据库insert timestamp类型数据,数据通过Flink写入Hudi后和原数据差8小时的问题。 解决HetuEngine SQL查询偶现数组越界报错的问题。 解决IAM同步的用户加入supergroup用户组后,无法删除的问题。 补丁兼容关系 MRS 3.2.0-LTS.1.8补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • 安装补丁的影响 安装MRS 1.9.2.3补丁期间会重启MRS Manager,重启期间会引起MRS Manager服务暂时不可用。 如果集群之前安装了1.9.2.2补丁,安装MRS 1.9.2.3补丁需要滚动重启HDFS、YARN、MapReduce、Kafka组件服务;否则安装MRS 1.9.2.3补丁需要滚动重启Hadoop、Hive、Spark、Kafka、Ranger、Presto以及相关依赖服务,滚动重启服务不断服。 MRS 1.9.2.3补丁安装完成之后,需要关闭指标共享,重新打开指标共享。 慢盘隔离特性约束: 隔离慢盘之前无法判断集群节点是否存在客户私有化数据,因此不要在节点数据盘存放个人私有化数据,避免慢盘隔离时对业务造成影响; 自动触发慢盘隔离动作后,对于原来写两副本数据存在单副本运行的场景,存在一定风险,请知;同时华为侧运维人员会尽快对慢盘进行替换; 慢盘自动隔离能力支持单节点同时出现多个慢盘【默认配置为4】时自动隔离节点,此时该节点会变成隔离状态,客户无需特殊操作,MRS运维相关人员会及时介入处理并恢复。 支持HDFS单副本检测能力 MRS 1.9.2.3补丁中,会增加HDFS单副本检测和告警能力,新增是否允许写入单副本数据配置项dfs.single.replication.enable,对于新建集群该值配置为false,因为HDFS单副本并不属于MRS服务SLA保障范围; 但是对于存量集群,为了考虑兼容性,补丁安装完成后dfs.single.replication.enable配置项值为true,保证客户业务不受影响,建议补丁完成后对于没有单副本诉求时手动修改为false后滚动重启HDFS服务,保证HDFS数据的高可靠; 对于确定存在单副本诉求的文件也可通过dfs.single.replication.exclude.pattern配置项设置单副本的数据文件和目录。 MRS 1.9.2.3补丁安装完成之后,需要重启OMS服务。如果集群之前安装了1.9.2.2补丁,不需要做此操作。 使用root用户登录主备OMS节点,切换至omm用户,执行命令sh ${BIGDATA_HOME}/om-0.0.1/sbin/restart-oms.sh重启OMS服务。 主备OMS节点都需要重启。 MRS 1.9.2.3补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即用户自行搭建的客户端)。如果集群之前安装了1.9.2.2补丁,不需要做此操作。 主Master节点的原始客户端全量更新,请参见全量更新主Master节点的原始客户端。 备Master节点的原始客户端全量更新,请参见全量更新备Master节点的原始客户端。 自行搭建的客户端全量安装方法,请参见安装客户端(3.x之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若用户根据业务场景修改过客户端配置,请在重装客户端后再次修改客户端配置。
  • MRS 1.9.2.3补丁说明 表1 补丁基本信息 补丁号 MRS 1.9.2.3 发布时间 2023-07-30 安装前处理 安装此补丁前,如果之前有装过MRS_1x2x_Patch_Diskmgt_20230308.tar.gz补丁,需要先卸载该补丁,卸载完之后请等待10分钟再执行MRS 1.9.2.3补丁的安装操作。 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 支持运维巡检 支持租户面直接对接CES 支持对慢盘自动隔离能力 支持D系列磁盘热插拔 支持HDFS单副本检测能力 补丁兼容关系 MRS 1.9.2.3补丁包中包含MRS 1.9.2版本已发布的所有补丁已解决的问题。
  • 补丁下载地址 华北-北京一:https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_315_Patch_Diskmgt_v2.1_20230502.tar.gz 华北-北京二:https://mrs-container1-patch-cn-north-2.obs.cn-north-2.myhuaweicloud.com/MRS_Common_Script/MRS_315_Patch_Diskmgt_v2.1_20230502.tar.gz 华北-北京四:https://mrs-container1-patch-cn-north-4.obs.cn-north-4.myhuaweicloud.com/MRS_Common_Script/MRS_315_Patch_Diskmgt_v2.1_20230502.tar.gz 华东-上海一:https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud.com/MRS_Common_Script/MRS_315_Patch_Diskmgt_v2.1_20230502.tar.gz 华东-上海二:https://mrs-container1-patch-cn-east-2.obs.cn-east-2.myhuaweicloud.com/MRS_Common_Script/MRS_315_Patch_Diskmgt_v2.1_20230502.tar.gz 华南-广州:https://mrs-container1-patch-cn-south-1.obs.cn-south-1.myhuaweicloud.com/MRS_Common_Script/MRS_315_Patch_Diskmgt_v2.1_20230502.tar.gz
  • 安装补丁的影响 MRS 3.1.5版本的补丁安装/卸载过程中会自动重启OMS,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装。 慢盘隔离特性约束: 隔离慢盘之前无法判断集群节点是否存在客户私有化数据,因此不要在节点数据盘存放个人私有化数据,避免慢盘隔离时对业务造成影响; 自动触发慢盘隔离动作后,对于原来写两副本数据存在单副本运行的场景,存在一定风险,请知;同时华为侧运维人员会尽快对慢盘进行替换。 慢盘自动隔离能力支持单节点同时出现多个慢盘【默认配置为4】时自动隔离节点,此时该节点会变成隔离状态,客户无需特殊操作,MRS运维相关人员会及时介入处理并恢复。 支持HDFS单副本检测能力 MRS 3.1.5.0.1及之后的补丁中,会增加HDFS单副本检测和告警能力,新增是否允许写入单副本数据配置项dfs.single.replication.enable,对于新建集群该值配置为false,因为HDFS单副本并不属于MRS服务SLA保障范围; 但是对于存量集群,为了考虑兼容性,补丁安装完成后dfs.single.replication.enable配置项值为true,保证客户业务不受影响,建议补丁完成后对于没有单副本诉求时手动修改为false后滚动重启HDFS服务,保证HDFS数据的高可靠; 对于确定存在单副本诉求的文件也可通过dfs.single.replication.exclude.pattern配置项设置单副本的数据文件和目录。 支持EVS磁盘分区容量扩容 MRS 3.1.5.0.3 及之后的补丁版本中diskmgt服务会检测EVS磁盘(受diskmgt服务监控的磁盘)容量是否增加,如果有增加将则会进行该磁盘下分区(单个分区独占磁盘容量)容量和文件系统的扩容,达到自动扩充磁盘分区存储容量的能力。
  • 安装完成后必须的手动操作 MRS 3.1.5.0.1版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上,重启Yarn、HDFS和MapReduce服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 MRS 3.1.5.0.2版本的补丁安装/卸载完成后不需要重启大数据组件。 重启组件的范围,是以补丁依次升级给定的范围,即如果是从MRS 3.1.5.0.1打补丁升级到MRS 3.1.5.0.2,需要重启MRS 3.1.0.0.2补丁的组件;如果是跨版本升级的,则需要重启的组件范围是各补丁的合集。 MRS 3.1.5.0.3版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上,重启ClickHouse、HDFS、Kafka、Kudu、MapReduce、Yarn和ZooKeeper服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 MRS 3.1.5.0.3版本的补丁安装完成后,如需对接CES,请联系运维处理。
  • MRS 3.1.5.0.2补丁基本信息 表2 补丁基本信息 补丁号 MRS 3.1.5.0.2 发布时间 2023-08-20 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 MRS Manager 支持安装root权限的补丁 解决的问题 不涉及 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.5.0.2补丁包中已包含所有MRS 3.1.5版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.5.0.1补丁基本信息 表3 补丁基本信息 补丁号 MRS 3.1.5.0.1 发布时间 2023-05-08 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 MRS Manager 支持对慢盘自动隔离能力 说明: 如果需要打开慢盘隔离特性,在安装此补丁前,需要先安装支持慢盘隔离特性的定制补丁MRS_315_Patch_Diskmgt_v2.1_20230502.tar.gz,补丁下载地址请参考补丁下载地址。 大数据组件 支持HDFS单副本检测能力 解决的问题 不涉及 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.5.0.1补丁包中已包含所有MRS 3.1.5版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。
  • MRS 3.1.5.0.3补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.1.5.0.3 发布时间 2023-11-27 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 安装MRS 3.1.5.0.3补丁前,需要先安装MRS 3.1.5.0.2补丁,以支持root权限的补丁能力。 新特性和优化 MRS Manager 支持对慢盘自动隔离能力 支持EVS磁盘分区容量扩容 支持D系列磁盘热插拔 支持运维巡检特性 支持监控指标上报CES 支持HDFS单副本检测能力 解决的问题 不涉及 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.5.0.3补丁包中已包含所有MRS 3.1.5版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。