检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对系统影响 操作过程中需要重启Oozie服务。重启过程中,Oozie服务无法提供服务。 前提条件 已安装Oozie、ZooKeeper服务,且服务正常运行。 没有任务正在运行。
查看调测结果 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 >服务 > Mapreduce > JobHistoryServer”进入Web界面后查看任务执行状态。
City5 20200101250,王xx,20150315,男,City6 20200101251,李xx,20151201,男,City7 20200101252,孙xx,20150916,女,City8 20200101253,林xx,20150303,男,City9 登录对象存储服务
进入实例页面查看JobServer或JobBalancer全部实例是否故障或未启动,并查看故障或未启动实例所在节点的主机名。 在FusionInsight Manager的“告警”页面,查看是否有“NodeAgent进程异常”告警产生。 是,执行3。 否,执行6。
通过MapReduce服务的WebUI进行查看 登录MRS Manager,单击“服务管理 > MapReduce > JobHistoryServer”进入Web界面后查看任务执行状态。
安装补丁的影响 安装MRS 2.1.0.2补丁期间会重启MRS Manager,滚动重启Hive、Spark、HDFS、yarn、Mapreduce、Presto、HBase以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。
DATE_FORMAT(zw_test, 'mm') FROM default_catalog.default_database.test_kafka; MRS 3.2.0及之前版本创建Catalog时需要在WITH参数中指定hive配置文件路径,例如:'hive-conf-dir'='obs
ApplicationStart,ApplicationEnd,LogStart)写入日志文件中,Job事件(StageSubmitted, StageCompleted, TaskResubmit, TaskStart,TaskEnd, TaskGettingResult, JobStart
安装补丁的影响 安装MRS 2.1.0.3补丁期间会重启MRS Manager,滚动重启Hive、Spark、HDFS、Yarn、Mapreduce、Presto、HBase以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。
OBS包升级 JDK版本升级 解决Yarn的ResourceManager内存泄漏问题 增加对调用ECS getSecuritykey接口异常的监控 优化刷新临时AK/Sk流程 解决ResourceManager内存泄露问题 解决Hive union语句合并小文件报错问题 解决Hadoop
该参数基于集群的EIP访问集群中的Yarn WebUI页面,用户如果在VPC界面解绑EIP,MRS服务侧数据会因为未更新导致该参数引用旧EIP导致访问失败,可通过对集群重新绑定EIP来修复该问题。
数据容灾与备份 容灾:MRS支持将数据备份到对象存储服务(OBS)中,支持跨区域的高可靠性。 备份:MRS支持针对OMS、Kafka、DBService、NameNode等组件的元数据备份和对HDFS、HBase、Hive等组件的业务数据备份。
可以参考备份数据将数据备份到第三方服务器,例如备份到:远端HDFS(RemoteHDFS)、NAS(NFS/CIFS)、SFTP服务器(SFTP)、OBS。 创建备份任务成功后,等待2分钟,检查告警是否消除。 是,处理完毕。 否,执行6。 收集故障信息。
配置输出算子,输出到HDFS/OBS,结果如下: 父主题: 输入算子
登录yarn服务原生界面上查看客户端连接的flink集群状态是否为Running状态。 确认提交任务所使用客户端与当前使用客户端是否为同一个,配置项“high-availability.zookeeper.path.root”是否相同。 父主题: 使用Flink
操作步骤 使用omm用户登录安装了Hive服务的节点,执行以下命令进入Hive安装目录。
配置输出算子,输出到HDFS/OBS,结果如下: 父主题: Loader输入类算子
通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > JobHistoryServer”进入Web界面后查看任务执行状态。
通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > JobHistoryServer”进入Web界面后查看任务执行状态。
表1 MRS管理控制台与Manager区别说明 常用操作 MRS管理控制台 MRS集群Manager 切换子网、添加安全组规则、OBS权限控制、管理委托、IAM用户同步 支持 不支持 新增节点组、扩容、缩容、升级规格 支持 不支持 隔离主机、启动所有角色、停止所有角色 支持 支持