检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”,完成后重启服务使配置生效。 日志格式 Loader的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名
现任何故障,NameNode仍会被添加至黑名单。 图1 NameNode blacklisting状态图 约束与限制 本章节适用于MRS 3.x及后续版本。 配置NameNode故障转移机制 登录FusionInsight Manager。 登录集群Manager具体操作,请参考访问MRS集群Manager。
Task中从本地磁盘或者Distributed Cache中按桶一个一个读取小表内容,然后与大表做匹配直接得到结果并输出。 Join顺序优化 当有3张及以上的表进行Join时,选择不同的Join顺序,执行时间存在较大差异。使用恰当的Join顺序可以有效缩短任务执行时间。 Join顺序原则:
配置等配置文件内容,以供运维人员在需要快速排查实例对应配置项是否配置错误或者查看部分隐藏类型的配置项。 约束与限制 本章节仅适用于MRS 3.x及以后版本。 查看已修改的组件参数 登录MRS集群Manager界面。 登录集群Manager界面请参考访问MRS集群Manager。 选择“集群
面。 在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”。 单击“Add New Policy”,为3新建的用户组添加相应OBS路径的“Read”和“Write”权限,OBS目录若不存在则需要提前创建,且不允许带通配符*。 图1 为Flink用户组新增OBS路径读和写的权限
检查RegionServer的GC时间。 在FusionInsight Manager的告警列表中,查看1中的告警实例是否有“HBase GC时间超出阈值”告警产生。 是,执行3。 否,执行5。 参考“ALM-19007 HBase GC时间超出阈值”的处理步骤处理该故障。 等待几分钟后,在告警列表中查看该告警是否清除。
告警”。查看当前告警详细信息,在定位信息中查看告警上报的Kafka消费者组名称,在附加信息中查看Topic名称。 根据实际情况判断消费者组是否为新创建。 是,执行3。 新创建的消费者组,新消费者会从头开始消费Topic中的消息,产生消息积压告警属于正常现象,待下游消费Topic中消息后,告警会自动消除。
确定”,查看JobHistory2x进程使用的堆内存是否已达到JobHistory2x进程设定的最大堆内存的阈值(默认95%)。 是,执行3。 否,执行7。 图1 JobHistory2x内存使用率统计 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x
”,查看JobHistory2x进程使用的直接内存是否已达到JobHistory2x进程设定的最大直接内存的阈值(默认95%)。 是,执行3。 否,执行7。 图1 JobHistory2x内存使用率统计 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x
”,查看JDBCServer2x进程使用的非堆内存是否已达到JDBCServer2x进程设定的最大非堆内存的阈值(默认95%)。 是,执行3。 否,执行7。 图1 JDBCServer2x内存使用率统计 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x
”,查看IndexServer2x进程使用的堆内存是否已达到IndexServer2x进程设定的最大堆内存的阈值(默认95%)。 是,执行3。 否,执行7。 图1 IndexServer2x内存使用率统计 在FusionInsight Manager首页,选择“集群 > 服务 >
查看IndexServer2x进程使用的非堆内存是否已达到IndexServer2x进程设定的最大非堆内存的阈值(默认95%)。 是,执行3。 否,执行7。 图1 IndexServer2x内存使用率统计 在FusionInsight Manager首页,选择“集群 > 服务 >
单击“确定”,查看IndexServer2x进程使用的直接内存是否已达到IndexServer2x进程设定的最大直接内存的阈值。 是,执行3。 否,执行7。 图1 IndexServer2x内存使用率统计 在FusionInsight Manager首页,选择“集群 > 服务 >
阈值(默认为80%)。若未查看到该监控项,可单击图表区域右上角的下拉菜单,选择“定制 > 磁盘”,勾选“HDFS磁盘容量比率”。 是,执行3。 否,执行11。 在“基本信息”区域,单击发生故障的NameService的“NameNode(主)”,进入HDFS WebUI页面。 a
/cwiki.apache.org/confluence/display/hive/languagemanual。 是,执行4。 否,执行3。 若想查看执行错误语句的用户,可下载产生该告警的HiveServer节点的HiveServerAudit日志,下载的“开始时间”和“结束时
查看“定位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HiveServer,执行2。 告警上报的角色是MetaStore,执行3。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”,单击告警上报的H
查看“定位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HiveServer,执行2。 告警上报的角色是MetaStore,执行3。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”,单击告警上报的H
执行ping命令,查看故障RegionServer节点和备集群RegionServer所在主机的网络连接是否正常。 是,执行5 否,执行3 联系网络管理员恢复网络。 网络恢复后,在告警列表中,查看本告警是否清除。 是,处理完毕。 否,执行5。 检查主集群RegionServer的Region分布情况
执行ping命令,查看故障RegionServer节点和备集群RegionServer所在主机的网络连接是否正常。 是,执行5 否,执行3 联系网络管理员恢复网络。 网络恢复后,在告警列表中,查看本告警是否清除。 是,处理完毕。 否,执行5。 检查主集群RegionServer的Region分布情况
regionserver.handler.count”,查看RegionServer角色对应的该参数值是否过低,默认值是“200”。 是,执行3。 否,执行5。 适当调大参数值并保存配置,选择“集群 > 服务 > HBase > 实例”,勾选受影响的“RegionServer”实例,选择“更多