检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
starting 1 now 1 kafka 2 streams 2 is 2 running 1 test 3 end 1 父主题: 调测Kafka应用
starting 1 now 1 kafka 2 streams 2 is 2 running 1 test 3 end 1 父主题: 调测Kafka应用
starting 1 now 1 kafka 2 streams 2 is 2 running 1 test 3 end 1 父主题: 调测Kafka应用
case $master in "yarn") deploy=`echo $mode | awk '{print $3}'` if [[ "$mode" =~ "--deploy-mode" ]];then deploy=$deploy
等。支持的全部操作请参见API概览。 在调用MRS服务API之前,请确保已经充分了解MRS服务相关概念,详细信息请参见产品介绍。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。如果仍需使用V1.1作业管理接口,请在历史API中,获取相关接口。
separator; conf.addResource(new Path(userdir + "core-site.xml")); ...... 方法3: 在代码中,设置“hadoop.security.authentication”为“kerberos”,例如: ......
选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后即生效,不需要重启服务。 日志格式 Flume的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level><产生该日志的线程名字
次运行该批处理任务时,已经成功执行完成的任务不再重新执行,直接从HiveServer2宕机时正在运行的任务开始运行。 本章节适用于MRS 3.x及后续版本。 操作示例 beeline启动断线重连功能。 示例: beeline -e "${SQL}" --hivevar batchid=xxxxx
该用户需要从属于hadoop、supergroup、hive组,同时添加Oozie的角色操作权限。若使用Hive多实例,该用户还需要从属于具体的Hive实例组,如hive3。 用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10
左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,单击“确定”,处理结束后生效。 日志格式 Oozie的日志格式如下所示。 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS><Log Level><日志事件的发生位置>|<log中的message>
单击“保存”,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 ZooKeeper的日志格式如下所示: 表3 日志格式 日志类型 组件 格式 示例 运行日志 zookeeper quorumpeer <yyyy-MM-dd HH:mm:ss,SSS>|<Log
单击“保存”,然后单击“确定”,成功后配置生效。 配置完成后即生效,不需要重启服务。 日志格式 ClickHouse的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 ClickHouse运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level><
点,请选择其他规格节点进行购买。 Master节点中的4核8GB规格不在SLA售后范围内,仅适用于测试环境,不建议用于生产环境。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群节点磁盘类型 表1 MRS集群节点磁盘类型 磁盘角色 描述 系统盘 节点系统盘的存储类型和存储空间。
阈值,则发送告警。 单击规则“操作”列的“修改”,根据实际情况更改告警阈值。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行3。 检查磁盘IO利用率是否达到上限。 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,在告警列表中展开此
密码)。 执行如下命令,检查发出告警的目录下的文件或目录是否是可以删除的无用文件。 hdfs dfs -ls 产生告警的目录路径 是,执行3。 否,执行5。 执行如下命令。删除无用的文件。 hdfs dfs -rm -r -f 文件或目录路径 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。
DFS的空间大小可在Hive的监控界面查看监控指标“Hive已经使用的HDFS空间大小”。 检查该告警是否恢复。 是,操作结束。 否,执行3。 对系统进行扩容。 对系统进行扩容。 检查该告警是否恢复。 是,操作结束。 否,执行5。 检查数据节点是否正常。 在FusionInsight
进程故障”告警产生。 是,执行2。 否,执行5。 在“ALM-12007 进程故障”的“定位信息”中查看“服务名”是否为“ZooKeeper”。 是,执行3。 否,执行5。 参考ALM-12007 进程故障的处理步骤处理该故障。 在告警列表中,查看“ALM-16047 HiveServer已从Zookeeper注销”告警是否清除。
位信息”中的角色名以及确认主机名所在的IP地址。 告警上报的角色是HMaster,执行2。 告警上报的角色是RegionServer,执行3。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”,单击告警上报的
服务列表包含了集群中所有已安装的组件,如果选择“平铺视图”,则显示为窗格样式;如果选择“列表视图”,则显示为表格样式。 本章节默认以“列表视图”进行介绍。 图3 MRS集群组件列表 在指定服务名称后的操作列中选择“停止服务”。 也可以单击待操作的服务名称,进入服务详情页面后,单击页面右上角的“停止服务”。
properties,搜索配置文件中是否有“type = spooldir”关键字确认Flume Source是否是spooldir类型。 是,执行2。 否,执行3。 查看设置的spoolDir监控目录,是否所有的文件均已传输完毕。 是,处理完毕。 否,执行5。 spoolDir的监控目录为用户自定义配置文件properties