检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ell脚本里涉及到的所有目录文件有足够权限。 如果Oozie具有多个节点,需要在所有Oozie节点执行2~3。 使用omm用户登录依次其他Oozie所在节点,重复执行2-3。 父主题: 使用Hue提交Oozie作业
为什么不同服务之间互相删除UDF失败 问题 不同服务之间互相删除UDF失败,例如,Spark SQL无法删除Hive创建的UDF。 回答 当前可以通过以下3种方式创建UDF: 在Hive端创建UDF。 通过JDBCServer接口创建UDF。用户可以通过Spark Beeline或者JDBC客户
-所有实例”右上角的放大图标,选择“分布图”,查看Broker上分区分布是否均衡。 图1 Broker上分区分布不均衡示例 是,执行步骤 3。 否,执行步骤 4。 如果Broker上分区均衡,说明Kafka集群超规格使用,需要扩容Broker实例。然后执行步骤 5。 在Manager界面选择“集群
Worker进程垃圾收集时间超出阈值(2.x及以前版本) 告警解释 系统每30s周期性采集Presto Worker进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。用户可在MRS Manager中通过“系统设置 > 阈值配置 > 服务 > Presto > Worker >
ALM-12104 knox资源异常 告警解释 HA每70秒周期性检测Manager的knox资源。当HA连续3次检测到knox资源异常时,产生该告警。 当HA检测到knox资源正常后,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12104 重要 是 告警参数 参数名称
5及之后版本。 告警解释 系统每30s周期性采集Presto Coordinator进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。当 Coordinator进程GC时间小于或等于告警阈值时,告警清除。 告警属性 告警ID 告警级别 可自动清除
系统每60秒周期性检测JobHistory2x进程的Full GC次数,当检测到JobHistory2x进程的Full GC次数超出阈值(连续3次检测超过12次)时产生该告警。用户可通过“运维 > 阈值设置 > Spark2x > GC次数 > JobHistory2x的Full G
默认情况下,系统只有一个用户“admin”具有Manager最高操作权限。管理员应根据实际业务场景需要,通过Manager创建新用户并指定其操作权限以满足业务使用。 MRS 3.x及之后版本,FusionInsight Manager最大支持50000个用户(包括系统内置用户)。 MRS 2.x及之前版本,MRS Manager最大支持1000个用户。
根据业务需要备份Manager配置数据(MRS 3.x及之后版本) 备份类型 备份内容 备份目录类型 OMS 默认备份集群管理系统中的数据库数据(不包含告警数据)以及配置数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS SFTP OBS 表3 根据业务需要备份组件元数据或其他数据(MRS
Oozie连接ZooKeeper状态异常 告警解释 在HA模式下,Oozie会依赖ZooKeeper,当检测到与ZooKeeper的连接状态连续3次异常时,产生该告警。 当检测到Oozie连接ZooKeeper状态正常时,告警清除。 该章节适用于MRS 3.3.0及之后版本。 告警属性
系统每60秒周期性检测IndexServer2x进程的Full GC次数,当检测到IndexServer2x进程的Full GC次数超出阈值(连续3次检测超过12次)时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > Spark2x > GC次数 > IndexServer2x的Full
FE安装节点有多个网卡IP,没有正确设置“priority_network”参数导致FE启动时匹配了错误的IP地址。 集群内多数Follower FE节点未启动,例如有3个Follower FE,只启动了一个。 处理步骤 登录FusionInsight Manager,选择“集群 > 服务 > Doris >
Spark WebUI页面无法跳转到任务日志页面 问题现象 使用MRS 3.x版本集群,运行Spark任务,在Spark2x服务的WebUI页面上无法直接单击stderr和stdout跳转到日志页面。 原因分析 配置项“spark.httpdProxy.enable”未开启。 修改配置项查看日志处理步骤
查看Storm状态。 对于MRS 3.x之前的版本集群:登录MRS Manager,在MRS Manager页面,选择“服务管理 > Storm”,查看Storm服务当前状态,发现状态为“良好”,且监控指标内容显示正确。 对于MRS 3.x及后续版本集群:登录FusionInsight
顺延的天数,匹配导入文件的文件名中的日期。例如命令参数传入的日期是20160202,顺延天数是3,则匹配作业配置的输入路径中包含20160205日期字段的文件。详细使用见schedule-tool工具使用示例。 3 file.date.format 待导入文件的文件名中所包含的日志格式。 yyyyMMdd
Manager可以对Flume客户端进行监控,可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。 本章节适用于MRS 3.x及之后版本。 操作步骤 登录FusionInsight Manager。 选择“集群 > 待操作集群的名称 > 服务 > Flume >
配置AM作业自动保留 本章节适用于MRS 3.x及后续版本集群。 配置场景 在YARN中,ApplicationMaster(AM)与Container类似,都运行在NodeManager(NM)上(本文中忽略未管理的AM)。AM可能由于多种原因崩溃、退出或关闭。如果AM停止运行
手动指定运行Yarn任务的用户 本章节适用于MRS 3.x及后续版本集群。 配置场景 目前Yarn支持启动NodeManager的用户运行所有用户提交的任务,也支持以提交任务的用户运行任务。 配置描述 在Manager系统中,选择“集群 > 服务 > Yarn > 配置”,选择“全部配置”。在搜索框中输入参数名称。
同的情况下,配置参数需要进行相应的调整,本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 本章节适用于MRS 3.x及之后版本。 操作步骤 登录FusionInsight Manager界面,选择“集群 > 服务 > HBase > 配置”,配置以下相
structure:表的结构。 compression:参数可选,压缩类型。 使用S3表引擎 登录主OMS节点。 执行以下命令创建表。 CREATE TABLE test1_s3 ('name' String, 'age' int) ENGINE = S3(path, [ak, sk,] format, [compression])