检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Impala常见配置参数 本章节适用于MRS 3.x及后续版本。 参数入口 在Manager系统中,选择“集群 > 服务 > Impala > 配置”,选择“全部配置”。在搜索框中输入参数名称。 参数说明 下表仅列举了部分常用参数,实际参数以Manager页面为准,参数详情请参见官网https://docs
0及之前版本集群不支持安装新的组件。如果需要安装流式集群的组件,则需要重新创建流式集群或者混合集群,并且选择所需要的组件。 MRS 3.1.2-LTS.3及之后版本的自定义类型集群支持添加组件,具体请参见管理服务操作。 父主题: 集群管理类
Impala常见配置参数 本章节适用于MRS 3.x及后续版本。 参数入口 在Manager系统中,选择“集群 > 服务 > Impala > 配置”,选择“全部配置”。在搜索框中输入参数名称。 参数说明 下表仅列举了部分常用参数,实际参数以Manager页面为准,参数详情请参见官网https://docs
费同一个topic的数据,每个Source会消费topic的不同partitions。常用配置如表 3 Kafka Source常用配置所示: 图3 Kafka Source 表3 Kafka Source常用配置 参数 默认值 描述 channels - 与之相连的Channel,可以配置多个。
Yarn服务启动前集群操作的记录日志。 yarn-postinstall.log Yarn服务安装后启动前的工作日志。 hadoop-commission.log Yarn入服日志。 yarn-cleanup.log Yarn服务卸载时候的清理日志。 yarn-refreshqueue.log Yarn刷新队列日志。
Yarn服务启动前集群操作的记录日志。 yarn-postinstall.log Yarn服务安装后启动前的工作日志。 hadoop-commission.log Yarn入服日志。 yarn-cleanup.log Yarn服务卸载时候的清理日志。 yarn-refreshqueue.log Yarn刷新队列日志。
告警解释 系统每60秒周期性检测ConfigNode进程的垃圾回收(GC)时间,当检测到ConfigNode进程的垃圾回收(GC)时间连续3次超过阈值(默认12秒)时产生该告警。当ConfigNode垃圾回收(GC)时间小于阈值时,告警清除。 可通过“运维 > 告警 > 阈值设置
Worker进程垃圾收集时间超出阈值 告警解释 系统每30s周期性采集Presto Worker进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。用户可在FusionInsight Manager中通过“运维 > 阈值配置 > 服务 > Presto > 集群状态
GC时间超出阈值 告警解释 系统每60秒周期性检测HBase服务的老年代GC时间,当检测到HBase服务的老年代GC时间超出阈值(默认连续3次检测超过5秒)时产生该告警。 在FusionInsight Manager首页,用户可通过选择“运维 > 告警 > 阈值设置 > HBase
告警解释 系统每60秒周期性检测IoTDBServer进程的垃圾回收(GC)时间,当检测到IoTDBServer进程的垃圾回收(GC)连续3次超过阈值(默认12秒)时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > IoTDB > GC > IoTDBServer垃圾回收(GC)总时间
系统每分钟检测一次ClickHouse和ZooKeeper的连接情况,如果检测连接失败,系统产生告警(告警原因为ZooKeeper连接异常)。如果连续3次检测连接失败,系统产生告警(告警原因为ZooKeeper连接断开)。 当系统检测到有一次连接成功,告警自动清除。 告警属性 告警ID 告警级别
根据用户环境的安全要求,管理员可以在FusionInsight Manager修改OMS中Kerberos与LDAP配置。 约束与限制 本章节仅适用于MRS 3.x及以后版本。 对系统的影响 修改OMS的服务配置参数后,需要重启对应的OMS模块,此时FusionInsight Manager将无法正常使用。
通过Sqoop读取MySQL数据,然后直接写到OBS,指定parquet格式时写入报错,不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3,用Hcatalog方式写入。 处理步骤 采用Hcatalog的方式,参数指定对应的Hive库和表,需要修改SQL语句指定到具体字段(需要修
下面代码片段仅为演示,具体代码参见“com.huawei.bigdata.SessionExample”。 其中修改HOST_1、HOST_2、HOST_3为IoTDBServer所在节点的业务IP,在Session对象的参数里,设置用户名和密码。 待连接的IoTDBServer所在节点的业务I
检查远端source的SSL server证书,不建议在生产中使用。 exclude-protocols SSLv3 排除的协议列表,用空格分开。默认排除SSLv3协议。 ipFilter false 是否开启ip过滤。 ipFilter.rules - 定义N网络的ipFilt
有210000个map和10000个reduce的HBase BulkLoad任务运行失败 问题 MRS 3.x及之后版本HBase bulkLoad任务(单个表有26T数据)有210000个map和10000个reduce,任务失败。 回答 ZooKeeper IO瓶颈观测手段:
配置Yarn本地化日志级别 本章节适用于MRS 3.x及后续版本集群。 配置场景 container本地化默认的日志级别是INFO。用户可以通过配置“yarn.nodemanager.container-localizer.java.opts”来改变日志级别。 配置描述 在Manager系统中,选择“集群
签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > Hive
ell脚本里涉及到的所有目录文件有足够权限。 如果Oozie具有多个节点,需要在所有Oozie节点执行2~3。 使用omm用户登录依次其他Oozie所在节点,重复执行2-3。 父主题: 使用Hue提交Oozie作业
为什么不同服务之间互相删除UDF失败 问题 不同服务之间互相删除UDF失败,例如,Spark SQL无法删除Hive创建的UDF。 回答 当前可以通过以下3种方式创建UDF: 在Hive端创建UDF。 通过JDBCServer接口创建UDF。用户可以通过Spark Beeline或者JDBC客户