检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
NameNode节点存在ALM-12027主机PID使用率超过阈值告警 问题描述 3.1.2及之前的3.x版本集群,NameNode节点存在ALM-12027主机PID使用率超过阈值告警,节点Java进程可能出现“unable to create new native thread”报错。
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口,在使用“kafka-console-producer
aui”目录下。 日志级别 Kafka提供了如表3所示的日志级别。 运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表3 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。
Storm日志介绍 本章节内容适用于MRS 3.x及后续版本。 日志描述 日志路径:Storm相关日志的默认存储路径为“/var/log/Bigdata/storm/角色名”(运行日志),“/var/log/Bigdata/audit/storm/角色名”(审计日志)。 Nimb
Loader连接配置说明 本章节适用于MRS 3.x之前版本。 基本介绍 Loader支持以下多种连接,每种连接的配置介绍可根据本章节内容了解。 obs-connector generic-jdbc-connector ftp-connector或sftp-connector h
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口,在使用“kafka-console-producer
NodeManager ZooKeeper Quorumpeer 是 实例启动时长如表3所示: 表3 重启时长参考 服务名称 重启时长 启动时长 附加说明 IoTDB 3min IoTDBServer:3min - CDL 2min CDLConnector:1min CDLService:1min
节点),每个批次1%(向下取整)个节点。 “批次时间间隔” 0 滚动重启实例批次之间的间隔时间,默认为0。 “退服超时时间” 1800 角色实例在滚动重启过程中的退服等待时间,默认为1800s。 部分角色(例如HiveServer、JDBCServer)在滚动重启前会暂时停止提供
x及以前版本) 告警解释 系统每30s周期性采集Presto Coordinator进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。用户可在MRS Manager中通过“系统设置> 阈值配置 > 服务 > Presto > Coordinator
0: unexpected end of data”。 原因分析 Hive中一个中文字符长度为“1”;而Impala中一个中文字符的长度为“3”,从而导致在Impala SQL中使用substr(),substring(),strleft()等函数截取中文字符时,不能把中文当做1个字符长度来处理,导致报编码问题。
Tez日志介绍 本章节适用于MRS 3.x及后续版本。 日志描述 日志路径:Tez相关日志的默认存储路径为“/var/log/Bigdata/tez/角色名”。 TezUI:“/var/log/Bigdata/tez/tezui”(运行日志),“/var/log/Bigdata/
]table [(c1, c2, c3)] VALUES (v11, v12, v13), (v21, v22, v23), ... 方法二:使用SELECT的结果写入。 INSERT INTO [database_name.]table [(c1, c2, c3)] SELECT ...
]table [(c1, c2, c3)] VALUES (v11, v12, v13), (v21, v22, v23), ... 方法二:使用SELECT的结果写入。 INSERT INTO [database_name.]table [(c1, c2, c3)] SELECT ...
(ARRAY[3, 4]),(ARRAY[5, 6, 7])) AS t(numbers); numbers | squared_numbers -----------|----------------- [1, 2] | [1, 4] [3, 4]
x及以前版本) 告警解释 系统每60秒周期性检测JobHistory进程的GC时间,当检测到JobHistory进程的GC时间超出阈值(连续3次检测超过12秒)时产生该告警。 用户可通过“系统设置 > 阈值配置 > 服务 > Spark > JobHistory的GC时间 > Jo
-A2 HUE | grep <浮动IP> 是,结果不为空,主实例节点已绑定浮动IP,执行4。 否,结果为空,主实例节点未绑定浮动IP,执行3。 连接到Hue主节点实例,绑定浮动IP网卡。本机网卡、浮动IP、掩码参考ifconfig中的本机IP对应的网卡。 ifconfig <本机网卡>:HUE
Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session.sh yarn-session.sh的其他参数可以通过以下命令获取:
Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session.sh yarn-session.sh的其他参数可以通过以下命令获取:
提升HBase实时写数据效率 操作场景 需要把数据实时写入到HBase中或者对于大批量、连续put的场景。 本章节适用于MRS 3.x及之后版本。 前提条件 调用HBase的put或delete接口,把数据保存到HBase中。 操作步骤 写数据服务端调优 参数入口:登录FusionInsight
ZStandardCodec; set hive.exec.compress.intermediate=true; create table tab_3(...) stored as textfile; ZSTD压缩格式的表和其他普通压缩表的SQL操作没有区别,可支持正常的增删查及聚合类SQL操作。