检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 告警”。 在告警列表中,查看是否存在告警“ALM-45644 RocksDB的Level0层SST文件数持续超过阈值”。 是,执行步骤 3。 否,执行步骤 5。 参考ALM-45644 RocksDB的Level0层SST文件数持续超过阈值章节处理对应的告警。 ALM-4564
告警 > 告警”。 在告警列表中,查看是否存在告警“ALM-45643 RocksDB的MemTable大小持续超过阈值”。 是,执行步骤 3。 否,执行步骤 5。 参考ALM-45643 RocksDB的MemTable大小持续超过阈值章节处理对应的告警。 ALM-45643告警
-XX:MaxNewSize=1G 文件对象数量达到50,000,000,则JVM参数建议配置为:-Xms32G -Xmx32G -XX:NewSize=3G -XX:MaxNewSize=3G 文件对象数量达到100,000,000,则JVM参数建议配置为:-Xms64G -Xmx64G -XX:NewSize=6G
显示5000条历史作业,总共最多保留10000条历史作业。如果您需要在WebUI上查看更多的作业,可以配置参数如表3。具体配置操作请参考修改集群服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.resourcemanager.max-completed-applications
业的数据切分、任务划分、资源申请和任务调度与容错等工作。 Yarn和ZooKeeper的关系 ZooKeeper与Yarn的关系如图3所示。 图3 ZooKeeper与Yarn的关系 在系统启动时,ResourceManager会尝试把选举信息写入ZooKeeper,第一个成功写
2020/1/11 15:19 1 32345678901 1 name2 1 2020/5/12 18:10 2 42345678901 1 name3 1 2020/6/13 17:38 N … … … … … 行式数据库中处于同一行中的数据总是被物理的存储在一起,而在列式数据库系统中,数据按如下表2顺序存储:
输入类型 输出类型 CSV文件输入 ClickHouse输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,根据实际场景在“存储类型”选择“CLICKHOUSE”,设置数据保存方式。 表3 输出设置参数 存储类型 参数名 说明 示例 CLICKHOUSE
Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Kafka > 更多 > 下载客户端” ,下载客户端压缩文件到本地机器。如图3所示: 图3 客户端配置 使用客户端根目录中的“ca.crt”证书文件生成客户端的“truststore”。 执行命令如下: keytool -noprompt
toBytes("1")); list.add(Bytes.toBytes("2")); list.add(Bytes.toBytes("3")); list.add(Bytes.toBytes("4")); list.add(Bytes.toBytes("5"));
句才会转储查询的结果。当前仅支持转储到OBS中。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 响应参数 状态码:200 表3 响应参数说明 参数名 参数类型 说明 id String 参数解释: SQL的执行id。执行select、show和desc语句时才会生成id,其他操作id为空。
'test_multicast'.'row2','f1:q','value2' put 'test_multicast'.'row3','f1:q','value3' 登录FusionInsight Manager,选择“集群 > 服务 > HBase”,单击“HMaster Web U
查看指定资源ID的MRS集群服务管理费 查看指定资源ID的IaaS基础设施资源费用(弹性云服务器、云硬盘) 在筛选条件中选择“资源ID”,分别输入3查询到的系统盘和数据盘的ID,单击图标即可搜索系统盘或数据盘的费用。 在筛选条件中选择“资源ID”,输入4查询到的弹性云服务器的ID,单击图标即可搜索集群节点的费用。
"table1", keyCols "id", colsMapping " name=cf1.cq1, age=cf1.cq2 "); 表3 参数解释 参数 参数说明 hbaseTable 创建Spark表的表名。 id string,name string, age int Spark表的字段名和字段类型。
换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 HBase输出 HTML输入 HBase输出 固定宽度文件输入 HBase输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”
单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 表输入 HBase输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,根据实际场景
程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 文件输出 HTML输入 文件输出 固定宽度文件输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。
输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 表输出 HTML输入 表输出 固定宽度文件输入 表输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。
kafka_table ( user_id STRING, order_amount DOUBLE, log_ts TIMESTAMP(3), WATERMARK FOR log_ts AS log_ts - INTERVAL '5' SECOND ) WITH ( 'connector'
存空间较大,且无其他业务的常驻进程时,该参数可配置为:总物理内存 - NodeManager的常驻进程所占内存。 MRS 3.x及之后:16384 MRS 3.x之前:8192 CPU虚拟核数 建议将此配置设定在逻辑核数的1.5~2倍之间。如果上层计算应用对CPU的计算能力要求不高,可以配置为2倍的逻辑CPU。
配置项 说明 hoodie.datasource.write.partitionpath.field 配置为多个分区字段,例如:p1,p2,p3。 hoodie.datasource.hive_sync.partition_fields 和hoodie.datasource.write