检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager转告警监控指标可分为节点信息指标与集群服务指标。表3表示节点中可配置阈值的指标、表4表示组件可配置阈值的指标。 MRS 3.3.0及之后版本的Manager界面中,部分组件告警支持分级上报告警,不同告警级别对应阈值不同,具体以Manager实际配置界面为准。 表3 节点信息监控指标转告警列表 监控指标组名称
通过Manager添加租户(MRS 3.x及之后版本) 登录MRS集群Manager界面,单击“租户资源”。 登录集群Manager界面请参考访问MRS集群Manager。 单击,打开添加租户的配置页面,参见表3为租户配置属性。 表3 租户参数一览表(MRS 3.x版本) 参数名 示例 描述
REAL DOUBLE DECIMAL VARCHAR BOOLEAN \ Y(1) Y Y Y Y Y Y Y(2) TINYINT Y(3) \ Y Y Y Y Y Y Y SMALLINT Y Y(4) \ Y Y Y Y Y Y INTEGER Y Y Y \ Y Y Y Y
服务器登录:选择“用户名和密码”并填写相应的用户名及密码。 单击“新建数据集”,在弹出的页面参考下图修改保存路径及文件名称,单击“确定”保存修改路径及文件名称。 图3 修改路径及名称 在“数据源”选择新建的数据集的文件名称,此处以默认文件名称“未命名-0”为例,选择“未命名-0 > hive > default
选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后即生效,不需要重启服务。 日志格式 Flume的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level><产生该日志的线程名字
该用户需要从属于hadoop、supergroup、hive组,同时添加Oozie的角色操作权限。如果使用Hive多实例,该用户还需要从属于具体的Hive实例组,如hive3。 用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10
左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,单击“确定”,处理结束后生效。 日志格式 Oozie的日志格式如下所示。 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS><Log Level><日志事件的发生位置>|<log中的message>
FS,以及原生内存方式好。 缺点:需要调优。大数据情况下建议JDBCServer driver端内存10G,executor端每个核心分配3G内存。 false: 不使用该功能。 false spark.sql.collect.Hive 该参数在spark.sql.useloca
单击“保存”,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 ZooKeeper的日志格式如下所示: 表3 日志格式 日志类型 组件 格式 示例 运行日志 zookeeper quorumpeer <yyyy-MM-dd HH:mm:ss,SSS>|<Log
单。 选择所需修改的日志级别并保存。 配置IoTDB日志级别60秒后即可生效,无需重启服务。 日志格式 IoTDB的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS> | 日志级别 | [线程名称] | 日志信息
选择对应的过滤条件,输入查询条件值进行过滤查询。 表2 慢查询界面过滤条件 条件 参数说明 慢查询运行时长大于 按照慢SQL查询语句查询累计时长过滤查询。 支持时长大于:3(s)、9(s)、15(s)、25(s) 按查询id 根据查询界面对应慢查询语句的“查询id”字段过滤查询。 支持按照“查询id”的部分值进
在作业参数配置页面,选取左侧“pgsql”图标拖入右侧编辑区域,然后双击此图标进入PgSQL作业参数配置窗口,相关作业参数介绍请参见创建CDL数据同步任务作业。 表3 PgSQL作业参数 参数名称 示例 Link pgsqllink Tasks Max 1 Mode insert、update、delete
在作业参数配置页面,选取左侧“pgsql”图标拖入右侧编辑区域,然后双击此图标进入PgSQL作业参数配置窗口,相关作业参数介绍请参见创建CDL数据同步任务作业。 表3 PgSQL作业参数 参数名称 示例 Link pgsqllink Tasks Max 1 Mode insert、update、delete
可查看对应作业详细信息。 “Diagnostics”中显示当前作业的异常诊断信息。 单击列表区域的“Logs”,可以查看作业日志信息。 图3 查看作业详情 查看Yarn队列信息: 在左侧导航栏单击“Scheduler”,可以查看Yarn队列信息。包括队列信息,每个队列的资源使用情况等。
test1(name string) location "hdfs://hacluster/user/hive/warehouse"; 图3 创建表报错 父主题: Hive企业级能力增强
统会将另一个NameNode切换为活动状态时,缓存的详细信息将被更新为当前活动的NameNode的信息。 约束与限制 本章节适用于MRS 3.x及后续版本。 由HDFS客户端创建的缓存文件必须由其他客户端重新使用。因此,这些文件永远不会从本地系统中删除。若禁用该功能,可能需要进行手动清理。
to.add='IDX1=>cf1:[q1->datatype];cf2:[q1->datatype],[q2->datatype],[q3->datatype]#IDX2=>cf1:[q5->datatype]' -Dindexnames.to.build='IDX1' “#”
Project Structure...”,弹出“Project Structure”窗口。 选择“SDKs”,单击加号选择“JDK”。 图3 添加JDK 在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 完成JDK选择后,单击“Apply”。
开发思路 1. 一个Job作为发布者Job,其余两个作为订阅者Job 2. 发布者Job自己产生数据将其转化成byte[],分别向订阅者发送 3. 订阅者收到byte[]之后将其转化成String类型,并抽样打印输出 父主题: Flink Job Pipeline样例程序
to.add='IDX1=>cf1:[q1->datatype];cf2:[q1->datatype],[q2->datatype],[q3->datatype]#IDX2=>cf1:[q5->datatype]' -Dindexnames.to.build='IDX1' “#”