检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
点,请选择其他规格节点进行购买。 Master节点中的4核8GB规格不在SLA售后范围内,仅适用于测试环境,不建议用于生产环境。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群节点磁盘类型 表1 MRS集群节点磁盘类型 磁盘角色 描述 系统盘 节点系统盘的存储类型和存储空间。
服务列表包含了集群中所有已安装的组件,如果选择“平铺视图”,则显示为窗格样式;如果选择“列表视图”,则显示为表格样式。 本章节默认以“列表视图”进行介绍。 图3 MRS集群组件列表 在指定服务名称后的操作列中选择“停止服务”。 也可以单击待操作的服务名称,进入服务详情页面后,单击页面右上角的“停止服务”。
执行如下命令,检查发出告警的目录下的文件或目录是否是可以删除的无用文件。 hdfs dfs -ls 产生告警的目录路径 是,执行步骤 3。 否,执行步骤 5。 执行如下命令。删除无用的文件。 hdfs dfs -rm -r -f 文件或目录路径 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。
e建立起流水线,完成后,客户端再通过自有协议写入数据到Datanode1,再由DataNode1复制到DataNode2、DataNode3(三备份)。写完的数据,将返回确认信息给HDFS Client。 合理设置块大小,如设置dfs.blocksize为 268435456(即256MB)。
generate_keystore.sh <password>,表3中的配置项会被默认赋值,用户也可以手动配置。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 表3 参数描述 参数 参数值示例 描述 security.ssl
true(默认值):开启自动重连。 false:关闭自动重连。 true mysql.max-reconnects 最大重连次数,默认值:3。 3 mysql.jdbc.use-information-schema 驱动程序是否应该使用INFORMATION_SCHEMA来派生“D
089d8c43-12d5-410c-b980-c2728a305be3.com 192.168.0.129 node-ana-corezLaR.089d8c43-12d5-410c-b980-c2728a305be3.com 使用windows访问MRS集群来操作HBase,有如下两种方式:
currentPage 否 Integer 参数解释: 当前查询页码。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 请求参数 无 响应参数 表3 响应Body说明 参数名 参数类型 说明 total Integer 参数解释: 主机参数。 约束限制: 不涉及 取值范围: 不涉及 默认取值:
为主OMS节点,返回结果为standby的节点为备OMS节点: 3.x之前版本: sh /opt/Bigdata/*/workspace0/ha/module/hacom/script/get_harole.sh 3.x及之后版本: sh /opt/Bigdata/om-serv
设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 是否第一次从Loader导出数据到关系型数据库? 是,执行2。 否,执行3。 修改关系型数据库对应的驱动jar包文件权限。 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路径:“${BIG
检查远端source的SSL server证书,不建议在生产中使用。 exclude-protocols SSLv3 排除的协议列表,用空格分开。默认排除SSLv3协议。 ipFilter false 是否开启ip过滤。 ipFilter.rules - 定义N网络的ipFilt
ournalNode的节点通信。当Active对文件系统元数据进行修改时,会将其修改日志保存到大多数的JournalNode节点中,例如有3个JournalNode,则日志会保存在至少2个节点中。Standby节点监控JournalNodes的变化,并同步来自Active节点的修
restart-strategy: fixed-delay restart-strategy.fixed-delay.attempts: 3 restart-strategy.fixed-delay.delay: 10 s 以下场景的异常,都会导致Job重新恢复: 当JobMan
在右侧选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 重新启动配置过期的服务或实例以使配置生效。 日志格式 Hue的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <dd-MM-yy HH:mm:ss,SSS><日志事件的发生位置><log level><log中的message>
待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图3 Loader WebUI界面 编辑已有作业或者新建作业,进入“转换”界面。 双击指定的算子进入编辑页面,在输入或输出字段的参数表格添加相应配置信息。单击“导入”。
选择所需修改的日志级别。 单击“保存”,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 Ranger的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名
作业计算。 作业故障有自动重启机制,重启策略可配置。 FlinkServer作业提交流程 Flink WebUI应用流程参考如下步骤: 图3 Flink WebUI应用流程 表2 Flink WebUI应用流程说明 阶段 说明 参考章节 创建应用 通过应用来隔离不同的上层业务。 创建FlinkServer应用
连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理 > 新建ENV”,进入“新建ENV”参数配置窗口,参考下表进行参数配置。 表3 新建ENV配置参数 参数名称 示例 Name test-env Driver Memory 1GB Type spark Executor
连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理 > 新建ENV”,进入“新建ENV”参数配置窗口,参考下表进行参数配置。 表3 新建ENV配置参数 参数名称 示例 Name test-env Driver Memory 1GB Type spark Executor
单击“保存”,然后单击“确定”,成功后配置生效。 日志格式 JobGateway的日志格式如下所示: MRS 3.3.1-LTS之前版本: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss> <Log Level> <产生该日志的线程名字> <产生该日志的类名>