检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“主机”并单击需要入服主机的“主机名称”,在“实例”列表中单击DataNode,选择“更多 > 入服”。 该主机下若存在DataNode、NodeManager、RegionServer和ClickHouseServer实例,请参考该步骤进行入服操作; MRS 3.1.2版本之后支持入服ClickHouseServer角色实例。
管理Loader连接(MRS 3.x及之后版本) 操作场景 Loader页面支持创建、查看、编辑和删除连接。 本章节适用于MRS 3.x及之后版本。 创建连接 登录服务页面: MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight
访问FusionInsight Manager(MRS 3.x及之后版本) 操作场景 MRS 3.x及之后版本的集群使用FusionInsight Manager对集群进行监控、配置和管理。用户在集群安装后可使用账号登录FusionInsight Manager。 当前支持以下几种方式访问FusionInsight
导入并配置HetuEngine Python3样例工程 操作场景 为了运行HetuEngine组件的Python3样例代码,需要完成下面的操作。 约束与限制 本章节适用于MRS 3.3.0及以后版本。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6,最高不能超过3.9。
导入并配置HetuEngine Python3样例工程 操作场景 为了运行HetuEngine组件的Python3样例代码,需要完成下面的操作。 约束与限制 本章节适用于MRS 3.3.0及以后版本。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6,最高不能超过3.9。
执行如下命令,配置Python3.x变量。 echo "/opt/Bigdata/python3/lib" >> /etc/ld.so.conf ldconfig ln -s /opt/Bigdata/python3/bin/python3 /usr/bin/python3 ln -s /o
安装MRS 3.x之前版本Flume客户端 操作场景 使用Flume搜集日志时,需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 本章节适用于MRS 3.x之前版本。 前提条件 已创建包含Flume组件的流集群。 日志主机需要与MRS集群在相同的VPC和子网。
使用Spark2x(MRS 3.x及之后版本) Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强
配置ClickHouse表为只读表模式 操作场景 在数据迁移、一键均衡和退服缩容等操作中,确保表处于只读状态是非常重要的,以防止意外的写操作。ClickHouse提供了only_allow_select_statement 表级参数,可以对MergeTree系列表引擎配置该参数,
安装MRS 3.x及之后版本Flume客户端 操作场景 使用Flume搜集日志时,需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 本章节适用于MRS 3.x及之后版本。 前提条件 已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。
ALM-45333 Presto Worker3线程数超过阈值 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况,默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值,则发出告警。 告警属性 告警ID
”列表中单击DataNode,选择“更多 > 退服”。 选择“主机管理”并单击需要更换磁盘的主机的“主机名称”,在“角色”列表中单击NodeManager,选择“更多 > 退服”。 该主机下若还有其他实例,请参考该步骤方式进行退服。 执行vim /etc/fstab命令编辑注释旧磁盘的挂载点。
ALM-45337 Presto Worker3进程垃圾收集时间超出阈值 告警解释 系统每30s周期性采集Presto Worker3进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。当 Worker3进程GC时间小于或等于告警阈值时,告警清除。
配置使用分布式缓存执行MapReduce任务 配置场景 本章节操作适用于MRS 3.x及之后版本。 分布式缓存在两种情况下非常有用。 滚动升级 在升级过程中,应用程序必须保持文字内容(jar文件或配置文件)不变。而这些内容并非基于当前版本的Yarn,而是要基于其提交时的版本。一般
配置使用分布式缓存执行MapReduce任务 配置场景 本章节操作适用于MRS 3.x及之后版本。 分布式缓存在两种情况下非常有用。 滚动升级 在升级过程中,应用程序必须保持文字内容(jar文件或配置文件)不变。而这些内容并非基于当前版本的Yarn,而是要基于其提交时的版本。一般
配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载,一般用于节点的退服、入服以及负载均衡的场景。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组,普通模式不需要)。
1补丁期间会重启MRS Manager,滚动重启Hive以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 父主题: MRS集群补丁说明
MRS集群节点使用pip3安装Python时提示网络不可达 问题现象 执行pip3 install安装Python时报错网络不可达。 具体如下图所示: 原因分析 用户未给Master节点绑定弹性公网IP,造成报错的发生。 处理步骤 登录MRS服务管理控制台。 选择“现有集群”,选
选择“节点管理”,在待退订节点组对应的“操作”列单击“退服节点”。 选择需要退服的节点并单击“确定”对节点进行退服。 退服节点过程的时长取决于节点中数据量,数据量越大则时间越长,请耐心等待。 节点退服成功后,节点状态显示为“已退服”。 除MRS 3.1.0、3.1.5、3.2.0-LTS.1以外的3.x版本集群,需执行以下操作:
角色实例已启动。 已停止 角色实例已停止。 启动失败 用户启动操作失败。 停止失败 用户停止操作失败。 退服中 角色实例正在退服。 已退服 角色实例已退服。 入服中 角色实例正在入服。 未知 后台系统重启后,角色实例的初始状态。 健康状态 良好 该角色实例正常运行。 恢复中 后台系统正在尝试自动启动角色实例。