调测Hive Python3样例程序 Python3样例工程的命令行形式运行 赋予“python3-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令: chmod +x python3-examples -R。 在“python3-examples/pyCLI_nosec
选择“主机”并单击需要入服主机的“主机名称”,在“实例”列表中单击DataNode,选择“更多 > 入服”。 该主机下若存在DataNode、NodeManager、RegionServer和ClickHouseServer实例,请参考该步骤进行入服操作; MRS 3.1.2版本之后支持入服ClickHouseServer角色实例。
配置ClickHouse表为只读表模式 操作场景 在数据迁移、一键均衡和退服缩容等操作中,确保表处于只读状态是非常重要的,以防止意外的写操作。ClickHouse提供了only_allow_select_statement 表级参数,可以对MergeTree系列表引擎配置该参数,
使用Spark2x(MRS 3.x及之后版本) Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强
安装MRS 3.x之前版本Flume客户端 操作场景 使用Flume搜集日志时,需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 本章节适用于MRS 3.x之前版本。 前提条件 已创建包含Flume组件的流集群。 日志主机需要与MRS集群在相同的VPC和子网。
执行如下命令,配置Python3.x变量。 echo "/opt/Bigdata/python3/lib" >> /etc/ld.so.conf ldconfig ln -s /opt/Bigdata/python3/bin/python3 /usr/bin/python3 ln -s /o
导入并配置HetuEngine Python3样例工程 操作场景 为了运行HetuEngine组件的Python3样例代码,需要完成下面的操作。 约束与限制 本章节适用于MRS 3.3.0及以后版本。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6,最高不能超过3.9。
导入并配置HetuEngine Python3样例工程 操作场景 为了运行HetuEngine组件的Python3样例代码,需要完成下面的操作。 约束与限制 本章节适用于MRS 3.3.0及以后版本。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6,最高不能超过3.9。
安装MRS 3.x及之后版本Flume客户端 操作场景 使用Flume搜集日志时,需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 本章节适用于MRS 3.x及之后版本。 前提条件 已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。
”列表中单击DataNode,选择“更多 > 退服”。 选择“主机管理”并单击需要更换磁盘的主机的“主机名称”,在“角色”列表中单击NodeManager,选择“更多 > 退服”。 该主机下若还有其他实例,请参考该步骤方式进行退服。 执行vim /etc/fstab命令编辑注释旧磁盘的挂载点。
ALM-45333 Presto Worker3线程数超过阈值 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况,默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值,则发出告警。 告警属性 告警ID
配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载,一般用于节点的退服、入服以及负载均衡的场景。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组,普通模式不需要)。
配置使用分布式缓存执行MapReduce任务 配置场景 本章节操作适用于MRS 3.x及之后版本。 分布式缓存在两种情况下非常有用。 滚动升级 在升级过程中,应用程序必须保持文字内容(jar文件或配置文件)不变。而这些内容并非基于当前版本的Yarn,而是要基于其提交时的版本。一般
配置使用分布式缓存执行MapReduce任务 配置场景 本章节操作适用于MRS 3.x及之后版本。 分布式缓存在两种情况下非常有用。 滚动升级 在升级过程中,应用程序必须保持文字内容(jar文件或配置文件)不变。而这些内容并非基于当前版本的Yarn,而是要基于其提交时的版本。一般
1补丁期间会重启MRS Manager,滚动重启Hive以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 父主题: MRS集群补丁说明
ALM-45337 Presto Worker3进程垃圾收集时间超出阈值 告警解释 系统每30s周期性采集Presto Worker3进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。当 Worker3进程GC时间小于或等于告警阈值时,告警清除。
MRS集群节点使用pip3安装Python时提示网络不可达 问题现象 执行pip3 install安装Python时报错网络不可达。 具体如下图所示: 原因分析 用户未给Master节点绑定弹性公网IP,造成报错的发生。 处理步骤 登录MRS服务管理控制台。 选择“现有集群”,选
选择“节点管理”,在待退订节点组对应的“操作”列单击“退服节点”。 选择需要退服的节点并单击“确定”对节点进行退服。 退服节点过程的时长取决于节点中数据量,数据量越大则时间越长,请耐心等待。 节点退服成功后,节点状态显示为“已退服”。 除MRS 3.1.0、3.1.5、3.2.0-LTS.1以外的3.x版本集群,需执行以下操作:
preduce、Presto、HBase、Tez以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 2.1.0.11补丁安装后,需要登录备Master节点(登录MRS Manager,在“主机管理”页面中带有空心五角星的Mast
角色实例已启动。 已停止 角色实例已停止。 启动失败 用户启动操作失败。 停止失败 用户停止操作失败。 退服中 角色实例正在退服。 已退服 角色实例已退服。 入服中 角色实例正在入服。 未知 后台系统重启后,角色实例的初始状态。 健康状态 良好 该角色实例正常运行。 恢复中 后台系统正在尝试自动启动角色实例。