检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“确定”保存。 步骤三:添加租户 在集群详情页,单击“租户管理”。 单击“添加租户”,打开添加租户的配置页面,参见以下表格内容为租户配置属性(以MRS 3.x版本集群为例)。 表2 租户参数一览表 参数名 描述 名称 例如:tenant_spark 租户类型 选择“叶子租户”。当选中“叶子租户
xml”配置文件中进行如表3所示的配置。 登录FusionInsight Manager。 登录集群Manager具体操作,请参考访问MRS集群Manager。 选择“集群 > 服务 > Yarn > 配置 > 全部配置”。 搜索以下参数名称,并根据需要修改参数值。 表3 MapReduce应用日志文件滚动输出配置
MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则。 集群内节点安装客户端 获取软件包。 访问FusionInsight Manager(MRS 3.x及之后版本),在“集群”下拉列表中单击需要操作的集群名称。 选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 图1 下载客户端
日志级别 ClickHouse提供了如表3所示的日志级别。 运行日志的级别优先级从高到低分别是error、warning、trace、information、debug,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表3 日志级别 级别 描述 error
AutoScalingPolicyInfo object 参数解释: 弹性伸缩规则,参数详情具体请参见表3。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 表3 AutoScalingPolicyInfo 参数 是否必选 参数类型 描述 auto_scaling_enable
AutoScalingPolicyInfo object 参数解释: 弹性伸缩规则,参数详情具体请参见表3。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 表3 AutoScalingPolicyInfo 参数 是否必选 参数类型 描述 auto_scaling_enable
配置删除对象的权限。 单击“确定”保存策略。 在IAM服务创建委托。 登录IAM服务控制台。 选择“委托 > 创建委托”。 参考表3填写参数。 表3 委托参数 参数 说明 委托名称 只能包含如下字符:大小写字母、中文、数字、空格和特殊字符(-_.,)。 委托类型 选择普通账号。 委托的账号
NUMBER_RUNNING_CONTAINER: 10 NUMBER_RESERVED_CONTAINER: 0 RESOURCE_REQUEST: vcores 3,memory 3072 RESOURCE_INUSE: vcores 2,memory 2048 RESOURCE_RESERVED: vcores
NUMBER_RUNNING_CONTAINER: 10 NUMBER_RESERVED_CONTAINER: 0 RESOURCE_REQUEST: vcores 3,memory 3072 RESOURCE_INUSE: vcores 2,memory 2048 RESOURCE_RESERVED: vcores
default 表示队列使用的资源池。默认为“default”,如果需要修改为其他资源,需要先配置队列容量,请参见配置资源池的队列容量策略。 MRS 3.x及之后版本: 表2 队列配置参数 参数名 示例 描述 AM最多占有资源(%) 10 表示当前队列内所有Application Master所占的最大资源百分比。
P服务进行购买。 弹性公网IP必须和集群在同一区域。 关于弹性公网IP更多介绍请参考什么是弹性公网IP。 暂不绑定 MRS集群节点配置 表3 集群节点信息 参数 描述 示例 CPU架构 MRS集群节点的CPU架构类型,可选择“x86计算”或者“鲲鹏计算”。MRS 3.1.0及MRS
阈值就会上报事件。 默认值:20 取值范围:1~1800000000000 单位:GB。 20 配置HetuEngine作业大目录监控 表3 配置HetuEngine 参数名称 参数描述 取值样例 hetu.job.hdfs.monitor.dir 监控HetuEngine作业的大目录监控路径,不允许监控根目录。
ce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分为三个不同步骤:Copy、Sort(实际应当称为Merge)及Reduce。在Copy过
r显示中文界面;当浏览器首选语言不是中文时,Manager显示英文界面。用户也可以根据语言偏好,在界面左下角一键切换中英文界面(仅MRS 3.x及后续版本支持一键切换中英文界面)。 父主题: Manager
选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 MapReduce日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名
通过调整如下参数减少reduce写磁盘的次数。 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 表3 参数说明 参数 描述 默认值 mapreduce.reduce.merge.inmem.threshold 内存合并进程的文件数阈值。累计
确定修改NodeManager的存储目录场景。 更改NodeManager角色的存储目录,执行2。 更改NodeManager单个实例的存储目录,执行3。 更改NodeManager角色的存储目录。 选择“集群 > 待操作集群的名称 > 服务 > Yarn > 停止服务”,停止Yarn服务。
setting)的百分比。 当offheap关闭时,默认值为“0.25”,当offheap开启时,默认值是“0.1”。 Handler相关参数 表3 Handler相关参数 参数 描述 默认值 hbase.regionserver.handler.count RegionServer上的RPC侦听器实例数,建议设置为200
at java.util.concurrent.FutureTask.run(FutureTask.java:266) ... 3 more Caused by: java.net.ConnectException: Connection timed out: /192
p的节点数量 > 2。 为了不影响滚动重启功能,如果RegionServer节点总数在300以内,那么单个RSGroup的节点数量不应小于3。如果RegionServer节点总数大于等于300,那么单个RSGroup的节点数量不应小于(节点数*1%)+1。 可能的影响 由于RSG