云服务器内容精选

华为云首页用户手册

使用Yarn

MAPREDUCE服务 MRS-使用Yarn客户端提交任务:使用Yarn客户端

使用Yarn客户端安装客户端，具体请参考安装MRS客户端。以客户端安装用户，登录安装客户端的节点。执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户直接执行Yarn命令。例如： yarn application -list

MAPREDUCE服务 MRS 使用Yarn
MAPREDUCE服务 MRS-更改NodeManager的存储目录:操作场景

操作场景 Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时，MRS集群管理员需要在Manager中修改NodeManager的存储目录，以保证Yarn正常工作。NodeManager的存储目录包含本地存放目录“yarn.nodemanager.local-dirs”和日志目录“yarn.nodemanager.log-dirs”。适用于以下场景：更改NodeManager角色的存储目录，所有NodeManager实例的存储目录将同步修改。更改NodeManager单个实例的存储目录，只对单个实例生效，其他节点NodeManager实例存储目录不变。

MAPREDUCE服务 MRS 使用Yarn
MAPREDUCE服务 MRS-通过Yarn WebUI页面查看作业日志提示“ERROR 500”错误:处理步骤

处理步骤以root用户登录安装了Spark2x/Spark客户端的节点。执行以下命令编辑文件。 vim $SPARK_HOME/conf/log4j-executor.properties 调小“log4j.appender.sparklog.MaxFileSize”参数值（表示生成一份日志文件的最大存储大小，默认为50MB），例如修改为“20MB”。调小“log4j.appender.sparklog.MaxBackupIndex”参数值（表示滚动保存的文件数量，最大为10个文件，达到第11个覆盖第一个生成的文件），例如修改为“5”。保存文件。重新提交作业，作业运行正常。

MAPREDUCE服务 MRS 使用Yarn
MAPREDUCE服务 MRS-MapReduce任务异常，临时文件未删除:原因分析

原因分析 MapReduce任务提交时会将相关配置文件、jar包和-files参数后添加的文件都上传至HDFS的临时目录，方便Container启动后获取相应的文件。系统通过配置项“yarn.app.mapreduce.am.staging-dir”决定具体存放位置，默认值是“/tmp/hadoop-yarn/staging”。正常运行的MapReduce任务会在Job结束以后就清理这些临时文件，但是当Job对应的Yarn任务异常退出时，这些临时文件不会被清理，长时间积攒导致该临时目录下的文件数量越来越多，占用存储空间越来越多。

MAPREDUCE服务 MRS 使用Yarn