华为云用户手册

MapReduce服务 MRS-MRS管理控制台和集群Manager页面区别与联系

MRS 管理控制台和集群Manager页面区别与联系用户可以通过MRS管理控制台页面登录到MRS的Manager页面。 Manager分为MRS Manager和 FusionInsight Manager，其中： MRS 2.x及之前版本集群的Manager界面称为MRS Manager。 MRS 3.x及之后版本集群的Manager界面称为FusionInsight Manager。管理控制台与FusionInsight Manager页面的区别和联系请参考下表：常用操作 MRS Console FusionInsight Manager 切换子网、添加安全组规则、OBS权限控制、管理委托、 IAM 用户同步支持不支持新增节点组、扩容、缩容、升级规格支持不支持隔离主机、启动所有角色、停止所有角色支持支持下载客户端、启动服务、停止服务、滚动重启服务支持支持查看服务实例状态、参数配置、同步配置支持支持查看清除告警、查看事件支持支持查看告警帮助不支持支持阈值设置不支持支持添加消息订阅规格支持不支持文件管理支持不支持作业管理支持不支持租户管理支持支持标签管理支持不支持权限（添加删除用户、用户组、角色、修改密码）不支持支持备份恢复不支持支持审计不支持支持资源监控、日志支持支持父主题：产品咨询类

MapReduce服务 MRS
MapReduce服务 MRS-如何调整manager-executor进程内存？:解决步骤

解决步骤通过root用户登录Master1或Master2其中任意一节点，执行以下命令切换到omm用户。 su - omm 执行以下命令，修改“catalina.sh”脚本，搜索“JAVA_OPTS” ，找到类似如下的配置JAVA_OPTS=“-Xms1024m -Xmx4096m”,将其修改为需要的值大小，保存修改。 vim /opt/executor/bin/catalina.sh 重启manager-executor进程，该进程在Master1和Master2节点上为主备部署，同一时刻只有一个节点上运行该进程，首先确认节点上是否有该进程，如果有该进程则进行重启操作。分别登录Master1节点和Master2节点，执行以下命令确认当前节点是否存在该进程。当有输出时则进程存在。 ps -ef | grep "/opt/executor" | grep -v grep 重启命令如下。 sh /opt/executor/bin/shutdown.shsh /opt/executor/bin/startup.sh

MapReduce服务 MRS
MapReduce服务 MRS-通过管控面提交Flink任务时launcher-job因heap size不够被Yarn结束:解决方法

解决方法调大launcher-job的heap size值。使用omm用户登录主 OMS 节点。修改“/opt/executor/webapps/executor/WEB-INF/classes/servicebroker.xml”中参数“job.launcher.resource.memory.mb”的值为“2048”。使用sh /opt/executor/bin/restart-executor.sh重启executor进程。

MapReduce服务 MRS
MapReduce服务 MRS-MRS如何收费？

MRS如何收费？ MRS支持按需购买集群节点和包年/包月购买集群节点，具体的计费详情可通过价格计算器查询。包年/包月：根据集群购买时长，一次性支付集群费用。最短时长为1个月，最长时长为1年。按需付费：节点按实际使用时长计费，计费周期为一小时。目前除了“启动中”、“失败”和“已删除”状态的集群不收费，其他状态的集群都需要收费。此处费用只是购买集群所需费用，MRS上的数据存储、带宽和流量另外计费。父主题：计费相关

MapReduce服务 MRS
MapReduce服务 MRS-访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错，或部分功能不可用

访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错，或部分功能不可用访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI的用户不具备对应组件的管理权限，导致界面报错或部分功能不可用，例如：使用当前用户登录Flink WebUI后，部分内容不能正常显示，且没有权限创建应用、创建集群连接、创建数据连接等：使用当前用户访问HDFS WebUI报错：Failed to retrieve data from /jmx?qry=java.lang:type=Memory, cause: Forbidden 使用当前用户访问Yarn WebUI界面，无法查看作业信息：使用当前用户登录Hue WebUI后，在界面左侧导航栏单击，选择“Workflow”后报错：建议使用新建的具有对于组件管理权限的用户访问，此时可以参考创建用户章节，创建一个业务用户，例如创建一个具有HDFS管理权限的用户登录并访问HDFS WebUI界面。父主题： Web页面访问类

MapReduce服务 MRS
MapReduce服务 MRS-如何使用MRS？

如何使用MRS？ MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。 MRS使用简单，通过使用在集群中连接在一起的多台计算机，您可以运行各种任务，处理或者存储（PB级）巨量数据。MRS的基本使用流程如下：开发数据处理程序，MRS的开发指南为用户提供代码示例和教程，帮助您快速开始开发自己的程序并正常运行。上传程序和数据文件到对象存储服务（OBS）中，用户需要先将本地的程序和数据文件上传至OBS中。创建集群，用户可以指定集群类型用于离线数据分析和流处理任务，指定集群中预置的弹性云服务器实例规格、实例数量、数据盘类型（普通IO、高 IO、超高 IO）、要安装的组件（Hadoop、Spark、HBase、Hive、Kafka、Storm等）。用户可以使用引导操作在集群启动前（或后）在指定的节点上执行脚本，安装其他第三方软件或修改集群运行环境等自定义操作。管理作业，MRS为用户提供程序执行平台，程序由用户自身开发，MRS负责程序的提交、执行和监控。管理集群，MRS为用户提供企业级的大数据集群的统一管理平台，帮助用户快速掌握服务及主机的健康状态，通过图形化的指标监控及定制及时的获取系统的关键信息，根据实际业务的性能需求修改服务属性的配置，对集群、服务、角色实例等实现一键启停等操作。删除集群，如果作业执行结束后不需要集群，可以删除MRS集群。集群删除后不再产生费用。父主题：产品咨询类

MapReduce服务 MRS
MapReduce服务 MRS-如何查看各组件配置文件路径？

如何查看各组件配置文件路径？常用组件配置文件路径如下所示：组件配置文件目录 ClickHouse 客户端安装路径/ClickHouse/clickhouse/config Flink 客户端安装路径/Flink/flink/conf Flume Flume客户端安装目录/fusioninsight-flume-xxx/conf HBase 客户端安装路径/HBase/hbase/conf HDFS 客户端安装路径/HDFS/hadoop/etc/hadoop Hive 客户端安装路径/Hive/config Hudi 客户端安装路径/Hudi/hudi/conf Kafka 客户端安装路径/Kafka/kafka/config Loader 客户端安装路径/Loader/loader-tools-xxx/loader-tool/conf 客户端安装路径/Loader/loader-tools-xxx/schedule-tool/conf 客户端安装路径/Loader/loader-tools-xxx/shell-client/conf 客户端安装路径/Loader/loader-tools-xxx/sqoop-shell/conf Oozie 客户端安装路径/Oozie/oozie-client-xxx/conf Spark2x 客户端安装路径/Spark2x/spark/conf Yarn 客户端安装路径/Yarn/config ZooKeeper 客户端安装路径/Zookeeper/zookeeper/conf 父主题：集群管理类

MapReduce服务 MRS
MapReduce服务 MRS-Hive与其他组件有什么关系？

Hive与其他组件有什么关系？ Hive与HDFS间的关系 Hive是Apache的Hadoop项目的子项目，Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据，Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop HDFS文件系统上，Hive所有的数据操作也都是通过Hadoop HDFS接口进行。 Hive与MapReduce间的关系 Hive所有的数据计算都依赖于MapReduce。MapReduce也是Apache的Hadoop项目的子项目，它是一个基于Hadoop HDFS分布式并行计算框架。Hive进行数据分析时，会将用户提交的HiveQL语句解析成相应的MapReduce任务并提交MapReduce执行。 Hive与DBService间的关系 Hive的MetaStore（元数据服务）处理Hive的数据库、表、分区等的结构和属性信息，这些信息需要存放在一个关系型数据库中，由MetaStore维护和处理。在MRS中，这个关系型数据库由DBService组件维护。 Hive与Spark间的关系 Hive的数据计算也可以运行在Spark上。Spark也是Apache的一个项目，它是基于内存的分布式计算框架。Hive进行数据分析时，会将用户提交的HiveQL语句解析成相应的Spark任务并提交Spark执行。父主题：产品咨询类

MapReduce服务 MRS
MapReduce服务 MRS-Spark作业Client模式和Cluster模式的区别

Spark作业Client模式和Cluster模式的区别理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念：Application Master。在YARN中，每个Application实例都有一个ApplicationMaster进程，它是Application启动的第一个容器。它负责和ResourceManager打交道并请求资源，获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YARN-Cluster和YARN-Client模式的区别其实就是ApplicationMaster进程的区别。 YARN-Cluster模式下，Driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行，因而YARN-Cluster模式不适合运行交互类型的作业。 YARN-Client模式下，Application Master仅仅向YARN请求Executor，Client会和请求的Container通信来调度工作，也就是说Client不能离开。父主题：作业开发类

MapReduce服务 MRS
MapReduce服务 MRS-如何使用组件客户端？

如何使用组件客户端？以root用户登录任意一个Master节点。执行su - omm命令，切换到omm用户。执行cd 客户端安装目录，切换到客户端。执行source bigdata_env命令，配置环境变量。如果当前集群已启用Kerberos认证，执行kinit 组件业务用户认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。环境变量配置成功后，即可执行组件的客户端命令。例如查看组件的相关信息，可执行HDFS客户端命令hdfs dfs -ls /查看HDFS根目录文件。父主题：客户端使用类

MapReduce服务 MRS 客户端使用类
MapReduce服务 MRS-如何查看集群配置信息？

如何查看集群配置信息？集群创建完成后在MRS控制台单击集群名称进入集群基本信息页面，可以查看到集群的基本配置信息，包括集群的名称、ID、付费类型、工作地域、创建时间、Hadoop组件版本及节点的实例规格、容量。其中，节点的实例规格和容量决定了该集群对数据的分析处理能力。节点实例规格越高，容量越大，集群运行速度越快，分析处理能力越强，相应的成本也越高。在基本信息页面，单击“前往Manager”，跳转至MRS集群管理页面。用户可在集群管理页面查看和处理告警信息、修改集群配置等。父主题：集群管理类

MapReduce服务 MRS
MapReduce服务 MRS-MRS是否支持变更MRS集群节点？

MRS是否支持变更MRS集群节点？ MRS管理控制台不支持变更集群节点，也不建议用户在E CS 管理控制台直接修改MRS集群节点。如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统，以及修改ECS规格的操作，可能影响集群稳定运行。如果您对MRS集群节点进行了上述操作，MRS会自动识别并直接删除发生变更的集群节点。您可以登录MRS管理控制台，通过扩容恢复已经删除的节点。请勿在扩容过程中对正在扩容的节点进行操作。父主题：集群管理类

MapReduce服务 MRS
MapReduce服务 MRS-MRS集群版本对应的操作系统是什么？

MRS集群版本对应的操作系统是什么？不同版本的集群对应的主机操作系统不同，具体对应关系如表1所示。表1 MRS集群版本与主机操作系统对应关系 MRS集群版本 x86计算鲲鹏计算(ARM) MRS 3.2.0-LTS.1 EulerOS 2.10 EulerOS 2.10 MRS 3.1.5 EulerOS 2.9 EulerOS 2.9 MRS 3.1.2-LTS.3 EulerOS 2.9 EulerOS 2.9 MRS 3.1.0 EulerOS 2.5 EulerOS 2.8 MRS 1.9.2 EulerOS 2.2 EulerOS 2.8 父主题：产品咨询类

MapReduce服务 MRS
MapReduce服务 MRS-如何在MRS集群中安装Kafka，Flume组件？

如何在MRS集群中安装Kafka，Flume组件？已经创建的MRS 3.1.0及之前版本集群不支持安装组件。Kafka和Flume为流式集群的组件，如果要安装Kafka和Flume组件，则需要创建流式集群或者混合集群并选择该组件。 MRS 3.1.2-LTS.3及之后版本的自定义类型集群支持添加组件，具体请参见管理服务操作。 Kafka和Flume组件，使用方法请参考使用Kafka、使用Flume。父主题：集群管理类

MapReduce服务 MRS
MapReduce服务 MRS-如何修改FlumeClient的日志为标准输出日志？

如何修改FlumeClient的日志为标准输出日志？登录Flume客户端安装节点。进入Flume客户端安装目录，假设Flume客户端安装路径为“/opt/FlumeClient”，可以执行以下命令。 cd /opt/FlumeClient/fusioninsight-flume-1.9.0/bin 执行./flume-manage.sh stop force命令，停止FlumeClient。执行vi ../conf/log4j.properties命令，打开log4j.properties文件，修改“flume.root.logger”的取值为“${flume.log.level},console”。执行./flume-manage.sh start force命令，重启FlumeClient。修改完成后，请检查docker配置信息是否正确。父主题：大数据业务开发

MapReduce服务 MRS
MapReduce服务 MRS-Hadoop组件jar包位置和环境变量的位置在哪里？

Hadoop组件jar包位置和环境变量的位置在哪里？ hadoopstreaming.jar位置在/opt/share/hadoop-streaming-*目录下。其中*由Hadoop版本决定。 jdk环境变量：/opt/client/JDK/component_env Hadoop组件的环境变量位置：/opt/client/HDFS/component_env Hadoop客户端路径：/opt/client/HDFS/hadoop 父主题：大数据业务开发

MapReduce服务 MRS
MapReduce服务 MRS-数据存储在OBS和HDFS有什么区别？

数据存储在OBS和HDFS有什么区别？ MRS集群处理的数据源来源于OBS或HDFS，HDFS是Hadoop分布式文件系统（Hadoop Distributed File System），OBS（Object Storage Service）即对象存储服务，是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据，客户可以基于OBS服务 Web界面和OBS客户端对数据进行浏览、管理和使用，同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。数据存储在OBS：数据存储和计算分离，集群存储成本低，存储量不受限制，并且集群可以随时删除，但计算性能取决于OBS访问性能，相对HDFS有所下降，建议在数据计算不频繁场景下使用。数据存储在HDFS：数据存储和计算不分离，集群成本较高，计算性能高，但存储量受磁盘空间限制，删除集群前需将数据导出保存，建议在数据计算频繁场景下使用。父主题：产品咨询类

MapReduce服务 MRS
MapReduce服务 MRS-MRS是否支持同时运行多个Flume任务？

MRS是否支持同时运行多个Flume任务？ Flume客户端可以包含多个独立的数据流，即在一个配置文件properties.properties中配置多个Source、Channel、Sink。这些组件可以链接以形成多个流。例如在一个配置中配置两个数据流，示例如下： server.sources = source1 source2server.sinks = sink1 sink2server.channels = channel1 channel2#dataflow1 server.sources.source1.channels = channel1server.sinks.sink1.channel = channel1#dataflow2server.sources.source2.channels = channel2server.sinks.sink2.channel = channel2 父主题：大数据业务开发

MapReduce服务 MRS
MapReduce服务 MRS-节点互信异常如何处理？

节点互信异常如何处理？当Manager报“ALM-12066 节点间互信失效”告警，或者发现节点间无ssh互信时，可参考如下步骤操作。分别在互信集群的两端节点执行ssh-add -l 确认是否有identities信息。如果没有identities信息，执行ps -ef|grep ssh-agent找到ssh-agent进程，并kill该进程等待该进程自动重启。执行ssh-add -l 查看是否已经添加identities信息，如果已经添加，请手动ssh确认互信是否正常。如果有identities信息，需要确认/home/omm/.ssh/authorized_keys中是否有对端节点/home/omm/.ssh/id_rsa.pub文件中的信息，如果没有手动添加对端节点信息。检查/home/omm/.ssh目录下的文件权限是否正确。排查日志文件 “/var/log/Bigdata/nodeagent/scriptlog/ssh-agent-monitor.log”，如果用户把omm的家目录删除了，需要联系MRS支撑人员修复。父主题：集群管理类

MapReduce服务 MRS
MapReduce服务 MRS-Hue连接hiveserver，不释放session，报错over max user connections如何处理？

Hue连接hiveserver，不释放session，报错over max user connections如何处理？适用版本：MRS 3.1.0及之前的MRS 3.x版本。修改两个Hue节点的以下文件： /opt/Bigdata/FusionInsight_Porter_8.*/install/FusionInsight-Hue-*/hue/apps/beeswax/src/beeswax/models.py 修改文件中的396和404行的值 q = self.filter(owner=user, application=application).exclude(guid='').exclude(secret='')改为q = self.filter(owner=user, application=application).exclude(guid=None).exclude(secret=None) 父主题：大数据业务开发

MapReduce服务 MRS
MapReduce服务 MRS-如何修改Clickhouse服务的allow_drop_detached配置项?

如何修改Clickhouse服务的allow_drop_detached配置项? 用root用户登录Clickhouse客户端所在节点。进入客户端目录，配置环境变量。 cd /opt/客户端安装目录 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS集群用户该用户必须具有Clickhouse管理员权限。执行命令clickhouse client --host 192.168.42.90 --secure -m，其中192.168.42.90为ClickHouseServer实例节点IP，执行结果如下： [root@server-2110082001-0017 hadoopclient]# clickhouse client --host 192.168.42.90 --secure -mClickHouse client version 21.3.4.25.Connecting to 192.168.42.90:21427.Connected to ClickHouse server version 21.3.4 revision 54447. 执行命令修改allow_drop_detached的值。例如：设置allow_drop_detached=1 set allow_drop_detached=1; 执行如下命令查看allow_drop_detached的值： SELECT *　FROM system.settings　WHERE name = 'allow_drop_detached'; 执行命令q;退出clickhouse client。父主题：大数据业务开发

MapReduce服务 MRS
MapReduce服务 MRS-添加Hive服务后，提交hivesql/hivescript作业失败

添加Hive服务后，提交hivesql/hivescript作业失败该问题是由于提交作业的用户所在用户组绑定的MRS CommonOperations策略权限在同步到Manager中后没有Hive相关权限，处理方法如下：添加Hive服务完成后。登录IAM服务控制台，创建一个用户组，该用户组所绑定策略和提交作业用户所在用户组权限相同。将提交作业的用户添加到新用户组中。刷新MRS控制台集群详情页面，“IAM用户同步”会显示“未同步”。单击“IAM用户同步”右侧的“同步”。同步状态在MRS控制台页面选择“操作日志”查看当前用户是否被修改。是，则可以重新提交hive作业，否，则检视上述步骤是否全部已执行完成。是，请联系运维人员处理。否，请等待执行完成后再提交hive作业。父主题：大数据业务开发

MapReduce服务 MRS
MapReduce服务 MRS-Hive使用beeline -e执行多条语句报错

Hive使用beeline -e执行多条语句报错 MRS 3.x版本Hive使用beeline执行beeline -e " use default;show tables;"报错：Error while compiling statement: FAILED: ParseException line 1:11 missing EOF at ';' near 'default' (state=42000,code=40000)。处理方法：方法一：使用beeline --entirelineascommand=false -e "use default;show tables;"。方法二：在Hive客户端如/opt/Bigdata/client/Hive目录下修改component_env文件，修改export CLIENT_HIVE_ENTIRELINEASCOMMAND=true为export CLIENT_HIVE_ENTIRELINEASCOMMAND=false。图1 修改component_env文件执行如下命令验证配置。 source /opt/Bigdata/client/bigdata_env beeline -e " use default;show tables;" 父主题：大数据业务开发

MapReduce服务 MRS
MapReduce服务 MRS-ClickHouse客户端执行SQL查询时报内存不足问题:解决方法

解决方法在执行SQL语句前，执行如下命令。注意执行前保证集群有足够内存可以设置。 SET max_memory_usage = 128000000000; #128G 如果没有上述大小内存可用，ClickHouse可以通过如下设置将“溢出”数据到磁盘。建议将max_memory_usage设置为max_bytes_before_external_group_by大小的两倍。 set max_bytes_before_external_group_by=20000000000; #20Gset max_memory_usage=40000000000; #40G 如果客户数据量大，而且是全表查询，建议按照分区进行查询或者进行升级集群core节点的规格。

MapReduce服务 MRS
MapReduce服务 MRS-ClickHouse客户端执行SQL查询时报内存不足问题:问题现象

问题现象 ClickHouse会限制group by使用的内存量，在使用ClickHouse客户端执行SQL查询时报如下错误： Progress: 1.83 billion rows, 85.31 GB (68.80 million rows/s., 3.21 GB/s.) 6%Received exception from server:Code: 241. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Memory limit (for query) exceeded: would use 9.31 GiB (attempt to allocate chunk of 1048576 bytes), maximum: 9.31 GiB: (while reading column hits):

MapReduce服务 MRS
MapReduce服务 MRS-如何修改HDFS主备倒换类？

如何修改HDFS主备倒换类？当MRS 3.x版本集群使用HDFS连接NameNode报类org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider无法找到时，是由于MRS 3.x版本集群HDFS的主备倒换类默认为该类，可通过如下方式解决。方式一：添加hadoop-plugins-xxx.jar到程序的classpath或者lib目录中。 hadoop-plugins-xxx.jar包一般在HDFS客户端目录下：$HADOOP_HOME/share/hadoop/common/lib/hadoop-plugins-8.0.2-302023.jar 方式二：将HDFS的如下配置项修改为开源类： dfs.client.failover.proxy.provider.hacluster=org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider 父主题：大数据业务开发

MapReduce服务 MRS
MapReduce服务 MRS-开启Kerberos认证的集群如何访问Spark？

开启Kerberos认证的集群如何访问Spark？用root用户登录集群Master节点。配置环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。 kinit MRS集群用户例如：开发用户为“机机”用户时执行：kinit -kt user.keytab sparkuser 开发用户为“人机”用户时执行：kinit sparkuser 执行如下命令连接Spark组件客户端。 spark-beeline 在spark-beeline中执行命令，例如在obs://mrs-word001/table/目录中创建表test。 create table test(id int) location 'obs://mrs-word001/table/'; 执行如下命令查询所有表，返回结果中存在表test，即表示访问OBS成功。 show tables; 图1 Spark验证返回已创建的表名使用“Ctrl + C ”退出spark beeline。父主题： Kerberos使用

MapReduce服务 MRS
MapReduce服务 MRS-MRS Console页面Flink作业状态与Yarn上的作业状态不一致

MRS Console页面Flink作业状态与Yarn上的作业状态不一致为了节约存储空间，用户修改了Yarn的配置项yarn.resourcemanager.max-completed-applications，减小yarn上历史作业的记录保存个数。由于Flink是长时作业，在yarn上realJob还在运行，但launcherJob已经被删除，导致因从Yarn上查不到launcherJob，从而更新作业状态失败。该问题在2.1.0.6补丁中解决。规避方法：终止找不到launcherJob的作业，后续提交的作业状态就会更新。父主题：作业开发类

MapReduce服务 MRS
MapReduce服务 MRS-如何查看MRS作业日志？

如何查看MRS作业日志？ MRS Console页面作业管理，每一条作业支持查看日志，包含launcherJob日志和realJob日志。 launcherJob作业的日志，一般会在stderr和stdout中打印错误日志，如下图所示： realJob的日志，可以通过MRS Manager中 Yarn服务提供的ResourceManager Web UI查看。登录集群Master节点，可获取1作业的日志文件，具体hdfs路径为“/tmp/logs/{submit_user}/logs/{application_id}”。提交作业后，在Yarn的WEB UI未找到对应作业的application_id，说明该作业没有提交成功，可登录集群主Master节点，查看提交作业进程日志“/var/log/executor/logs/exe.log”。父主题：作业开发类

MapReduce服务 MRS
MapReduce服务 MRS-LauncherJob作业执行结果为Failed. 报错信息为：jobPropertiesMap is null.

LauncherJob作业执行结果为Failed. 报错信息为：jobPropertiesMap is null. launcher作业失败的原因为：提交作业用户无“hdfs /mrs/job-properties”目录的写权限。该问题在2.1.0.6的补丁中修复，也可通过在MRS Manager页面给同步的提交作业用户赋予该目录“/mrs/job-properties”的写入权限。父主题：作业开发类

MapReduce服务 MRS

共100000条

undefined

意见反馈

0/200

提交取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

华为云用户手册

7*24

备案

专业服务

退订

建议反馈

售前咨询热线