检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据导入 概述 使用Loader导入数据 典型场景：从SFTP服务器导入数据到HDFS/OBS 典型场景：从SFTP服务器导入数据到HBase 典型场景：从SFTP服务器导入数据到Hive 典型场景：从FTP服务器导入数据到HBase 典型场景：从关系型数据库导入数据到HDFS/OBS
JobGateway服务由JobBalancer和JobServer两个角色组成，其中，JobBalancer是作业REST请求转发的网关，将作业请求转发到不同的jobserver实例，提供负载均衡的能力；JobServer是大数据作业提交的主要执行者，能根据不同的作业类型，构造提交上下文
例如：username=testuser @password=用户密码 --input obs://mrs-demotest/input/data2.txt --output obs://mrs-demotest/output.txt 服务配置参数 可选参数，用于为本次执行的作业修改服务配置参数
用户可以进入Yarn的WebUI页面，选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task，选择“Stdout”查看该任务的输出结果如图5和图6。
创建Loader数据导入作业 使用Loader导入数据至MRS集群 使用Loader从SFTP服务器导入数据到HDFS/OBS 使用Loader从SFTP服务器导入数据到HBase 使用Loader从SFTP服务器导入数据到Hive 使用Loader从FTP服务器导入数据到HBase
OBS存算分离细粒度鉴权 对于OBS存算分离集群，如果您想对OBS上的资源进行细粒度的权限控制，可以通过MRS提供的基于IAM委托的细粒度权限控制方案进行配置，请参见配置MRS多用户访问OBS细粒度权限。 父主题： 安全
配置MRS集群存算分离 MRS存算分离概述 配置MRS集群通过IAM委托对接OBS 配置MRS集群通过Guardian对接OBS 存算分离常见问题
路径可以是OBS文件系统的路径或虚拟机本地的路径。 同一集群内，不允许配置相同的路径。不同集群之间，可以配置相同的路径。 OBS文件系统的路径，必须以obs://开头，以.sh结尾。
用户已经在账号的对象存储服务（OBS）中创建了并行文件系统。 操作步骤 在MRS Manager，单击“系统设置”。 在“维护”下单击“审计日志导出”。 表2 审计日志导出参数 参数 示例 参数解释说明 审计日志导出 打开 必选参数，指定是否打开审计日志导出。
/client/Spark2x/spark/jars”） jar包 Oozie的share HDFS的“/user/oozie/share/lib/spark2x”目录 说明： 请使用Oozie用户上传文件，执行su - oozie切换到Oozie用户 上传结束后再重启oozie服务
根据上面配置的路径，在HDFS客户端上新建如下文件夹： hdfs dfs -mkdir -p /user/developuser/myjobs/apps/spark2x/lib hdfs dfs -mkdir -p /user/developuser/myjobs/apps/spark2x
上传结束后再重启Oozie服务。
根据3配置的路径，在HDFS客户端上新建如下文件夹： hdfs dfs -mkdir -p /user/developuser/myjobs/apps/spark2x/lib hdfs dfs -mkdir -p /user/developuser/myjobs/apps/spark2x
create table test(id int) location 'obs://mrs-word001/table/'; 执行如下命令查询所有表，返回结果中存在表test，即表示访问OBS成功。
数据分析 使用Spark2x实现车联网车主驾驶行为分析 使用Hive加载HDFS数据并分析图书评分情况 使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至
添加Hive服务后，提交hivesql/hivescript作业失败如何处理？ Spark Job对应的运行日志保存在哪里？ 执行Spark任务报内存不足告警如何处理？ 修改hdfs-site.xml文件后未及时重启NameNode导致产生告警如何处理？
包升级 MRS 1.9.0.1 修复问题列表： MRS Manager MRS Manager支持滚动安装补丁时不重启服务 MRS大数据组件 解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问 解决SPARK-27637开源问题 优化hive滚动重启 obs
包升级 MRS 1.9.0.1 修复问题列表： MRS Manager MRS Manager支持滚动安装补丁时不重启服务 MRS大数据组件 解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问 解决SPARK-27637开源问题 优化hive滚动重启 obs
例如在MRS集群未配置存算分离的场景下，作业需要通过AK/SK方式访问OBS，可增加以下服务配置参数： fs.obs.access.key：访问OBS的密钥ID。 fs.obs.secret.key：访问OBS与密钥ID对应的密钥。
包升级 MRS 1.9.0.1 修复问题列表： MRS Manager MRS Manager支持滚动安装补丁时不重启服务 MRS大数据组件 解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问 解决SPARK-27637开源问题 优化hive滚动重启 obs
