华为云首页用户手册

MAPREDUCE服务 MRS-编包并运行程序:操作步骤

MAPREDUCE服务 MRS-编包并运行程序:操作步骤

时间：2024-04-30 17:18:32

MAPREDUCE服务 MRS

操作步骤

获取样例代码。
下载样例工程的Maven工程源码和配置文件，请参见获取代码样例工程。

将样例代码导入IDEA中。
获取配置文件。
1. 从集群的客户端中获取文件。在“$SPARK_HOME/conf”中下载hive-site.xml与spark-defaults.conf文件到本地。
2. 在集群的FusionInsight Manager页面下载所使用用户的认证文件到本地。
在HDFS中上传数据。
1. 在Liunx中新建文本文件data，将如下数据内容保存到data文件中。
```
Miranda,32 
Karlie,23 
Candice,27
```
2. 在HDFS客户端，执行如下命令获取安全认证。
  cd {客户端安装目录}
  
  kinit {用于认证的业务用户}
3. 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /data（hdfs dfs命令有同样的作用），创建对应目录。
4. 在Linux系统HDFS客户端使用命令hadoop fs -put data /data，上传数据文件。
在样例代码中配置相关参数。
1. 认证用户配置。
  userPrincipal配置为所使用的用户。
  
  userKeytabPath配置为下载的keytab文件的路径。
  
  Krb5ConfPath配置为下载的krb5.conf文件的路径。
  
  域名配置为DEFAULT_REALM，在KerberosUtil类中修改DEFAULT_REALM为集群的域名。
2. 将securityConfig拼接的字符串中user.principal与user.keytab修改为相应的用户名与路径。注意这里keytab的路径需要使用“/”。
3. 将加载数据的sql语句改为“LOAD DATA INPATH 'hdfs:/data/data' INTO TABLE CHILD”。
在程序运行时添加运行参数，分别为hive-site.xml与spark-defaults.conf文件的路径。
运行程序。

上一篇：MAPREDUCE服务 MRS-开发流程

下一篇：MAPREDUCE服务 MRS-运行程序

MAPREDUCE服务 MRS-编包并运行程序:操作步骤

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题