华为云首页用户手册

MAPREDUCE服务 MRS-快速使用Kerberos认证集群:执行Spark程序

时间：2024-01-04 16:46:35

MAPREDUCE服务 MRS

执行Spark程序

本小节提供执行Spark程序的操作指导，旨在指导用户在安全集群模式下运行程序。

前提条件

已编译好待运行的程序及对应的数据文件，如FemaleInfoCollection.jar、input_data1.txt和input_data2.txt，Spark程序开发及数据准备请参见Spark应用开发。

操作步骤

采用远程登录软件（比如：MobaXterm）通过ssh登录（使用集群弹性IP登录）到安全集群的master节点。
登录成功后分别执行下列命令，在/opt/Bigdata/client目录下创建test文件夹，在test目录下创建conf文件夹：
```
cd /opt/Bigdata/client
mkdir test
cd test
mkdir conf
```
使用上传工具（比如：WinScp）将样FemaleInfoCollection.jar、input_data1.txt和input_data2.txt复制到test目录下，将“创建角色和用户”中的步骤5获得的keytab文件和krb5.conf文件复制到conf目录。
执行如下命令配置环境变量并认证已创建用户，例如test。
```
cd /opt/Bigdata/client
source bigdata_env
export YARN_USER_CLASSPATH=/opt/Bigdata/client/test/conf/
kinit test
```
然后按照提示输入密码，无异常提示返回，则完成了用户的kerberos认证。

执行如下命令将数据导入到HDFS中：

cd test
hdfs dfs -mkdir /tmp/input
hdfs dfs -put input_data* /tmp/input

执行如下命令运行程序：

cd /opt/Bigdata/client/Spark/spark
bin/spark-submit --class com.huawei.bigdata.spark.examples.FemaleInfoCollection --master yarn-client /opt/Bigdata/client/test/FemaleInfoCollection-1.0.jar /tmp/input