MAPREDUCE服务 MRS-运行SparkSubmit或Spark作业:前提条件

时间:2024-05-15 11:14:53

前提条件

用户已经将运行作业所需的程序包和数据文件上传至OBS系统或HDFS中。

  • 本章节示例中使用的jar样例程序为“{集群客户端安装目录}/Spark2x/spark/examples/jars/spark-examples_*.jar”(部分版本集群中Spark2x文件夹名称为Spark,请以实际为准)。
  • 可登录客户端节点执行如下命令,将待运行的jar包样例上传至HDFS中,请参考使用HDFS客户端

    例如上传至HDFS的“/tmp”中:

    hdfs dfs -put {客户端安装目录}/Spark2x/spark/examples/jars/spark-examples_*.jar /tmp

support.huaweicloud.com/usermanual-mrs/mrs_01_0524.html