数据治理中心 DATAARTS STUDIO-开发一个MRS Spark Python作业:案例二：通过MRS Spark Python作业实现打印输出"hello python"

时间：2024-05-17 10:57:27

案例二：通过MRS Spark Python作业实现打印输出"hello python"

前提条件：

开发者具有OBS相关路径的访问权限。

数据准备：

准备脚本文件"zt_test_sparkPython1.py"，具体内容如下：

from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName("master"). setMaster("yarn")
sc = SparkContext(conf=conf)
print("hello python")
sc.stop()

操作步骤：

将脚本文件传入OBS桶中。
创建一个数据开发模块空作业。
进入到作业开发页面，拖动“MRS Spark Python”节点到画布中并单击，配置节点的属性。
参数设置说明：
```
--master
yarn
--deploy-mode
cluster
obs://obs-tongji/python/zt_test_sparkPython1.py
```
其中：zt_test_sparkPython1.py 为脚本所在路径
单击“测试运行”，执行该脚本作业。
待测试完成，执行“提交”。
在“作业监控”界面，查看作业执行结果。

图8 查看作业执行结果
日志验证。
运行成功后，登录MRS manager后在YARN上查看日志，发现有hello python的输出。

图9 查看YARN上日志