数据治理中心 DATAARTS STUDIO-开发一个MRS Flink作业:操作步骤

时间:2024-05-17 10:57:29

操作步骤

  1. 将作业资源包和数据文件传入OBS桶中。

    本例中,WordCount.jar文件上传路径为:lkj_test/WordCount.jar;word.txt 文件上传路径为:lkj_test/input/word.txt。

  2. 创建一个数据开发模块空作业,作业名称为“job_MRS_Flink”。

    图1 新建作业

  3. 进入到作业开发页面,拖动“MRS Flink”节点到画布中并单击,配置节点的属性。

    图2 配置MRS Flink节点属性

    参数设置说明:

    --Flink作业名称
    wordcount
    --MRS集群名称
    选择一个MRS集群
    --运行程序参数
    -c    org.apache.flink.streaming.examples.wordcount.WordCount
    --Flink作业资源包
    wordcount
    --输入数据路径
    obs://dlf-test/lkj_test/input/word.txt
    --输出数据路径
    obs://dlf-test/lkj_test/output.txt

    其中:

    obs://dlf-test/lkj_test/input/word.txt为wordcount.jar的传入参数路径,可以把需要统计的单词写到里面;

    obs://dlf-test/lkj_test/output.txt为输出参数文件的路径(如已存在output.txt文件,会报错)。

  4. 单击“测试运行”,执行该MRS Flink作业。
  5. 待测试完成,执行“提交”。
  6. 在“作业监控”界面,查看作业执行结果。
  7. 查看OBS桶中返回的记录(没设置返回可跳过)。
support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0526.html