数据治理中心 DATAARTS STUDIO-开发一个DLI Spark作业:场景说明

时间:2024-01-19 11:52:26

场景说明

用户在使用DLI服务时,大部分时间会使用SQL对数据进行分析处理,有时候处理的逻辑特别复杂,无法通过SQL处理,那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何在数据开发模块中提交一个Spark作业。

操作流程如下:

  1. 创建DLI集群,通过DLI集群的物理资源来运行Spark作业。
  2. 获取Spark作业的演示JAR包,并在数据开发模块中关联到此JAR包。
  3. 创建数据开发模块作业,通过DLI Spark节点提交Spark作业。
support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0521.html