数据湖探索 DLI-典型场景示例：使用Spark Jar作业读取和查询OBS数据:开发流程
时间：2025-06-19 14:06:40
下载数据湖探索 DLI用户手册完整版
复制链接到剪贴板
分享文章到微博
分享文章到朋友圈
开发流程
DLI 进行Spark Jar作业开发流程参考如下：
图1 Spark Jar作业开发流程
|
序号 |
阶段 |
操作界面 |
说明 |
|---|---|---|---|
|
1 |
创建DLI通用队列 |
DLI控制台 |
创建作业运行的DLI队列。 |
|
2 |
上传数据到OBS桶 |
OBS控制台 |
将测试数据上传到OBS桶下。 |
|
3 |
新建Maven工程，配置pom文件 |
IntelliJ IDEA |
参考样例代码说明，编写程序代码读取OBS数据。 |
|
4 |
编写程序代码 |
||
|
5 |
调试，编译代码并导出Jar包 |
||
|
6 |
上传Jar包到OBS和DLI |
OBS控制台 DLI控制台 |
将生成的Spark Jar包文件上传到OBS目录下和DLI程序包中。 |
|
7 |
创建Spark Jar作业 |
DLI控制台 |
在DLI控制台创建Spark Jar作业并提交运行作业。 |
|
8 |
查看作业运行结果 |
DLI控制台 |
查看作业运行状态和作业运行日志。 |
support.huaweicloud.com/usermanual-dli/dli_01_0683.html
