数据湖探索 DLI-创建并提交Spark Jar作业:步骤1：上传数据至OBS

时间：2024-05-23 09:15:31

数据湖探索 DLI

参考Spark作业样例代码开发Spark Jar作业程序，编译并打包为“spark-examples.jar”。参考以下操作步骤上传该作业程序。

提交Spark作业之前，需要在OBS中上传数据文件。

选择左侧列表中的“对象”，选择“上传对象”，将需要上传的文件，例如“spark-examples.jar”上传到指定目录，单击“确定”。

例如，文件上传成功后，待分析的文件路径为“obs://dli-test-obs01/spark-examples.jar”。

关于OBS管理控制台更多操作请参考《对象存储服务控制台指南》。
OBS上传文件指导，请参见《OBS工具指南》。
针对大文件场景，由于OBS管理控制台对文件大小和数量限制较多，所以推荐使用OBS工具上传大文件，如OBS Browser+或obsutil工具上传。
- OBS Browser+是一个比较常用的图形化工具，，支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。
- obsutil是一款用于访问管理OBS的命令行工具，对于熟悉命令行程序的用户，obsutil是执行批量处理、自动化任务的好的选择。

您可以通过以下多种方式将文件上传至桶，OBS最终将这些文件以对象的形式存储在桶中。

表1 OBS上传对象的不同访问方式
访问方式	上传对象方法
控制台	通过控制台上传对象
OBS Browser+	通过OBS Browser+上传对象
obsutil	通过obsutil上传对象
SDK	使用SDK上传对象，具体参考各语言开发指南的上传对象章节
API	PUT上传、POST上传