数据湖探索 DLI-Spark Jar 使用DEW获取访问凭证读写OBS:样例代码

时间：2024-04-18 20:33:15

样例代码

本章节JAVA样例代码演示将DataGen数据处理后写入到OBS，具体参数配置请根据实际环境修改。

创建DLI访问DEW的委托并完成委托授权。
详细步骤请参考自定义DLI委托权限。
在DEW创建通用凭证。详细操作请参考创建通用凭据。
1. 登录DEW管理控制台
2. 选择“凭据管理”，进入“凭据管理”页面。
3. 单击“创建凭据”。配置凭据基本信息

DLI Spark jar作业编辑界面设置作业参数。

Spark参数：

spark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access.key= USER_AK_CSMS_KEY
spark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.secret.key= USER_SK_CSMS_KEY
spark.hadoop.fs.obs.security.provider=com.dli.provider.UserObsBasicCredentialProvider
spark.hadoop.fs.dew.csms.secretName=obsAkSk
spark.hadoop.fs.dew.endpoint=kms.xxx.xxx.com
spark.hadoop.fs.dew.csms.version=v3
spark.dli.job.agency.name=agency