数据湖探索 DLI-Spark Jar 使用DEW获取访问凭证读写OBS:前提条件

时间:2024-04-18 20:33:15

前提条件

  • 已在DEW服务创建通用凭证,并存入凭据值。具体操作请参考:创建通用凭据
  • 已创建DLI访问DEW的委托并完成委托授权。该委托需具备以下权限:
    • DEW中的查询凭据的版本与凭据值ShowSecretVersion接口权限,csms:secretVersion:get。
    • DEW中的查询凭据的版本列表ListSecretVersions接口权限,csms:secretVersion:list。
    • DEW解密凭据的权限,kms:dek:decrypt。

      委托权限示例请参考自定义DLI委托权限常见场景的委托权限策略

  • 仅支持Spark3.3.1(Spark通用队列场景)及以上版本使用DEW管理访问凭据,在创建作业时,请配置作业使用Spark3.3.1版本、且已在作业中配置允许DLI访问DEW的委托信息。

    自定义委托及配置请参考自定义DLI委托权限

  • 使用该功能,所有涉及OBS的桶,都需要进行配置AKSK。
support.huaweicloud.com/devg-dli/dli_09_0215.html