数据湖探索 DLI-使用DLI提交Flink Jar作业:步骤3:使用DEW管理访问凭据
步骤3:使用DEW管理访问凭据
跨源分析场景中,需要在connector中设置账号、密码等属性。但是账号密码等信息属于高度敏感数据,需要做加密处理,以保障用户的数据隐私安全。
数据加密 服务(Data Encryption Workshop,DEW)安全、可靠、简单易用隐私数据加解密方案。
本例介绍在DEW创建通用凭证的操作步骤。了解更多请参考创建通用凭据。
- 登录DEW管理控制台
- 选择“凭据管理”,进入“凭据管理”页面。
- 单击“创建凭据”,配置凭据基本信息。
- 本例中第一行key对应的value为用户的AK(Access Key Id)
- 本例中第二行key对应的value为用户的SK(Secret Access Key)
图3 在DEW中配置访问凭据
- 后续在 DLI Flink jar作业编辑界面设置访问凭据的参数示例。
flink.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access.key=USER_AK_ CS MS_KEY_obstest1 flink.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.secret.key=USER_SK_C SMS _KEY_obstest1 flink.hadoop.fs.obs.security.provider=com.dli.provider.UserObsBasicCredentialProvider flink.hadoop.fs.dew.csms.secretName=obsAksKflink.hadoop.fs.dew.endpoint=kmsendpoint flink.hadoop.fs.dew.csms.version=v6flink.hadoop.fs.dew.csms.cache.time.second=3600flink.dli.job.agency.name=agencyname
更多Flink jar 使用DEW获取访问凭证读写OBS示例请参考Flink Jar 使用DEW获取访问凭证读写OBS