湖仓构建 LAKEFORMATION-配置Spark对接LakeFormation:对接OBS

时间：2024-04-03 14:31:31

湖仓构建 LAKEFORMATION 配置开源Spark组件对接LakeFormation

对接OBS

在“spark/conf/spark-defaults.conf”中添加以下配置：

# 对接OBS固定配置，Endpoint需要根据区域进行配置
spark.hadoop.fs.obs.impl=org.apache.hadoop.fs.obs.OBSFileSystem
spark.hadoop.fs.AbstractFileSystem.obs.impl=org.apache.hadoop.fs.obs.OBS
spark.hadoop.fs.obs.endpoint=obs.xxx.huawei.com

# 指定访问OBS凭证获取类为LakeFormationObsCredentialProvider
spark.hadoop.fs.obs.credentials.provider=com.huawei.cloud.dalf.lakecat.client.obs.LakeFormationObsCredentialProvider

# 可选参数，关闭OBS文件系统缓存，长任务需要增加该配置，避免缓存中的临时AKSK失效
spark.hadoop.fs.obs.impl.disable.cache=true