湖仓构建 LAKEFORMATION-配置LakeFormation对接Spark:对接通用配置
时间：2025-04-28 20:03:47
下载湖仓构建 LAKEFORMATION用户手册完整版
复制链接到剪贴板
分享文章到微博
分享文章到朋友圈
对接通用配置
在“spark/conf/spark-defaults.conf”中添加以下配置：
# 项目ID，必选参数，此处配置值仅作为参考 spark.hadoop.lakeformation.project.id=项目ID # LakeFormation实例ID，可选参数，通过LakeFormation实例界面获取，如不填写则连接到默认实例，此处配置值仅作为参考 spark.hadoop.lakeformation.instance.id=LakeFormation实例ID #访问lakeformation IAM 认证AK信息，可选参数，如果为自定义认证信息获取类可忽略 spark.hadoop.lakeformation.authentication.access.key=AK信息 #访问lakeformation IAM认证SK信息，可选参数，如果为自定义认证信息获取类可忽略 spark.hadoop.lakeformation.authentication.secret.key=SK信息 #访问lakeformation IAM认证信息securitytoken，可选参数，搭配临时AK/SK使用，如果使用永久AK/SK或自定义认证信息获取类可忽略 spark.hadoop.lakeformation.authentication.security.token=securitytoken信息
其中项目ID为必选配置，其他为可选配置，根据实际情况进行填写。
- 项目ID：可参考获取项目ID获取。
- LakeFormation实例ID：可参考如何获取LakeFormation实例ID获取。
- AK/SK信息可参考如何获取AK/SK获取。
- securitytoken可参考通过token获取临时访问密钥和securitytoken获取。
将上述配置添加到hive-site.xml或core-site.xml中亦可生效，添加时需要去除“spark.hadoop”前缀。
support.huaweicloud.com/bestpractice-lakeformation/lakeformation_08_0003.html
