湖仓构建 LAKEFORMATION-配置Spark对接LakeFormation:对接通用配置

时间：2024-04-03 14:31:31

湖仓构建 LAKEFORMATION 配置开源Spark组件对接LakeFormation

对接通用配置

在“spark/conf/spark-defaults.conf”中添加以下配置：

# 项目ID，必选参数，此处配置值仅作为参考
spark.hadoop.lakeformation.project.id=项目ID
# LakeFormation实例ID，可选参数，通过LakeFormation实例界面获取，如不填写则连接到默认实例，此处配置值仅作为参考
spark.hadoop.lakeformation.instance.id=LakeFormation实例ID
#访问lakeformation IAM认证AK信息，可选参数，如果为自定义认证信息获取类可忽略
spark.hadoop.lakeformation.authentication.access.key=AK信息
#访问lakeformation IAM认证SK信息，可选参数，如果为自定义认证信息获取类可忽略
spark.hadoop.lakeformation.authentication.secret.key=SK信息
#访问lakeformation IAM认证信息securitytoken，可选参数，搭配临时AK/SK使用，如果使用永久AK/SK或自定义认证信息获取类可忽略
spark.hadoop.lakeformation.authentication.security.token=securitytoken信息