云服务器内容精选

华为云首页用户手册

配置开源Spark组件对接LakeFormation

湖仓构建 LAKEFORMATION-配置Spark对接LakeFormation:集成SQL鉴权插件

集成SQL鉴权插件使用鉴权插件必须实现并指定自定义用户信息获取类，详细操作请参考自定义用户信息获取类。在spark-default.conf配置文件中添加如下配置： com.huawei.cloud.dalf.lakecat.client.spark.v31.authorizer.LakeFormationSparkSQLExtension spark.sql.extensions=com.huawei.cloud.dalf.lakecat.client.spark.authorizer.LakeFormationSparkSQLExtension 集成权限插件后，如果当前用户（通过自定义用户信息获取类指定）无对应元数据权限，在执行SQL时将抛出异常。当前用户如果拥有IAM LakeFormation:policy:create权限，且当前用户（可通过自定义用户信息获取类指定）和认证信息（可通过自定义认证信息获取类指定）为统一用户，将跳过SQL鉴权。当前，过滤相关功能暂未支持，包括库、表、行过滤，列掩码等。

湖仓构建 LAKEFORMATION 配置开源Spark组件对接LakeFormation
湖仓构建 LAKEFORMATION-配置Spark对接LakeFormation:对接通用配置

对接通用配置在“spark/conf/spark-defaults.conf”中添加以下配置： # 项目ID，必选参数，此处配置值仅作为参考 spark.hadoop.lakeformation.project.id=项目ID # LakeFormation实例ID，可选参数，通过LakeFormation实例界面获取，如不填写则连接到默认实例，此处配置值仅作为参考 spark.hadoop.lakeformation.instance.id=LakeFormation实例ID #访问lakeformation IAM认证AK信息，可选参数，如果为自定义认证信息获取类可忽略 spark.hadoop.lakeformation.authentication.access.key=AK信息 #访问lakeformation IAM认证SK信息，可选参数，如果为自定义认证信息获取类可忽略 spark.hadoop.lakeformation.authentication.secret.key=SK信息 #访问lakeformation IAM认证信息securitytoken，可选参数，搭配临时AK/SK使用，如果使用永久AK/SK或自定义认证信息获取类可忽略 spark.hadoop.lakeformation.authentication.security.token=securitytoken信息其中项目ID为必选配置，其他为可选配置，根据实际情况进行填写。项目ID：可参考获取项目ID获取。 LakeFormation实例ID：可参考如何获取LakeFormation实例ID获取。 AK/SK信息可参考如何获取AK/SK获取。 securitytoken可参考通过token获取临时访问密钥和securitytoken获取。将上述配置添加到hive-site.xml或core-site.xml中亦可生效，添加时需要去除“spark.hadoop”前缀。

湖仓构建 LAKEFORMATION 配置开源Spark组件对接LakeFormation
湖仓构建 LAKEFORMATION-配置Spark对接LakeFormation:对接OBS

对接OBS 在“spark/conf/spark-defaults.conf”中添加以下配置： # 对接OBS固定配置，Endpoint需要根据区域进行配置 spark.hadoop.fs.obs.impl=org.apache.hadoop.fs.obs.OBSFileSystem spark.hadoop.fs.AbstractFileSystem.obs.impl=org.apache.hadoop.fs.obs.OBS spark.hadoop.fs.obs.endpoint=obs.xxx.huawei.com # 指定访问OBS凭证获取类为LakeFormationObsCredentialProvider spark.hadoop.fs.obs.credentials.provider=com.huawei.cloud.dalf.lakecat.client.obs.LakeFormationObsCredentialProvider # 可选参数，关闭OBS文件系统缓存，长任务需要增加该配置，避免缓存中的临时AKSK失效 spark.hadoop.fs.obs.impl.disable.cache=true Endpoint：不同服务不同区域的Endpoint不同。您可以从地区和终端节点中获取。将上述配置添加到core-site.xml文件中亦可生效，添加时需要去除“spark.hadoop”前缀。

湖仓构建 LAKEFORMATION 配置开源Spark组件对接LakeFormation