检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表6 PermissionMigrationParameter 参数 参数类型 描述 migrate_existing_obs_acl Boolean 是否进行存量OBS路径权限迁移 location String 用于获取权限迁移的obs文件路径。
URI POST /v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id}/start 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。
URI DELETE /v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。
URI GET /v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id}/log 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。
请求示例 GET https://{endpoint}/v1/{project_id}/instances/{instance_id}/lf-jobs 响应示例 状态码:200 查询任务列表成功 { "total" : 1, "jobs" : [ { "id" :
事件通知主题:选择需要通知的主题,可以在管理控制台选择“消息通知服务 SMN”进行配置。 事件:需要通知的主题状态,可选择“任务成功”、“任务失败”。 创建完成后,单击“操作”列的“运行”即可运行当前迁移任务。调度策略选择“调度执行”时无需手动执行运行操作。
图1 跨集群数据共享 跨服务、跨集群数据共享 LakeFormation支持跨服务、跨集群数据共享。如图2所示,当前有MRS集群1和DWS集群,两集群开启存算分离将数据存储至OBS中,MRS集群1的大数据用户A创建数据表T1。
如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在标签管理服务(TMS)中创建预定义标签。 如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。
在IAM服务左侧导航栏中选择“委托”,搜索“lakeformation_admin_trust”,单击操作列“授权”,打开授权页面。 查找并勾选1创建lakeformation服务定义的委托最小化权限策略,单击“下一步”。
重启Hive服务。 进入Hive客户端执行以下命令进行验证。 show tables; 父主题: 配置LakeFormation对接开源Hive组件
在“委托”页面,将鼠标移动到新创建的委托名称上,获取具备访问OBS权限的委托ID。 创建对接ECS/BMS云服务委托 登录华为云管理控制台,选择“统一身份认证服务”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,设置相关参数,单击“下一步”。
Location 向LakeFormation服务授权OBS路径 查询已授权给LakeFormation服务的obs路径列表 从LakeFormation服务中批量取消授权OBS路径 父主题: Console
步骤二:创建存储元数据的OBS路径 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。
避免缓存中的临时AKSK失效 spark.hadoop.fs.obs.impl.disable.cache=true Endpoint:不同服务不同区域的Endpoint不同。
{instance_id}/lf-jobs/{job_id}/start?
服务协议查看/授权/取消,以及OBS、TMS等周边依赖服务的基础权限集合。
步骤二:创建存储元数据的OBS路径 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。
对象存储服务(Object Storage Service,OBS) LakeFormation服务的元数据所映射的实际业务数据,存储在OBS桶的目录和文件中。
确认操作影响,并确认是否“同时删除存储在OBS的数据”,单击“确定”。 同时删除存储在OBS的数据:可选配置,删除后数据将会放入回收站目录下,可以在过期删除前恢复。
服务授权管理 协议授权管理接口,包括系统协议查询、已授权协议查询、协议授权等接口。 用户开通使用LakeFormation服务前,需要提前了解并接受相关的协议与授权。 OBS管理 OBS桶管理接口,包括OBS桶、对象等查询接口。