检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark.hadoop.odps.end.point:填写源端MaxCompute服务所在地域的VPC网络Endpoint信息。各地域VPC网络Endpoint信息请参考Endpoint对照表。
对象存储批量迁移模板-配置目的端 MgC ListObsBucketsAgencyPolicy obs:bucket:ListBucket(列举桶内对象) obs:bucket:ListAllMyBuckets(获取桶列表) 创建迁移集群 场景 委托对象 自定义策略名称 细粒度最小使用权限
文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业 需要提前导出SQL作业,并上传到华为云OBS桶,再将桶的读写权限委托给迁移中心。 血缘模板 需要下载血缘模板,并填写相应数据。
spark.hadoop.odps.end.point:填写源端MaxCompute服务所在地域的VPC网络Endpoint信息。各地域VPC网络Endpoint信息请参考Endpoint对照表。
步骤二:将导出的文件上传至OBS 登录华为云OBS控制台,创建一个用于存储RVTools导出资源文件的标准存储桶。方法请参考创建桶。 参考上传对象,将导出的RVTools资源文件上传至OBS标准存储桶。 步骤三:导入RVTools资源 登录迁移中心管理控制台。
(查询租户配额) vpc:quotas:list(查询资源配额) 对象存储批量迁移模板-配置目的端 MgC ListObsBucketsAgencyPolicy obs:bucket:ListAllMyBuckets(获取桶列表) 创建迁移集群 场景 委托对象 自定义策略名称 细粒度最小使用权限
资源类型 云服务 Action 最小权限策略 存储 对象存储(KS3) ks3:ListBuckets KS3ReadOnlyAccess 谷歌云资源采集 采集谷歌云各类资源所需的权限参见下表。
配置管理 添加资源凭证 配置OBS桶 MgC Agent管理 事件记录
步骤二:将导出的文件上传至OBS 登录华为云OBS控制台,创建一个用于存储RVTools导出资源文件的标准存储桶。方法请参考创建桶。 参考上传对象,将导出的RVTools资源文件上传至OBS标准存储桶。 步骤三:导入RVTools资源 登录迁移中心管理控制台。
步骤二:将导出的文件上传至OBS 登录华为云OBS控制台,创建一个用于存储RVTools导出资源文件的标准存储桶。方法请参考创建桶。 参考上传对象,将导出的RVTools资源文件上传至OBS标准存储桶。 步骤三:导入RVTools资源 登录迁移中心管理控制台。
导出方式选择“导出到OBS”,选择作业保存目录。 “导出范围”和“导出状态”根据实际需求选择。 若待导出的作业未提交过任何版本,“导出状态”建议选择“开发态”,如果选择了“提交态”导出时会跳过该作业。 单击“确定”,导出完成后,前往步骤6.选择的OBS目录获取导出结果。
spark.hadoop.odps.end.point:填写源端MaxCompute服务所在地域的VPC网络Endpoint信息。各地域VPC网络Endpoint信息请参考Endpoint对照表。
数据站点类型选择华为云OBS时填写。 SK 输入目的端华为云账号的私有密钥。 桶 选择目的端OBS桶。 对象存储终端地址 输入目的端OBS桶所在区域的终端节点(Endpoint)信息。
表路径映射(可选) 用于确保在元数据迁移过程中,MaxCompute外表的元数据能够正确地迁移到目的端指定的存储位置,即在OSS中的源路径自动映射为目的端指定的OBS路径。 映射到目的端OBS的路径需要提前创建,并且除桶名以外,其余目录需要与源端OSS目录保存一致。
上传日志:如果您需要查看作业的执行日志,可以使用上传日志功能,将日志文件上传到您的对象存储(OBS)桶中,以便随时查看和分析。使用上传日志功能前,需要您先在迁移工具Edge上配置日志桶,配置方法请参见配置日志桶。
上传日志:如果您需要查看作业的执行日志,可以使用上传日志功能,将日志文件上传到您的对象存储(OBS)桶中,以便随时查看和分析。使用上传日志功能前,需要您先在MgC Agent上配置日志桶,配置方法请参见配置日志桶。
对象存储终端地址 输入源端桶所在区域的终端节点(Endpoint)信息。 例如:站点类型选择阿里云OSS,源端桶所在区域为华东1(杭州),则输入“oss-cn-hangzhou.aliyuncs.com”。 桶类型 数据站点类型为华为云OBS时选择。根据桶的实际类型选择。
支持多种云平台对象存储、文件存储服务,支持自建网络文件服务。
在华为云控制台中搜索LTS 云日志服务。 在mgc迁移集群对应region的LTS中找到日志组,对应的格式为oms_lts_log_group_{迁移集群的id}。 单击日志组,调整日志统计时间并搜索对应失败日志。
表路径映射(可选) 用于确保在元数据迁移过程中,MaxCompute外表的元数据能够正确地迁移到目的端指定的存储位置,即在OSS中的源路径自动映射为目的端指定的OBS路径。 映射到目的端OBS的路径需要提前创建,并且除桶名以外,其余目录需要与源端OSS目录保存一致。