创建集群将产生相关服务费用,具体费用请参见计费说明。 创建的集群节点暂不支持直接登录,如有需要请联系技术支持人员。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的应用迁移项目。
注意事项 迁移过程中,会调用源端云服务商的接口,所产生的费用都遵循源端云服务商的计费规则并由其向您收取。 操作流程 操作步骤 说明 准备工作 注册华为账号、开通华为云,并为账户充值。 获取账号迁移权限。 获取目的端账号的AK/SK。
配置管理 添加资源凭证 配置OBS桶 MgC Agent管理 事件记录
创建文件存储批量迁移工作流 本节介绍如何使用文件存储批量迁移模板,批量创建文件存储数据迁移任务,实现文件存储数据的高效迁移。 约束与限制 关于文件存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 风险提示 在创建工作流时,对于源端和目的端的同名对象,我们提供了三种覆盖策略:不覆盖
源端为Windows主机 登录源端主机,开启WinRM服务,方法请参考WinRM服务配置与故障排查。开启WinRM服务后重新进行深度采集。如果仍然失败,请执行步骤2.。
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移
任务迁移时触发限流后如何处理? 如果迁移工作流大量迁移失败,通过失败对象列表查看大量出现503报错,可能是触发限流。请参考以下方法处理。 排查源端是否限流。 如果是,请联系源端技术支持人员或提交工单,提高流控值。 如果源端没限流,请联系目的端技术支持人员或提交工单,提高流控值。 (
由于迭代器遍历无法精准标记位置,若目录存在大量平铺文件,OMS 服务无法获取精确的文件列举快照。 具体表现为:文件列举过程中执行暂停后重启,系统会从暂停时记录的目录快照位置继续列举。
例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog.tableWriteProvider 填写tunnel
(可选)清理集群 当您完成数据迁移并且集群不再需要时,可以直接删除闲置的集群以释放资源。 在左侧导航栏选择“其他 > 迁移集群管理”,进入迁移集群管理页面。 在集群列表,选择需要清理的集群,单击操作列的“更多 > 删除”,弹出删除集群窗口。 选择是否同步删除关联资源后,单击“确认”
使用须知 支持的区域 当前支持在以下区域(Region)进行SFS迁移,其它Region请使用线下工具RDA或者咨询其它方案进行迁移。 拉美-圣地亚哥 拉美-圣保罗 土耳其-伊斯坦布尔 亚太-曼谷 亚太-新加坡 亚太-雅加达 中东-利雅得 华北-北京四 华东-上海一 内网迁移 支持在同一
准备工作 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,并获取账号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 创建应用迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。项目类型选择“应用迁移”。 创建弹性文件系统
例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog.tableWriteProvider 填写tunnel
问题分析 出现该报错是因为:远程服务器的WinRM服务未启动或者配置不正确。 解决方法 验证执行机能否 ping 通远程服务器。如果可以ping通,请执行步骤2。 确认远程服务器的 WinRM 服务5985端口是否已对执行机开放。确认开放请执行步骤3。
上传日志:如果您需要查看作业的执行日志,可以使用上传日志功能,将日志文件上传到您的对象存储(OBS)桶中,以便随时查看和分析。使用上传日志功能前,需要您先在迁移工具Edge上配置日志桶,配置方法请参见配置日志桶。
MgC主机工作流资源与SMS迁移服务器列表之间的映射关系 MgC主机资源列表与SMS迁移服务器列表之间的映射关系,列表字段映射关系参见下表: MgC主机资源列表 SMS迁移服务器列表 字段类型 实例名称/实例ID 服务器名称/ID 源端主机的hostname IP地址 源端IP 源端主机的
Migration-proxy-start xxx.xxx.xxx.xxx iam.xxx.com xxx.xxx.xxx.xxx ecs.xxx.com xxx.xxx.xxx.xxx evs.xxx.com xxx.xxx.xxx.xxx ims.xxx.com xxx.xxx.xxx.xxx obs.xxx.com
上传日志:如果您需要查看作业的执行日志,可以使用上传日志功能,将日志文件上传到您的对象存储(OBS)桶中,以便随时查看和分析。使用上传日志功能前,需要您先在MgC Agent上配置日志桶,配置方法请参见配置日志桶。
文件内写入相关云服务的接口域名映射,并以#Migration-proxy-start开始,以#Migration-proxy-end结束。相关云服务的接口域名映射需要根据具体的环境而定,请联系对应局点的环境接口人获取。
spark.hadoop.odps.end.point:填写源端MaxCompute服务所在地域的VPC网络Endpoint信息。各地域VPC网络Endpoint信息请参考Endpoint对照表。