UTE_NOT_SAME”,如何处理? 存储类型介绍 迁移任务执行失败如何处理? 任务迁移时触发限流后如何处理? 源端为NAS_NFS_V3_MOUNT时,为什么任务暂停后恢复任务列举最终列举数量增多? OMS对象存储迁移服务与MGC存储工作流对比
master节点为系统默认创建,无需配置。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明 参数 说明 备注 数据站点类型 目前支持迁移的源端存储类型包括: 华为云 OBS 阿里云 OSS 百度云 BOS 腾讯云 COS 金山云 KS3 七牛云 KODO 优刻得 US3 亚马逊 S3 微软 Blob NAS_GFS
以访问。命令格式分别为:ping {源端主机IP地址}、telnet {源端主机IP地址} {端口}。 如果IP和端口均能连通,请执行步骤3.。 如果IP或端口不通,请检查源端主机安全组入方向规则中,协议端口号为TCP:22和ICMP:全部的源地址是否配置为安装MgC Agent
下拉选择凭证。如未提前添加凭证,请单击“新建凭证”,填写相应参数,校验并保存凭证。 对比时间段 选择账单查询对比的时间段。如果开始月份为2月,结束月份为3月,则账单查询区间为2月1日到3月31日。 对比产品 下拉选择对比的产品,支持多选。 目的端区域 选择目的端所在区域。 配置完成后,单击“确认”按钮,提交上云成本分析任务。
在资源采集页面的资源列表,单击主机资源的资源数量,进入资源列表页面的主机页签。 单击主机采集设备列表或凭证列的“配置”,弹出配置窗口。 根据表3,配置参数。 表3 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。 接入IP
在资源采集页面的资源列表,单击主机资源的资源数量,进入资源列表页面的主机页签。 单击主机采集设备列表或凭证列的“配置”,弹出配置窗口。 根据表3,配置参数。 表3 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。 接入IP
登录MgC Agent控制台。 在左侧导航树选择“资源管理”,进入资源列表页面。 单击列表上方的“添加资源”按钮,弹出添加资源窗口。 根据表3,配置参数。 表3 添加资源参数说明 参数 说明 资源名称 支持用户自定义。 资源类型 支持下拉框选择:REDIS。 接入方式 输入接入IP,资源的
源端为阿里云OSS、腾讯云COS时,支持(可选)勾选CDN迁移支持。如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。 在目的端参数配置区域,根据表3,进行配置。 表3 目的端参数配置表 参数 子参数 说明 同名覆盖方式 对象大小与最后修改时间覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最
如果地址错误,请修改为正确地址后重试。 如果地址正确,请继续执行步骤2.。 查看源端主机是否处于关机状态。 如果是,请将源端主机开机后重试。 如果否,请继续执行步骤3.。 在安装MgC Agent的主机,打开命令行窗口,使用telnet命令测试源端主机的端口(如5985端口)是否可以访问。命令格式分别为:telnet
选择“是”,设置虚拟化的vCPU数量。默认值300个,1≤取值范围<100,000,000。 设置“存储”区域参数,具体参数说明参见表3。 表3 设置存储参数 参数 子参数 说明 迁移总存储容量 - 默认值36,0≤取值范围≤999,999。单位为TB。 存储类型占比 块存储 比
Agent一直处于在线并启用状态。 在功能入口区域,单击“大数据迁移准备”,进入大数据迁移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图3 创建连接 连接类型选择“阿里云云数据库 ClickHouse”,单击“下一步”。 根据ClickHouse组件参数配置说明,配置连接参数后
可。 serviceName 否 Orcale数据库实例服务名与sid有一个即可。 采集结果数据说明 采集字段和字段说明参数表1、表2、表3、表4。 表1 总采集字段说明表 采集字段 字段描述 name 数据库实例名称 connectAddress 连接地址 useSsl 是否使用ssl
Agent一直处于在线并启用状态。 在功能入口区域,单击“大数据迁移准备”,进入大数据迁移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图3 创建连接 连接类型选择“Hive Metastore”,单击“下一步”。 根据Hive Metastore连接参数配置说明,配置连接参数后
登录迁移中心管理控制台。 单击左侧导航栏的“其他 > 配置管理”,进入配置管理页面。 在“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。 图3 创建项目 在弹出的窗口中,项目类型选择“大数据迁移”。 项目类型选择后将无法更改。 图4 选择大数据迁移项目 输入自定义的项目名称,单击“
试执行数据校验任务。 在进行Hive 2.x与Hive 3.x版本间数据校验时,由于Hive 2.x版本在查询固定长度字符串类型char(N)数据时,如果实际数据长度不满足N长度,Hive会以空格补齐至N长度。而Hive 3.x版本在查询时不会进行这种补齐操作。这可能导致在不同版
Zookeepeer连接端口 填写连接到目的端Zookeepeer的端口。默认为2181。 HBase 版本 选择目的端HBase版本。 表3 ClickHouse组件参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。
Agent一直处于在线并启用状态。 在功能入口区域,单击“大数据迁移准备”,进入大数据迁移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图3 创建连接 连接类型选择“MaxCompute”,单击“下一步”。 根据MaxCompute连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。
Agent一直处于在线并启用状态。 在功能入口区域,单击“大数据迁移准备”,进入大数据迁移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图3 创建连接 连接类型选择“MaxCompute”,单击“下一步”。 根据MaxCompute连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。
致性校验说明。 说明: 目前对象存储迁移仅支持华为云、阿里云、腾讯云和亚马逊云。 目前文件系统迁移仅支持NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL。 目的端OBS桶需开启CRC64特性白名单。 迁移元数据 - 选择是否迁移元数据。 勾选,则迁移源端对象元数据。
根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明 参数 说明 数据站点类型 选择“HTTP/HTTPS数据源”。 列表路径 填写在步骤二存放URL列表文件的文件夹名称(在本文示例中为minioUrl/),注意要在文件夹名称后面加上“/”。 表3 目的端信息参数说明