使用SQL查询MaxCompute中的infomattionSchmea数据时,因infomattionSchmea数据并非实时更新,通常存在约 3 小时的延迟。当源端新增表后,informationschema中可能尚未反映这些新表的信息,从而会出现迁移后数据表不一致的情况。 前提条件
单击页面右上角的“创建迁移方案”按钮,右侧弹出迁移方案模板窗口。 单击对象存储批量迁移框中的“开始配置”按钮,进入对象存储批量迁移页面。 在基础配置区域,根据表3,配置相关参数。 表3 基础配置参数配置说明 参数 配置说明 方案名称 用户自定义。 描述(可选) 用户自定义。 源端平台 与步骤一采集对象存储资源时
置为当前最大,可能会导致系统选择错误的回复 URL,从而无法完成身份验证。 https://iam.myhuaweicloud.com/v3-ext/auth/OS-FEDERATION/SSO/SAML2/POST 添加完成后,单击窗口上方的“保存”按钮,保存配置。在基本SAM
填写连接到CloudTable(ClickHouse)的数据库链接地址。可以在ClickHouse集群的基本信息获取,对应参数为“集群访问地址”。 表3 CloudTable(HBase)服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“CloudTable-
ncy" ], "Effect": "Allow" } ] } 图3 创建SMS-全局云服务策略 创建SMS-项目级云服务策略。输入自定义“策略名称”,策略配置方式选择“JSON视图”,将以下内容复制粘贴到策略内容中。
操作迁移中心迁移工作流功能 √ x x x √ x 操作迁移中心资源列表中的资源采集功能 √ x x x x √ 创建用户并加入用户组 创建用户时选择步骤3创建的具有MgC权限的用户组。 获取访问密钥(AK/SK) 账号和IAM用户的访问密钥是单独的身份凭证,即账号和IAM用户仅能使用自己的访问
准确的推荐。 须知: CPU阈值计算规则:基于源端主机的CPU核数,采用向上取整至最接近的2幂次指数。例如:源端主机为3核CPU,阈值计算为4核,因为4是大于3的最小2的幂次;源端主机为4核CPU,阈值则为8核,8是大于4的下一个2的幂次。 内存阈值计算规则:为源端主机内存的1.5倍。例如:源端主机内存为4
集群ID:输入需要校验的数据所在集群ID。 说明: 区域ID和项目ID可以在“我的凭证 > API凭证”查看。 集群ID的获取方法请参考获取MRS集群ID。 表3 ClickHouse组件参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。
在列表上方选择“目标场景>主机迁移”,此时源端迁移准备度列会出现“配置”按钮。 单击源端迁移准备度列的“配置”,弹出配置窗口。 根据表3,配置参数。 表3 迁移准备度参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。 接入IP
在列表上方选择“目标场景>主机迁移”,此时源端迁移准备度列会出现“配置”按钮。 单击源端迁移准备度列的“配置”,弹出配置窗口。 根据表3,配置参数。 表3 迁移准备度参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。 接入IP
使用SQL查询MaxCompute中的infomattionSchmea数据时,因infomattionSchmea数据并非实时更新,通常存在约 3 小时的延迟。当源端新增表后,informationschema中可能尚未反映这些新表的信息,从而会出现迁移后数据表不一致的情况。 前提条件
自定义参数(可选) 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 迁移选项 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。 配置完成后,选择任务的运行方式。 创建的迁移任务可重复运行,每运行一次,即会生成一条任务实例。 单击任务名称,可以修改任务配置。
自定义参数(可选) 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 迁移选项 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。 配置完成后,选择任务的运行方式。 创建的迁移任务可重复运行,每运行一次,即会生成一条任务实例。 单击任务名称,可以修改任务配置。
选择 50 个资源。 在配置参数区域,根据表3,配置采集器参数信息。关于Window进程与网络采集器的更多说明和相关操作请参考Windows进程与网络采集器(app-discovery-process-netstat-win)。 表3 Windows进程与网络采集器参数配置说明 参数
conf文件中的nameserver参数值。多个DNS服务器地址使用英文逗号分隔,例如:192.0.2.1,192.0.2.2 最多可输入3个DNS服务器地址。 域名映射配置(可选) 添加域名到IP地址的映射,用于修改/etc/hosts文件。 最多可添加500个IP地址映射。 -
明。 表类型 根据实际情况选择。 文件类型 根据实际情况选择。 压缩格式 根据实际情况选择。 迁移选项 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。 表路径映射(可选) 用于确保在元数据迁移过程中,MaxCompute外表的元数据能够正确地迁移到目的端指定的存储位置
conf文件中的nameserver参数值。多个DNS服务器地址使用英文逗号分隔,例如:192.0.2.1,192.0.2.2 最多可输入3个DNS服务器地址。 域名映射配置(可选) 添加域名到IP地址的映射,用于修改/etc/hosts文件。 最多可添加500个IP地址映射。 -
明。 表类型 根据实际情况选择。 文件类型 根据实际情况选择。 压缩格式 根据实际情况选择。 迁移选项 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。 表路径映射(可选) 用于确保在元数据迁移过程中,MaxCompute外表的元数据能够正确地迁移到目的端指定的存储位置
以下为迁移中心MgC各迁移场景存在的约束与限制。 主机迁移相关约束与限制 主机跨可用区迁移相关约束与限制 存储迁移相关约束与限制 使用迁移中心进行主机迁移的约束与限制参见表3。 表3 主机迁移约束与限制 类别 约束与限制 主机批量迁移计划 一个计划只能创建一个迁移工作流。 同一计划内的主机必须来自同一源端平台。 同一台主机只能添加到一个计划内。
Agent一直处于在线并启用状态。 在功能入口区域,单击“大数据迁移准备”,进入大数据迁移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图3 创建连接 连接类型选择“Delta Lake(无元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。