检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
元数据增量感知 识别出上一次迁移后,在源端数据库中发生变化的元数据,并同步至目的端华为云数据湖探索(DLI)。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。
元数据增量感知 识别出上一次迁移后,在源端数据库中发生变化的元数据,并同步至目的端华为云数据湖探索(DLI)。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。
图1 公网迁移 如果源端无法访问公网,您需要准备一台可以访问公网的代理服务器并安装代理软件,方法可参考配置代理服务器访问华为云中的步骤1。对该代理服务器的网络要求如下: 该代理机器可以在源端内网,也可以在云上,只需和源端待迁移服务器内网互通即可。
说明: 目前仅支持华为云、阿里云、腾讯云。 目的端OBS桶需开启CRC64特性白名单。 一致性校验 对象大小与最后修改时间校验 默认配置,通过对比源端和目的端对象大小与最后修改时间,判断迁移后数据是否完整。
元数据全量迁移 将源端数据库中的所有元数据迁移到华为云数据湖探索(DLI) 。 元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 操作步骤 登录迁移中心控制台。
阿里云 ClickHouse迁移至CloudTable ClickHouse数据校验 本文主要介绍将阿里云 ClickHouse数据迁移至华为云CloudTable ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。
元数据全量迁移 将源端数据库中的所有元数据迁移到华为云数据湖探索(DLI) 。 元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。 当迁移的表数量较多或单个表的列数较多时,迁移过程可能会耗费较长时间。 前提条件 已完成所有准备工作。
须知: 使用该功能,需要MgC Agent添加的华为云账号AK/SK拥有MRS服务和DLI服务的只读权限(ReadOnly)。 表7 CloudTable(ClickHouse)服务参数配置说明 参数 配置说明 所属源 选择目的端。
步骤二:将导出的文件上传至OBS 登录华为云OBS控制台,创建一个用于存储RVTools导出资源文件的标准存储桶。方法请参考创建桶。 参考上传对象,将导出的RVTools资源文件上传至OBS标准存储桶。 步骤三:导入RVTools资源 登录迁移中心管理控制台。
MRS Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。
下载并安装MgC Agent(原Edge) 安装Windows版本 安装Linux版本
工具采集 创建资源采集任务 采集器管理 采集器参数配置说明
配置管理 添加资源凭证 配置OBS桶 MgC Agent管理 事件记录
采集器参数配置说明 Linux进程与网络采集器(app-discovery-process-netstat-linux) Windows进程与网络采集器(app-discovery-process-netstat-win) 网络与进程采集器(agent-collector-server-netstat-process
配置MgC Agent(原Edge)插件JVM参数 配置MgC-Agent服务器JVM参数 配置采集器插件JVM参数 父主题: 最佳实践
资源管理 发现主机 添加资源
常见问题 安装MgC Agent(原Edge)的主机有哪些要求? 以兼容性模式运行程序 MgC Agent(原Edge)设备离线原因 MgC Agent(原Edge)安装完成后,无法启动 如何升级MgC Agent(原Edge)至最新版本? 如何卸载MgC Agent(原Edge)
如何升级MgC Agent(原Edge)至最新版本? 升级Windows版本 升级Linux版本 父主题: 常见问题
如何卸载MgC Agent(原Edge)? 卸载Windows版本 卸载Linux版本 父主题: 常见问题
以兼容性模式运行程序 鼠标右键打开MgC Agent(原Edge)安装程序的属性窗口。 选择“兼容性”页签,在兼容模式框中,勾选“以兼容模式运行这个程序”。 单击“确定”,重新启动MgC Agent安装程序。 父主题: 常见问题