华为云首页用户手册

MAPREDUCE服务 MRS-使用迁移工具快速迁移ClickHouse集群数据:迁移方案原理介绍

MAPREDUCE服务 MRS-使用迁移工具快速迁移ClickHouse集群数据:迁移方案原理介绍

时间：2024-05-15 14:30:41

MAPREDUCE服务 MRS ClickHouse数据迁移

迁移方案原理介绍

Replicated*MergeTree引擎的复制表迁移：
ClickHouse利用ZooKeeper将同一分片下不同副本的Replicated*MergeTree引擎表数据自动进行同步，本迁移方案利用该特性进行数据迁移。大致逻辑步骤如下：

首先，在目标集群的配置文件中添加源集群的ZooKeeper信息作为辅助ZooKeeper。其次，再在目标集群中创建和源集群相同ZooKeeper路径不同副本并且表结构和源集群一致的临时表。临时表创建完成源集群中的数据将会自动同步到临时表。最后，等待源集群数据同步到目标集群的临时表完成后，将目标集群中的临时表数据复制到正式表即可。
图1 Replicated*MergeTree引擎表迁移架构图
分布式表迁移：
分布式表不涉及表数据，只涉及表的元数据信息，迁移过程中会将源集群ClickHouse分布式表的元数据信息导出，然后将元数据信息修改为目标集群的ZooKeeper路径和副本，根据修改后的元数据信息在目标集群新建表即可。
非复制表和物化视图迁移：
针对非复制表和物化视图采用调用remote函数方式进行数据迁移。

上述迁移的操作步骤通过迁移工具脚本做了封装处理，只需修改相关配置文件执行迁移脚本即可完成一键式迁移操作，具体可以参考操作步骤说明。

上一篇：MAPREDUCE服务 MRS-使用迁移工具快速迁移ClickHouse集群数据:操作场景

下一篇：MAPREDUCE服务 MRS-使用迁移工具快速迁移ClickHouse集群数据:操作场景

MAPREDUCE服务 MRS-使用迁移工具快速迁移ClickHouse集群数据:迁移方案原理介绍

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题