增量迁移原理介绍-华为云

数据治理中心 DATAARTS STUDIO-MongoDB/DDS增量迁移

MongoDB/DDS增量迁移使用CDM导出MongoDB或者DDS的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现MongoDB/DDS的增量迁移。如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连接时，高级属性的可选参数中可以配置查询筛选。图1 MongoDB查询筛选此参数支持配置为时间宏变量，例如起始时间配置为{"ts":{$gte:ISODate("${dateformat(yyyy-MM-dd'T'HH:mm:ss.SSS'Z',-1,DAY)}")}}，表示查找ts字段中大于时间宏转换后的值，即只导出昨天以后的数据。参数配置后，CDM就只导出前一天内的数据，再将该作业配置为每天0点执行一次，就可以增量同步每天新生成的数据。父主题：增量迁移原理介绍

数据治理中心 DATAARTS STUDIO 增量迁移原理介绍

数据治理中心 DATAARTS STUDIO-MongoDB/DDS增量迁移

MongoDB/DDS增量迁移使用CDM导出MongoDB或者DDS的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现MongoDB/DDS的增量迁移。如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连接时，高级属性的可选参数中可以配置查询筛选。图1 MongoDB查询筛选此参数支持配置为时间宏变量，例如起始时间配置为{"ts":{$gte:ISODate("${dateformat(yyyy-MM-dd'T'HH:mm:ss.SSS'Z',-1,DAY)}")}}，表示查找ts字段中大于时间宏转换后的值，即只导出昨天以后的数据。参数配置后，CDM就只导出前一天内的数据，再将该作业配置为每天0点执行一次，就可以增量同步每天新生成的数据。父主题：增量迁移原理介绍

数据治理中心 DATAARTS STUDIO 增量迁移原理介绍

云数据迁移 CDM-文件增量迁移:时间过滤

时间过滤参数位置：在创建表/文件迁移作业时，如果源端数据源为文件类型，那么源端作业配置下的高级属性中，“时间过滤”参数选择“是”。参数原理：“起始时间”和“终止时间”参数中输入时间值后，只有修改时间介于起始时间和终止时间之间（时间区间为左闭右开，即等于起始时间也在区间之内）的文件才会被CDM迁移。配置样例：例如需要CDM只同步2021年1月1日~2022年1月1日生成的文件到目的端，则参数配置如下：时间过滤器：选择为“是”。起始时间：配置为2021-01-01 00:00:00（格式要求为yyyy-MM-dd HH:mm:ss）。终止时间：配置为2022-01-01 00:00:00（格式要求为yyyy-MM-dd HH:mm:ss）。图2 时间过滤这样CDM作业就只迁移2021年1月1日~2022年1月1日时间段内生成的文件，下次作业再启动时就可以实现增量同步。

云数据迁移 CDM 增量迁移原理介绍

云数据迁移 CDM-文件增量迁移:文件/路径过滤器

文件/路径过滤器参数位置：在创建表/文件迁移作业时，如果源端数据源为文件类型，那么源端作业参数的高级属性中可以看到“过滤类型”参数，该参数可选择：通配符或正则表达式。参数原理：“过滤类型”选择“通配符”时，CDM就可以通过用户配置的通配符过滤文件或路径，CDM只迁移满足指定条件的文件或路径。配置样例：例如源端文件名带有时间字段“2017-10-15 20:25:26”，这个时刻生成的文件为“/opt/data/file_20171015202526.data”，则在创建作业时，参数配置如下：过滤类型：选择“通配符”。文件过滤器：配置为“*${dateformat(yyyyMMdd,-1,DAY)}*”（这是CDM支持的日期宏变量格式，详见时间宏变量使用解析）。图1 文件过滤配置作业定时自动执行，“重复周期”为1天。这样每天就可以把昨天生成的文件都导入到目的端目录，实现增量同步。文件增量迁移场景下，“路径过滤器”的使用方法同“文件过滤器”一样，需要路径名称里带有时间字段，这样可以定期增量同步指定目录下的所有文件。

云数据迁移 CDM 增量迁移原理介绍

云数据迁移 CDM-文件增量迁移:时间过滤

时间过滤参数位置：在创建表/文件迁移作业时，如果源端数据源为文件类型，那么源端作业配置下的高级属性中，“时间过滤”参数选择“是”。参数原理：“起始时间”和“终止时间”参数中输入时间值后，只有修改时间介于起始时间和终止时间之间（时间区间为左闭右开，即等于起始时间也在区间之内）的文件才会被CDM迁移。配置样例：例如需要CDM只同步2021年1月1日~2022年1月1日生成的文件到目的端，则参数配置如下：时间过滤器：选择为“是”。起始时间：配置为2021-01-01 00:00:00（格式要求为yyyy-MM-dd HH:mm:ss）。终止时间：配置为2022-01-01 00:00:00（格式要求为yyyy-MM-dd HH:mm:ss）图2 时间过滤这样CDM作业就只迁移2021年1月1日~2022年1月1日时间段内生成的文件，下次作业再启动时就可以实现增量同步。

云数据迁移 CDM 增量迁移原理介绍

云数据迁移 CDM-文件增量迁移:文件/路径过滤器

文件/路径过滤器参数位置：在创建表/文件迁移作业时，如果源端数据源为文件类型，那么源端作业参数的高级属性中可以看到“过滤类型”参数，该参数可选择：通配符或正则表达式。参数原理：“过滤类型”选择“通配符”时，CDM就可以通过用户配置的通配符过滤文件或路径，CDM只迁移满足指定条件的文件或路径。配置样例：例如源端文件名带有时间字段“2017-10-15 20:25:26”，这个时刻生成的文件为“/opt/data/file_20171015202526.data”，则在创建作业时，参数配置如下：过滤类型：选择“通配符”。文件过滤器：配置为“*${dateformat(yyyyMMdd,-1,DAY)}*”（这是CDM支持的日期宏变量格式，详见时间宏变量使用解析）。图1 文件过滤配置作业定时自动执行，“重复周期”为1天。这样每天就可以把昨天生成的文件都导入到目的端目录，实现增量同步。文件增量迁移场景下，“路径过滤器”的使用方法同“文件过滤器”一样，需要路径名称里带有时间字段，这样可以定期增量同步指定目录下的所有文件。

云数据迁移 CDM 增量迁移原理介绍

云数据迁移 CDM-HBase/CloudTable增量迁移

HBase/CloudTable增量迁移使用CDM导出HBase（包括MRS HBase、FusionInsight HBase、Apache HBase）或者表格存储服务（CloudTable）的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现HBase/CloudTable的增量迁移。如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为（数据开发作业计划启动时间-偏移量），而不是（CDM作业实际启动时间-偏移量）。在创建CDM表/文件迁移的作业，源连接选择为HBase连接或CloudTable连接时，高级属性的可选参数中可以配置时间区间。图1 HBase时间区间起始时间（包含该值），格式为“yyyy-MM-dd HH:mm:ss”，表示只抽取该时间及以后的数据。终止时间（不包含该值），格式为“yyyy-MM-dd HH:mm:ss”，表示只抽取该时间以前的数据。这2个参数支持配置为时间宏变量，例如：起始时间配置为${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)}时，表示只导出昨天以后的数据。终止时间配置为${dateformat(yyyy-MM-dd HH:mm:ss)}时，表示只导出当前时间以前的数据。这2个参数同时配置后，CDM就只导出前一天内的数据，再将该作业配置为每天0点执行一次，就可以增量同步每天新生成的数据。父主题：增量迁移原理介绍

云数据迁移 CDM 增量迁移原理介绍

云服务器内容精选

增量迁移原理介绍

7*24

备案

专业服务

退订

建议反馈

售前咨询热线