应用与数据集成平台 ROMA CONNECT-配置源端数据信息:MongoDB

时间:2024-05-07 17:09:58

MongoDB

返回页首

任务的“集成模式”为“定时”时,可以选择MongoDB作为源端数据源,具体配置如下。
表8 源端MongoDB信息

参数

配置说明

源表

选择MongoDB数据源中要获取数据的数据集合(数据集合相当于关系型数据库的数据表)。选择数据集合后,单击“选择集合字段”,可以选择只需要集成的数据列字段。

是否增量迁移

选择是否只集成指定时间段内的数据。

首次调度采集是采集时间戳初始值到当前调度时间之间的数据,后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。

时间戳字段

仅当“是否增量迁移”选择开启时需要配置。

选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳,用来判断数据是否满足增量集成的条件。

时区

仅当“是否增量迁移”选择开启时需要配置。

选择MongoDB数据源使用的时区,以便ROMA Connect识别数据的时间戳。

时间戳初始值

仅当“是否增量迁移”选择开启时需要配置。

首次集成数据时,要集成数据的起始时间,即只集成该时间点之后的数据。

重置迁移时间初始值

该参数仅在编辑FDI任务时可配置。

选择是否开启重置迁移时间初始值。

开启:开启后,增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。

关闭:关闭时,增量迁移时每次调度的开始时间为上一次调度的结束时间。

时间补偿(毫秒)

仅当“是否增量迁移”选择开启时需要配置。

为了避免源端生成数据时存在滞后,导致ROMA Connect查询源端增量数据出现遗漏,可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。

例如,上一次增量迁移任务的结束时间是15:05,本次定时任务在17:00触发,时间补偿设为100ms,则本次增量迁移任务要集成数据的时间区间为“15:05~(17:00-100ms)”。

  • 增量迁移不支持将源端数据表中的物理删除操作同步给目标端,建议在源端使用逻辑删除。
  • 对于源端的数据变更,需要同步更新数据行的时间戳,ROMA Connect通过时间戳与任务执行时间点进行对比,识别需增量迁移的数据。

源端为MongoDB的配置与MySQL的类似,配置示例可参考MySQL配置示例

support.huaweicloud.com/usermanual-roma/roma_03_1006.html