-
可视化配置(可选) DataArts Insight提供的数据集的可视化配置功能,帮助您更加便捷地配置数据集字段,提供了多种参数设置,包括字段名称、字段类型、默认聚合方式、数值展示格式、字段描述、是否允许搜索以及分析优先级等。 单击“可视化配置”,进入可视化配置页面。 选择需要修改的字段,并按需编辑字段,参数说明如表2所示。 单击可批量配置字段,当前支持批量转换为维度或度量,支持批量设置隐藏、取消隐藏,支持批量删除字段。 支持通过拖拽的方式调整字段的展示顺序,调整完成后单击“保存”,字段顺序设置成功。后续在智能分析助手问答时,会根据设置的字段顺序返回相应字段内容。 图3 可视化配置 表2 可视化配置参数说明 参数名称 说明 字段名称|物理字段 字段名称,在该页面支持自定义,字段名称会显示在仪表板和大屏制作的图表中。 物理字段不支持修改。 字段类型 字段支持的类型,包括日期、文本、数字。其中日期支持多种格式设置。 默认聚合 维度字段不支持设置,仅度量字段支持设置聚合方式。 支持以下设置:无聚合、求和、平均值、计数、去重计数、最大值、最小值、总体标准差、样本标准差、总体标方差、样本方差、区间起始值、区间结束值。 说明: 区间起始值、区间结束值只支持单项设置,不支持同时设置。 数值展示格式 无格式、数值、货币、对象量词、长度、重量、能量、容量、时间、百分比。 字段描述 对字段的相关信息的描述。 允许搜索 是否允许搜索枚举值,用于标记字段的枚举值在智能分析助手同步时是否允许被搜索,当前仅能提取最多1000个枚举值。 说明: 仅支持文本类型。 分析优先级 用于确定智能分析助手中的自动见解功能从数据集选用字段分析时的优先级,最多支持配置10个高分析优先级字段。 操作 支持对字段的删除和隐藏,此处可对已隐藏的字段进行取消隐藏。 说明: 删除数据集中的字段时要检查该字段是否在大屏、报表和权限配置中有使用。
-
操作步骤 建议由数据库管理员进行CDC功能的配置操作,以下配置以Linux环境为例进行说明。 开启Binlog。 使用命令行工具连接到MySQL数据库所在服务器,执行以下命令以root用户登录数据库。 mysql -uroot -ppassword 其中,password为数据库root用户的密码,可向数据库管理员获取。 执行以下命令,查询MySQL数据库是否开启了Binlog。 show variables like 'log_bin'; 若变量log_bin的值为“OFF”,则说明Binlog未开启,继续执行下一步。 若变量log_bin的值为“ON”,则说明Binlog已开启,继续执行以下SQL命令,检查相关参数的配置是否符合要求。 show variables like '%binlog_format%';
show variables like '%binlog_row_image%'; 变量binlog_format的值应该为“ROW”,变量binlog_row_image的值应该为“FULL”。如果满足要求,直接跳到2,否则继续执行下一步。 执行以下命令退出数据库。 exit; 执行以下命令编辑MySQL配置文件,然后按“i”进入输入模式。 vi /etc/my.cnf 在配置文件中增加如下配置,开启Binlog。 server-id = 123
log_bin = mysql-bin
binlog_format = row
binlog_row_image = full
expire_logs_days = 10
gtid_mode = on
enforce_gtid_consistency = on 其中: server-id的值应为大于1的整数,请根据实际规划设置,并且在创建数据集成任务时设置的“Server Id”值需要此处设置的值不同。 expire_logs_days为Binlog日志文件保留时间,超过保留时间的Binlog日志会被自动删除,应保留至少2天的日志文件。对于MySQL 8.0及以上版本,需设置binlog_expire_logs_seconds值,例如:binlog_expire_logs_seconds = 86400。(expire_logs_days在MySQL 8.0及以上版本优先级低于binlog_expire_logs_seconds)。 “gtid_mode = on”和“enforce_gtid_consistency = on”仅当MySQL的版本大于等于5.6.5时才需要添加,否则删除这两行内容。 按“Esc”退出输入模式,然后输入“:wq”并回车,保存退出。 执行以下命令重启MySQL数据库。 service mysqld restart 以root用户登录数据库,执行以下命令,查询变量log_bin的值是否为“ON”,即是否已开启Binlog。 show variables like 'log_bin'; (可选):当创建MySQL CDC任务Schema映射时,MySQL数据库需要先开启配置项:binlog_rows_query_log_events =1;可在如上第 e 步骤中配置。 在数据库中执行以下命令创建ROMA Connect连接数据库的用户并配置权限。 CREATE USER 'roma'@'%' IDENTIFIED BY 'password';
GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'roma'@'%'; 其中: roma为ROMA Connect连接用户名,请根据实际规划设置。 password为ROMA Connect连接用户密码,请根据实际规划设置。 (可选)如果MySQL数据库版本为8.0,则需要执行以下命令,修改数据库连接用户的密码认证方式。 ALTER USER roma IDENTIFIED WITH mysql_native_password BY 'password'; 其中: roma为2中创建的数据库连接用户名。 password为数据库连接用户的密码。 执行以下命令退出数据库连接。 exit;
-
SQL Server 返回页首 任务的“集成模式”为“定时”时,可以选择SQL Server作为源端数据源,具体配置如下。 表13 源端SQL Server信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。 开启,表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启,表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启,则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件,不能使用insert、update、delete、drop等语句。单击“检测SQL”,可以检测语句的有效性。 例如,语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01,表示从table01数据表中选取col01和col02这两列的数据,筛选列col02中值为A、B或C的数据行,并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择SQL Server数据源中要获取数据的数据表。选择数据表后,单击“选择表字段”,可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序,则需要选择排序的参照字段,并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据,后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择SQL Server数据源使用的时区,以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳,用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时,要集成数据的起始时间,即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启:开启后,增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭:关闭时,增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后,导致ROMA Connect查询源端增量数据出现遗漏,可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如,上一次增量迁移任务的结束时间是15:05,本次定时任务在17:00触发,时间补偿设为100ms,则本次增量迁移任务要集成数据的时间区间为“15:05~(17:00-100ms)”。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件,只把满足条件的源端数据集成到目标端。 例如,条件“and | col02 | equal | A”表示只集成列col02中,值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式,且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名:选择源表中需要采集子元素的数据字段名称。 类型:JSON格式字段值中,要采集的数据元素的数据类型。 解析路径:数据元素在JSON格式值中的完整路径,具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明: JSON格式数据中不含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 此场景下,元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 {
"a": {
"b": {
"c": "xx",
"d": "xx"
}
}
} JSON格式数据中含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 此场景下,元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d。 {
"a": {
"b": [{
"c": "xx",
"d": "xx"
},
{
"c": "yy",
"d": "yy"
}
]
}
} 增量迁移不支持将源端数据表中的物理删除操作同步给目标端,建议在源端使用逻辑删除。 对于源端的数据变更,需要同步更新数据行的时间戳,ROMA Connect通过时间戳与任务执行时间点进行对比,识别需增量迁移的数据。 源端为SQL Server的配置与MySQL的类似,配置示例可参考MySQL配置示例。
-
PostgreSQL 返回页首 任务的“集成模式”为“定时”时,可以选择PostgreSQL作为源端数据源,具体配置如下。 表11 源端PostgreSQL信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。 开启,表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启,表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启,则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件,不能使用insert、update、delete、drop等语句。单击“检测SQL”,可以检测语句的有效性。 例如,语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01,表示从table01数据表中选取col01和col02这两列的数据,筛选列col02中值为A、B或C的数据行,并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择PostgreSQL数据源中要获取数据的数据表。选择数据表后,单击“选择表字段”,可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序,则需要选择排序的参照字段,并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据,后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择PostgreSQL数据源使用的时区,以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳,用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时,要集成数据的起始时间,即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启:开启后,增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭:关闭时,增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后,导致ROMA Connect查询源端增量数据出现遗漏,可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如,上一次增量迁移任务的结束时间是15:05,本次定时任务在17:00触发,时间补偿设为100ms,则本次增量迁移任务要集成数据的时间区间为“15:05~(17:00-100ms)”。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件,只把满足条件的源端数据集成到目标端。 例如,条件“and | col02 | equal | A”表示只集成列col02中,值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式,且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名:选择源表中需要采集子元素的数据字段名称。 类型:JSON格式字段值中,要采集的数据元素的数据类型。 解析路径:数据元素在JSON格式值中的完整路径,具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明: JSON格式数据中不含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 此场景下,元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 {
"a": {
"b": {
"c": "xx",
"d": "xx"
}
}
} JSON格式数据中含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 此场景下,元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d。 {
"a": {
"b": [{
"c": "xx",
"d": "xx"
},
{
"c": "yy",
"d": "yy"
}
]
}
} 增量迁移不支持将源端数据表中的物理删除操作同步给目标端,建议在源端使用逻辑删除。 对于源端的数据变更,需要同步更新数据行的时间戳,ROMA Connect通过时间戳与任务执行时间点进行对比,识别需增量迁移的数据。 源端为PostgreSQL的配置与MySQL的类似,配置示例可参考MySQL配置示例。
-
RabbitMQ 返回页首 任务的“集成模式”为“实时”时,可以选择RabbitMQ作为源端数据源,具体配置如下。 表12 源端RabbitMQ信息 参数 配置说明 是否创建新队列 选择是否在源端RabbitMQ数据源创建一个新队列。 选择是,表示创建一个新队列,并从该队列获取数据。 选择否,表示从已有队列中获取数据。 交换方式 仅当“是否创建新队列”选择“是”时需要配置。 选择RabbitMQ中交换器将消息转发到新队列的路由方式。 Direct:若消息的路由关键字与队列完全匹配,则消息会转发到队列。 Topic:若消息的路由关键字与队列模糊匹配,则消息会转发到队列。 Fanout:所有消息都会转发到队列。 Headers:若消息的Headers属性与队列完全匹配,则消息会转发到队列。 交换机名称 仅当“是否创建新队列”选择“是”时需要配置。 填写RabbitMQ中新队列的交换器名称,自定义。 路由关键字 仅当“交换方式”选择“Direct”或“Topic”时需要配置。 填写新队列的路由关键字,RabbitMQ把路由关键字作为判断条件,符合条件的消息将转发到新队列。 消息参数 仅当“交换方式”选择“Headers”时需要配置。 填写新队列的Headers键值对,RabbitMQ把Headers作为判断条件,符合条件的消息将转发到新队列。 队列名称 填写要获取数据的消息队列名称。 若“是否创建新队列”选择“是”,则自定义一个新的队列名称。 若“是否创建新队列”选择“否”,则填写RabbitMQ数据源中已有队列的名称,并确保该队列已存在。 自动删除 当没有客户端连接队列时,队列是否自动删除。 持久化 队列中的消息是否持久化保存。 元数据 指从源端获取到的JSON格式数据中,要集成到目标端的每一个底层key-value型数据元素。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 解析路径:元数据的完整路径,具体请参见元数据解析路径配置说明。 元数据解析路径配置说明: JSON格式数据中不含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 此场景下,元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 {
"a": {
"b": {
"c": "xx",
"d": "xx"
}
}
} JSON格式数据中含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 此场景下,元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d。 {
"a": {
"b": [{
"c": "xx",
"d": "xx"
},
{
"c": "yy",
"d": "yy"
}
]
}
} 以上面JSON格式数据中不含数组的样例为例,源端为RabbitMQ的配置示例如下图所示。 图9 RabbitMQ配置示例
-
Oracle 返回页首 任务的“集成模式”为“定时”时,可以选择Oracle作为源端数据源,具体配置如下。 表10 源端Oracle信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。 开启,表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启,表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启,则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件,不能使用insert、update、delete、drop等语句。单击“检测SQL”,可以检测语句的有效性。 例如,语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01,表示从table01数据表中选取col01和col02这两列的数据,筛选列col02中值为A、B或C的数据行,并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择Oracle数据源中要获取数据的数据表。选择数据表后,单击“选择表字段”,可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序,则需要选择排序的参照字段,并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据,后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择Oracle数据源使用的时区,以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳,用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时,要集成数据的起始时间,即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启:开启后,增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭:关闭时,增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后,导致ROMA Connect查询源端增量数据出现遗漏,可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如,上一次增量迁移任务的结束时间是15:05,本次定时任务在17:00触发,时间补偿设为100ms,则本次增量迁移任务要集成数据的时间区间为“15:05~(17:00-100ms)”。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件,只把满足条件的源端数据集成到目标端。 例如,条件“and | col02 | equal | A”表示只集成列col02中,值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式,且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名:选择源表中需要采集子元素的数据字段名称。 类型:JSON格式字段值中,要采集的数据元素的数据类型。 解析路径:数据元素在JSON格式值中的完整路径,具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明: JSON格式数据中不含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 此场景下,元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 {
"a": {
"b": {
"c": "xx",
"d": "xx"
}
}
} JSON格式数据中含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 此场景下,元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d。 {
"a": {
"b": [{
"c": "xx",
"d": "xx"
},
{
"c": "yy",
"d": "yy"
}
]
}
} 增量迁移不支持将源端数据表中的物理删除操作同步给目标端,建议在源端使用逻辑删除。 对于源端的数据变更,需要同步更新数据行的时间戳,ROMA Connect通过时间戳与任务执行时间点进行对比,识别需增量迁移的数据。 源端为Oracle的配置与MySQL的类似,配置示例可参考MySQL配置示例。
-
OBS 返回页首 任务的“集成模式”为“定时”时,可以选择OBS(
对象存储服务 )作为源端数据源,具体配置如下。 表9 源端OBS信息 参数 配置说明 Path 填写OBS数据源中,要获取数据所在的对象名。Path的值不能以斜杠(/)结尾。 文件名前缀 填写文件名前缀,与“时间格式”配合使用,用于筛选要集成的数据文件。 时间格式 选择文件名中的时间格式,与“文件名前缀”配合使用,用于筛选要集成的数据文件。 文件类型 选择从OBS数据源获取的数据文件格式,可选择“txt”,“csv”和“zip”。 字段分隔符 填写数据文件中的字段分隔符,用于区分每行数据中的不同字段。 编码方式 选择从OBS数据源获取的数据文件编码方式,可选择“UTF-8”和“GBK”。 是否跳过标题 选择是否跳过数据文件中的标题行信息。标题为添加在文件中的首行或者开头若干行信息,帮助识别和区分文件内容。 标题行数 填写数据文件中标题信息的行数,方便ROMA Connect识别文件中的数据起始行。 元数据 指从源端获取到的数据文件中,要集成到目标端的每一个数据字段。元数据必须按照文件中的字段顺序填写。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 源端为OBS的配置示例如下图所示,id、name和info为从OBS数据源获取,并要集成到目标端的数据字段。 图8 OBS配置示例
-
MongoDB 返回页首 任务的“集成模式”为“定时”时,可以选择MongoDB作为源端数据源,具体配置如下。 表8 源端MongoDB信息 参数 配置说明 源表 选择MongoDB数据源中要获取数据的数据集合(数据集合相当于关系型数据库的数据表)。选择数据集合后,单击“选择集合字段”,可以选择只需要集成的数据列字段。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据,后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时间戳字段 仅当“是否增量迁移”选择开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳,用来判断数据是否满足增量集成的条件。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择MongoDB数据源使用的时区,以便ROMA Connect识别数据的时间戳。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时,要集成数据的起始时间,即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启:开启后,增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭:关闭时,增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后,导致ROMA Connect查询源端增量数据出现遗漏,可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如,上一次增量迁移任务的结束时间是15:05,本次定时任务在17:00触发,时间补偿设为100ms,则本次增量迁移任务要集成数据的时间区间为“15:05~(17:00-100ms)”。 增量迁移不支持将源端数据表中的物理删除操作同步给目标端,建议在源端使用逻辑删除。 对于源端的数据变更,需要同步更新数据行的时间戳,ROMA Connect通过时间戳与任务执行时间点进行对比,识别需增量迁移的数据。 源端为MongoDB的配置与MySQL的类似,配置示例可参考MySQL配置示例。
-
MySQL 返回页首 任务的“集成模式”为“定时”时,可以选择MySQL作为源端数据源,具体配置如下。 表7 源端MySQL信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。 开启,表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启,表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启,则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件,不能使用insert、update、delete、drop等语句。单击“检测SQL”,可以检测语句的有效性。 例如,语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01,表示从table01数据表中选取col01和col02这两列的数据,筛选列col02中值为A、B或C的数据行,并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择MySQL数据源中要获取数据的数据表。选择数据表后,单击“选择表字段”,可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序,则需要选择排序的参照字段,并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据,后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择MySQL数据源使用的时区,以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 用于校验数据行是否符合数据集成条件,请选择一个“DATE”类型的字段。如果时间戳字段和时间戳初始值填写不完整,此任务默认为全量集成。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时,要集成数据的起始时间,即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启:开启后,增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭:关闭时,增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后,导致ROMA Connect查询源端增量数据出现遗漏,可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如,上一次增量迁移任务的结束时间是15:05,本次定时任务在17:00触发,时间补偿设为100ms,则本次增量迁移任务要集成数据的时间区间为“15:05~(17:00-100ms)”。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件,只把满足条件的源端数据集成到目标端。 例如,条件“and | col02 | equal | A”表示只集成列col02中,值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式,且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名:选择源表中需要采集子元素的数据字段名称。 类型:JSON格式字段值中,要采集的数据元素的数据类型。 解析路径:数据元素在JSON格式值中的完整路径,具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明: JSON格式数据中不含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 此场景下,元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 {
"a": {
"b": {
"c": "xx",
"d": "xx"
}
}
} JSON格式数据中含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 此场景下,元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d。 {
"a": {
"b": [{
"c": "xx",
"d": "xx"
},
{
"c": "yy",
"d": "yy"
}
]
}
} 增量迁移不支持将源端数据表中的物理删除操作同步给目标端,建议在源端使用逻辑删除。 对于源端的数据变更,需要同步更新数据行的时间戳,ROMA Connect通过时间戳与任务执行时间点进行对比,识别需增量迁移的数据。 以上面JSON格式数据中含数组的样例为例,目标端为MySQL的配置示例如下所示。 增量迁移配置示例,数据表中需包含DATE、TIME或TIMESTAMP类型的字段,用作时间戳字段。 图6 MySQL增量迁移配置示例 扩展元数据配置示例,从数据表的desc字段中获取子元素c和d。 图7 MySQL扩展元数据配置示例
-
Kafka 返回页首 任务的“集成模式”为“实时”时,可以选择Kafka作为源端数据源,具体配置如下。 表6 源端Kafka信息 参数 配置说明 Topic名称 选择要获取数据的Topic名称。 数据根字段 指从源端获取到的JSON格式数据中,元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合,即为元数据的完整路径,具体请参见元数据解析路径配置说明。 数据类型 选择从Kafka数据源获取的数据格式类型,需要与Kafka实际存储的数据格式一致,可选择格式为“JSON”。 消费偏移设置 选择集成最早获取的消息数据还是最新获取的消息数据。 时区 选择Kafka数据源使用的时区,以便ROMA Connect识别数据的时间戳。 元数据 指从源端获取到的JSON格式数据中,要集成到目标端的每一个底层key-value型数据元素。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 解析路径:元数据的完整路径中,不包含数据根字段的路径部分,具体请参见元数据解析路径配置说明。 元数据解析路径配置说明: JSON格式数据中不含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 {
"a": {
"b": {
"c": "xx",
"d": "xx"
}
}
} 此场景下,对于数据根字段和解析路径有三种配置方案: 数据根字段不设置 元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c,元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c,元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 {
"a": {
"b": [{
"c": "xx",
"d": "xx"
},
{
"c": "yy",
"d": "yy"
}
]
}
} 此场景下,对于数据根字段和解析路径有三种配置方案: 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c,元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c,元素d的解析路径需设置为[i].d。 以上面JSON格式数据中不含数组的样例为例,源端为Kafka的配置示例如下图所示。 图5 Kafka配置示例
-
DWS 返回页首 任务的“集成模式”为“定时”时,可以选择DWS(
数据仓库 服务)作为源端数据源,具体配置如下。 表5 源端DWS信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。 开启,表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启,表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启,则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件,不能使用insert、update、delete、drop等语句。单击“检测SQL”,可以检测语句的有效性。 例如:语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01,表示从table01数据表中选取col01和col02这两列的数据,筛选列col02中值为A、B或C的数据行,并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择DWS数据源中要获取数据的数据表。选择数据表后,单击“选择表字段”,可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序,则需要选择排序的参照字段,并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据,后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择DWS数据源使用的时区,以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 选择数据表中“DATE”类型的字段作为源端数据的时间戳,用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时,要集成数据的起始时间,即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启:开启后,增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭:关闭时,增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后,导致ROMA Connect查询源端增量数据出现遗漏,可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如:上一次增量迁移任务的结束时间是15:05,本次定时任务在17:00触发,时间补偿设为100ms,则本次增量迁移任务要集成数据的时间区间为“15:05~(17:00-100ms)”。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件,只把满足条件的源端数据集成到目标端。 例如:条件“and | col02 | equal | A”表示只集成列col02中,值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式,且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名:选择源表中需要采集子元素的数据字段名称。 类型:JSON格式字段值中,要采集的数据元素的数据类型。 解析路径:数据元素在JSON格式值中的完整路径,具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明: JSON格式数据中不含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 此场景下,元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 {
"a": {
"b": {
"c": "xx",
"d": "xx"
}
}
} JSON格式数据中含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 此场景下,元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d。 {
"a": {
"b": [{
"c": "xx",
"d": "xx"
},
{
"c": "yy",
"d": "yy"
}
]
}
} 增量迁移不支持将源端数据表中的物理删除操作同步给目标端,建议在源端使用逻辑删除。 对于源端的数据变更,需要同步更新数据行的时间戳,ROMA Connect通过时间戳与任务执行时间点进行对比,识别需增量迁移的数据。 源端为DWS的配置与MySQL的类似,配置示例可参考MySQL配置示例。
-
ArtemisMQ 返回页首 任务的“集成模式”为“实时”时,可以选择ArtemisMQ作为源端数据源。 在创建任务页面中配置源端信息。 表3 源端ArtemisMQ信息 参数 配置说明 目标端类型 选择ArtemisMQ数据源的消息传递模型,可选择“Topic”和“Queue”。 目标端名称 填写要获取数据的Topic或Queue名称,请确保该Topic或Queue已存在。 数据根字段 指从源端获取到的JSON格式数据中,元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合,即为元数据的完整路径,具体请参见元数据解析路径配置说明。 元数据 指从源端获取到的JSON格式数据中,要集成到目标端的每一个底层key-value型数据元素。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 解析路径:元数据的完整路径中,不包含数据根字段的路径部分,具体请参见元数据解析路径配置说明。 元数据解析路径配置说明: JSON格式数据中不含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 {
"a": {
"b": {
"c": "xx",
"d": "xx"
}
}
} 此场景下,对于数据根字段和解析路径有三种配置方案: 数据根字段不设置 元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c,元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c,元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 {
"a": {
"b": [{
"c": "xx",
"d": "xx"
},
{
"c": "yy",
"d": "yy"
}
]
}
} 此场景下,对于数据根字段和解析路径有三种配置方案: 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c,元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c,元素d的解析路径需设置为[i].d。 源端为ArtemisMQ的配置与ActiveMQ的类似,配置示例可参考ActiveMQ配置示例。
-
DB2 返回页首 任务的“集成模式”为“定时”时,可以选择DB2作为源端数据源,具体配置如下。 表4 源端DB2信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。 开启,表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启,表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启,则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件,不能使用insert、update、delete、drop等语句。单击“检测SQL”,可以检测语句的有效性。 例如,语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01,表示从table01数据表中选取col01和col02这两列的数据,筛选列col02中值为A、B或C的数据行,并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择DB2数据源中要获取数据的数据表。选择数据表后,单击“选择表字段”,可以只选择需要集成的数据列字段,例如:ID。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 配置要集成的数据是否按字段排序。若需要对集成的数据进行排序,则需要选择排序的参照字段,并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据,后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择DB2数据源使用的时区,以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 用于校验数据行是否符合增量集成条件,请选择一个“DATE”类型的字段。如果时间戳字段和时间戳初始值填写不完整,此任务默认为全量集成。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时,要集成数据的起始时间,即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启:开启后,增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭:关闭时,增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后,导致ROMA Connect查询源端增量数据出现遗漏,可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如:上一次增量迁移任务的结束时间是15:05,本次定时任务在17:00触发,时间补偿设为100ms,则本次增量迁移任务要集成数据的时间区间为“15:05~(17:00-100ms)”。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件,只把满足条件的源端数据集成到目标端。 例如:条件“and | col02 | equal | A”表示只集成列col02中,值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式,且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名:选择源表中需要采集子元素的数据字段名称。 类型:JSON格式字段值中,要采集的数据元素的数据类型。 解析路径:数据元素在JSON格式值中的完整路径,具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明: JSON格式数据中不含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 此场景下,元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 {
"a": {
"b": {
"c": "xx",
"d": "xx"
}
}
} JSON格式数据中含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 此场景下,元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d。 {
"a": {
"b": [{
"c": "xx",
"d": "xx"
},
{
"c": "yy",
"d": "yy"
}
]
}
} 增量迁移不支持将源端数据表中的物理删除操作同步给目标端,建议在源端使用逻辑删除。 对于源端的数据变更,需要同步更新数据行的时间戳,ROMA Connect通过时间戳与任务执行时间点进行对比,识别需增量迁移的数据。 源端为DB2的配置与MySQL的类似,配置示例可参考MySQL配置示例。
-
ActiveMQ 返回页首 任务的“集成模式”为“实时”时,可以选择ActiveMQ作为源端数据源,具体配置如下。 表2 源端ActiveMQ信息 参数 配置说明 目标端类型 选择ActiveMQ数据源的消息传递模型,支持“Topic”和“Queue”两种消息传递模型。 目标端名称 填写要获取数据的Topic或Queue名称,请确保该Topic或Queue已存在。 数据根字段 指从源端获取到的JSON格式数据中,元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合,即为元数据的完整路径,具体请参见元数据解析路径配置说明。 元数据 指从源端获取到的JSON格式数据中,要集成到目标端的每一个底层key-value型数据元素。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 解析路径:元数据的完整路径中,不包含数据根字段的路径部分,具体请参见元数据解析路径配置说明。 元数据解析路径配置说明: JSON格式数据中不含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 {
"a": {
"b": {
"c": "xx",
"d": "xx"
}
}
} 此场景下,对于数据根字段和解析路径有三种配置方案: 数据根字段不设置 元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c,元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c,元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。 {
"a": {
"b": [{
"c": "xx",
"d": "xx"
},
{
"c": "yy",
"d": "yy"
}
]
}
} 此场景下,对于数据根字段和解析路径有三种配置方案: 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c,元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c,元素d的解析路径需设置为[i].d。 以上面JSON格式数据中不含数组的样例为例,源端为ActiveMQ的配置示例如下图所示。 图4 ActiveMQ配置示例
-
概述 本节主要介绍编排任务连接后的连接配置。提供了编排任务源端信息的配置说明。源端信息用于告诉ROMA Connect如何从源端获取待集成的数据,包括数据源、数据格式、数据范围等。对于不同的数据源类型,其源端信息配置有所差异。 支持“定时”模式的源端数据类型 支持“实时”模式的源端数据类型 API DB2 DWS MySQL MongoDB OBS Oracle PostgreSQL SQL Server ActiveMQ ArtemisMQ Kafka RabbitMQ