华为云用户手册

HANA 返回页首 任务的“集成模式”为“定时”时，可以选择HANA作为源端数据源。 在创建任务页面中配置源端信息。 表10 源端HANA信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择HANA数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“HANA”。 数据源名称 选择接入数据源中已配置的HANA数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择HANA数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择HANA数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如：条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为HANA的配置与MySQL的类似，配置示例可参考MySQL配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

HL7 返回页首 任务的“集成模式”为“实时”时，可以选择HL7作为源端数据源。 在创建任务页面中配置源端信息。 表11 源端HL7信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择HL7数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“HL7”。 数据源名称 选择接入数据源中已配置的HL7数据源。 编码方式 选择HL7数据源的数据文件编码方式，可选择“UTF-8”和“GBK”。 元数据 指从源端获取到的HL7消息数据中，要集成到目标端的数据字段。 别名：对元数据的自定义名称。 类型：元数据的数据类型。 解析路径：元数据在HL7消息中的位置，具体请参见如下的元数据路径配置说明。 元数据路径配置说明： MSH|^~\\&|hl7Integration|hl7Integration|||||ADT^A01|||2.3| EVN|A01|20191212155644 PID|||PATID1234^5^M11||FN^Patrick^^^MR||19700101|1|||xx Street^^NY^^Ox4DP||||||| NK1|1|FN^John^^^MR|Father||999-9999 NK1|2|MN^Georgie^^^MSS|Mother||999-9999 HL7消息的元数据解析路径需要根据Terser语法规范填写。以上述HL7消息为例，每一行代表一个信息段。每个信息段都是由三个大写字母起始，为信息段的段落符号，用于表明该信息段的内容。每一段内使用分隔符来划分信息段： | ：字段分隔符，把信息段划分为不同的字段。每个信息段中的字段以数字来标识位置，从1开始（不包括段落符号），以此类推。 ^：组件分隔符，把字段的内容划分为不同的组件。划分了组件的字段中，组件的位置以数字来标识，从1开始，以此类推。 ~：子组件分隔符，把组件划分为不同的子组件。 例如，PID信息段中，“19700101”的字段位置为7，则其解析路径为“/PID-7”；“xx Street”的字段位置为11，组件位置为1，则其解析路径为“/PID-11-1”。 对于HL7消息中段落符号相同的信息段，通过在段落符号后添加带括号的数字来标识重复的段落符号。重复的段落符号中 ，第一个为(0)，第二个为(1)，以此类推。 例如，NK1信息段中，“Father”位于第一个NK1信息段中，字段位置为3，则其解析路径为“NK1(0)-3”；同理，“Mother”的解析路径为“NK1(1)-3”。 以上述HL7消息示例中“19700101”和“xx Street”字段的读取为例，源端为HL7的配置示例如下图所示。 图6 HL7配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

DIS 返回页首 任务的“集成模式”为“实时”时，可以选择DIS（ 数据接入服务 ）作为源端数据源。 在创建任务页面中配置源端信息。 表6 源端DIS信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择DIS数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“DIS”。 数据源名称 选择接入数据源中已配置的DIS数据源。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 数据根字段 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。 数据类型 仅当“是否解析”选择“是”时需要配置。 选择从DIS数据源获取的数据格式类型，需要与DIS实际存储的数据格式一致。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 时区 选择DIS数据源使用的时区，以便ROMA Connect识别数据的时间戳。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 源端为DIS的配置与ActiveMQ的类似，配置示例可参考ActiveMQ配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

FTP 返回页首 任务的“集成模式”为“定时”时，可以选择FTP作为源端数据源。 在创建任务页面中配置源端信息。 表8 源端FTP信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择FTP数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“FTP”。 数据源名称 选择接入数据源中已配置的FTP数据源。 文件路径 填写FTP服务器中要访问的文件夹路径，例如“/data/FDI”。 文件名称 填写要获取数据的数据文件名称，若不填写，则获取所有文件的数据。 文件名称字符编码 选择数据文件的名称编码方式。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 最大文件大小 设置要获取数据的文件大小限制，超过限制的文件将不获取。 文件内容字符编码 仅当“是否解析”选择“是”时需要配置。 选择数据文件的内容编码格式。 文件分割符 仅当“是否解析”选择“是”时需要配置。 填写数据文件中的字段分隔符，用于区分每行数据中的不同字段。 空格格式符 仅当“是否解析”选择“是”时需要配置。 填写数据文件中定义的空格字符，供ROMA Connect识别文件内容中的空格。例如，定义空格格式符为英文句号（.），那么在获取数据时，读取到英文句号（.）时，则认为是空格。 跳过文件头 仅当“是否解析”选择“是”时需要配置。 选择是否跳过数据文件中的文件头信息。文件头为添加在文件中的首行或者开头若干行信息，帮助识别和区分文件内容。 跳过文件头行数 仅当“跳过文件头”选择“是”时需要配置。 填写数据文件中文件头信息的行数，方便ROMA Connect识别文件中的数据起始行。 迁移数量 设置要获取数据的数量。 “是否解析”选择“是”时，表示解析的数据行数。 “是否解析”选择“否”时，表示读取的文件数量。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的数据文件中，要集成到目标端的每一个数据字段。元数据必须按照文件中的字段顺序填写。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 源端为FTP的配置示例如下图所示，id、name和info为从FTP数据源获取，并要集成到目标端的数据字段。 图5 FTP配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

DWS 返回页首 任务的“集成模式”为“定时”时，可以选择DWS（ 数据仓库 服务）作为源端数据源。 在创建任务页面中配置源端信息。 表5 源端DWS信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择DWS数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“DWS”。 数据源名称 选择接入数据源中已配置的DWS数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如：语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择DWS数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择DWS数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 选择数据表中“DATE”类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如：条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为DWS的配置与MySQL的类似，配置示例可参考MySQL配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

ArtemisMQ 返回页首 任务的“集成模式”为“实时”时，可以选择ArtemisMQ作为源端数据源。 在创建任务页面中配置源端信息。 表3 源端ArtemisMQ信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择ArtemisMQ数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“ArtemisMQ”。 数据源名称 选择接入数据源中已配置的ArtemisMQ数据源。 目标端类型 选择ArtemisMQ数据源的消息传递模型，可选择“Topic”和“Queue”。 目标端名称 填写要获取数据的Topic或Queue名称，请确保该Topic或Queue已存在。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 数据根字段 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 源端为ArtemisMQ的配置与ActiveMQ的类似，配置示例可参考ActiveMQ配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

DB2 返回页首 任务的“集成模式”为“定时”时，可以选择DB2作为源端数据源。 在创建任务页面中配置源端信息。 表4 源端DB2信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择DB2数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“DB2”。 数据源名称 选择接入数据源中已配置的DB2数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择DB2数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以只选择需要集成的数据列字段，例如：ID。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 配置要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择DB2数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 用于校验数据行是否符合增量集成条件，请选择一个“DATE”类型的字段。如果时间戳字段和时间戳初始值填写不完整，此任务默认为全量集成。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如：条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。 类型：JSON格式字段值中，要采集的数据元素的数据类型。 解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为DB2的配置与MySQL的类似，配置示例可参考MySQL配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

概述 本节主要提供数据集成任务源端信息的配置说明。源端信息用于告诉ROMA Connect如何从源端获取待集成的数据，包括数据源、数据格式、数据范围等。对于不同的数据源类型，其源端信息配置有所差异。 支持“定时”模式的源端数据类型 支持“实时”模式的源端数据类型 API DB2 DWS DM FTP Gauss100 HANA LDAP MySQL MongoDB MRS Hive MRS HDFS MRS HBase OBS Oracle PostgreSQL SAP SNMP SQL Server GaussDB (for MySQL) 自定义数据源 ActiveMQ ArtemisMQ DIS HL7 IBM MQ Kafka MQS MRS Kafka RabbitMQ RocketMQ WebSocket

ActiveMQ 返回页首 任务的“集成模式”为“实时”时，可以选择ActiveMQ作为源端数据源。 在创建任务页面中配置源端信息。 表2 源端ActiveMQ信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择ActiveMQ数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“ActiveMQ”。 数据源名称 选择接入数据源中已配置的ActiveMQ数据源。 目标端类型 选择ActiveMQ数据源的消息传递模型，支持“Topic”和“Queue”两种消息传递模型。 目标端名称 填写要获取数据的Topic或Queue名称，请确保该Topic或Queue已存在。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 数据根字段 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 以上面JSON格式数据中不含数组的样例为例，源端为ActiveMQ的配置示例如下图所示。 图4 ActiveMQ配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“MongoDB”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写MongoDB的连接地址和端口号，格式为：IP:PORT。 如果MongoDB有多个副本集，可单击“添加地址”填写多个连接地址。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 认证源 填写用于接入认证的MongoDB数据库名，即使用MongoDB的哪个数据库对接入用户进行认证。不填写则默认使用当前要接入的数据库对用户进行认证。 数据库名 填写要接入的数据库名。 集群模式 要接入的MongoDB数据库是否为集群模式。 若接入的MongoDB数据库为集群模式，则选择“是”。 若接入的MongoDB数据库为副本集模式或单节点模式，则选择“否”。 副本集 仅当“集群模式”选择“否”时需要配置。 若接入的MongoDB数据库为副本集模式，则填写副本集名称。 以接入单节点模式的MongoDB为例，该MongoDB数据源的接入配置示例如下图所示。 其中，认证源为“admin”，即使用MongoDB的admin数据库对连接用户root进行认证，认证通过后即可接入MongoDB的doctest数据库。 图1 MongoDB数据源配置示例 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“HANA”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择数据库的连接方式。 默认：使用系统默认方式连接数据库。 专业：使用JDBC方式连接数据库。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写HANA数据库的JDBC格式连接串，例如：jdbc:sap://{hostname}:{port}?databaseName={dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 HANA数据源的接入配置与DB2的类似，配置示例可参考DB2数据源接入配置示例。 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。

SQL Server 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择SQL Server作为目标端数据源，具体配置如下。 表13 目标端SQL Server信息 参数 配置说明 目标端表 选择已有的表，单击“选择表字段”，可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。

Oracle 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择Oracle作为目标端数据源，具体配置如下。 表10 目标端Oracle信息 参数 配置说明 目标端表 选择已有的表，单击“选择表字段”，可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。 Oracle数据源作为目标端时，主键字段对应的源端字段如果为空，该条记录会默认抛弃，不会产生调度日志错误码。

PostgreSQL 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择PostgreSQL作为目标端数据源，具体配置如下。 表11 目标端PostgreSQL信息 参数 配置说明 是否自动建表 选择是否自动创建新的数据表。 目标表名称 仅当“是否自动建表”开启时显示。 填写自动建表的表名称。 目标端表 仅当“是否自动建表”关闭时显示。 选择待集成数据要写入的数据表，单击“选择表字段”，可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。

RabbitMQ 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择RabbitMQ作为目标端数据源，具体配置如下。 表12 目标端RabbitMQ信息 参数 配置说明 是否创建新队列 选择是否在源端RabbitMQ数据源创建一个新队列。 选择是，表示创建一个新队列，并把待集成数据发送到该队列。 选择否，表示把待集成数据发送到已有队列。 交换方式 选择RabbitMQ数据源中，交换器将消息转发到队列的路由方式。若“是否创建新队列”选择“是”，则选择新队列的交换方式；若“是否创建新队列”选择“否”，则选择已有目标队列一致的交换方式。 Direct：若消息的路由关键字与队列完全匹配，则消息会转发到队列。 Topic：若消息的路由关键字与队列模糊匹配，则消息会转发到队列。 Fanout：所有消息都会转发到队列。 Headers：若消息的Headers属性与队列完全匹配，则消息会转发到队列。 交换机名称 填写RabbitMQ数据源的交换器名称。若“是否创建新队列”选择“是”，则配置新队列的交换器名称；若“是否创建新队列”选择“否”，则配置已有目标队列一致的交换器名称。 路由关键字 仅当“交换方式”选择“Direct”或“Topic”时需要配置。 RabbitMQ把路由关键字作为判断条件，符合条件的消息将转发到队列。若“是否创建新队列”选择“是”，则配置新队列的路由关键字；若“是否创建新队列”选择“否”，则配置已有目标队列一致的路由关键字。 消息参数 仅当“交换方式”选择“Headers”时需要配置。 RabbitMQ把Headers作为判断条件，符合条件的消息将转发到新队列。若“是否创建新队列”选择“是”，则配置新队列的Headers键值对；若“是否创建新队列”选择“否”，则配置已有目标队列一致的Headers键值对。 队列名称 仅当“是否创建新队列”选择“是”时需要配置。 填写新队列的名称，自定义。 自动删除 当没有客户端连接队列时，队列是否自动删除。 持久化 队列中的消息是否持久化保存。 元数据 定义写入到目标端的JSON格式数据中，每一个底层key-value型数据元素。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d，元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 以上面JSON格式数据中不含数组的样例为例，目标端为RabbitMQ的配置示例如下图所示。 图5 RabbitMQ配置示例

DWS 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择DWS作为目标端数据源，具体配置如下。 表5 目标端DWS信息 参数 配置说明 目标端表 选择待集成数据要写入的数据表。选择数据表后，单击“选择表字段”，可以选择只需要写入的数据表字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。

Kafka 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择Kafka作为目标端数据源，具体配置如下。 表6 目标端Kafka信息 参数 配置说明 Topic名称 选择要写入数据的Topic名称。 Key 填写消息的Key值，表示消息存储在指定分区，可以当成有序消息队列使用。如果Key为空，则消息分布式存储在不同的消息分区。 元数据 定义写入到目标端Kafka消息的数据字段。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。 目标端为Kafka的配置示例如下图所示，id、name和info为要写入到Kafka数据源的数据字段。 图3 Kafka配置示例 写入Kafka的消息内容结构为{"id":"xx", "name":"yy", "info":"zz"}，其中xx、yy、zz为从源端传入的数据值。

OBS 返回页首 任务的“集成模式”为“定时”时，可以选择OBS作为目标端数据源，具体配置如下。 表9 目标端OBS信息 参数 配置说明 对象类型 选择写入OBS数据源的数据文件类型，当前支持“文本文件”和“二进制文件”。 编码方式 仅当“对象类型”选择“文本文件”时需要配置。 选择写入OBS数据源的数据文件编码方式，可选择“UTF-8”和“GBK”。 Path 填写数据要写入OBS数据源的对象名。Path的值不能以斜杠（/）结尾。 文件名前缀 填写文件名前缀，与“时间格式”配合使用，用于定义写入OBS数据源的文件名称。 时间格式 选择文件名中的时间格式，与“文件名前缀”配合使用，用于定义数据写入OBS数据源的文件名称。 文件类型 选择写入OBS数据源的数据文件格式，文本文件支持txt和csv格式，二进制文件支持xls和xlsx格式。 高级属性 仅当“文件类型”选择“csv”时需要配置。 选择是否配置文件的高级属性。 换行符 仅当“高级属性”选择“是”时需要配置。 填写文件内容的换行符，用于区分文件中的不同数据行。 使用包围符 仅当“高级属性”选择“是”时需要配置。 若选择“是”，则数据文件中的每个数据字段都会用双引号（"）包围。若数据字段中存在与分隔符、换行符相同的符号时，可以避免字段被错误的拆分为2个字段。例如源数据中有1个数据字段aa|bb，在集成到目标数据文件时设置了|为分隔符，如果选择使用包围符，则目标数据文件中该字段为"aa|bb"，不会被拆分为aa和bb两个字段。 字段分隔符 仅当“文件类型”选择“txt”或者“高级属性”选择“是”时需要配置。 填写文件内容的字段分隔符，用于区分每行数据中的不同字段。 是否添加文件头 选择是否为写入的数据文件添加文件头。文件头为添加在文件中的首行或者开头若干行信息，帮助识别和区分文件内容。 文件头 仅当“是否添加文件头”选择“是”时需要配置。 填写文件头的内容信息，多个文件头信息需要用英文逗号（,）隔开。 元数据 定义写入到目标端文件的数据字段。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。 目标端为OBS的配置示例如下图所示，id、name和info为要写入到OBS数据源的数据字段。 图4 OBS配置示例

MySQL 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MySQL作为目标端数据源，具体配置如下。 表7 目标端MySQL信息 参数 配置说明 目标端表 选择已有的表，单击“选择表字段”，可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。

MongoDB 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MongoDB作为目标端数据源，具体配置如下。 表8 目标端MongoDB信息 参数 配置说明 目标表 选择MongoDB数据源中要写入数据的数据集合（数据集合相当于关系型数据库的数据表）。选择数据集合后，单击“选择集合字段”，可以选择只需要写入的数据列字段。 是否upsert 写入目标端的数据是否进行更新插入，即是否在目标端数据集合中直接更新已有数据字段。 Upsert键 仅当“是否upsert”选择开启时需要配置。 选择要更新插入的数据字段。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。

API 任务的“集成模式”为“定时”或“实时”时，可以选择API作为目标端数据源，具体配置如下。 表1 目标端API信息 参数 配置说明 请求参数 构造API请求的参数定义，例如要集成到目标端的数据，需要在Body中携带。请根据API数据源的定义如实填写。 Params：请求URL中问号后面定义的参数，只能对参数传递固定值。Params参数的填写跟Body参数的form-data方式类似。 Headers：RESTful请求的消息头参数，只能对参数传递固定值。Headers参数的填写跟Body参数的form-data方式类似。 Body：RESTful请求消息体的底层参数，与“数据根字段”组成发给目标端API的Body消息体，源端数据通过Body参数传递到目标端。Body支持“form-data”和“raw”两种形式，具体请参见Body参数配置说明。 数据根字段 发送到目标端的JSON格式Body消息体中，参数字段集上层公共字段的路径。“数据根字段”与“请求参数”中配置的Body参数组成发给目标端API的Body消息体。 例如Body参数为：{"c":"xx","d":"xx"}，数据根字段定义a.b，则封装后的请求数据为{"a":{"b":{"c":"xx","d":"xx"}}}。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。 Body参数配置说明： form-data方式： “键”填写为API数据源定义的Body参数名称，“键”的值设置为空。“键”在Mapping信息中作为“目标字段名”，以此映射和传递源端字段的值。 图1 form-data方式 raw方式： raw方式持JSON、Array和嵌套JSON格式。填写发送给目标端API的JSON格式Body示例，ROMA Connect根据示例以及Mapping映射配置，替换示例中参数的值，最终将源端数据传递给目标端。raw方式的Body示例如下。 JSON格式： { "id": 1, "name": "name1" } Body填写JSON，数据根字段无需写值，Mapping信息填写字段名。 Array格式： { "record":[ { "id": 1, "name": "" } ] } 数据根字段写入JSONArray对象名，例如：record。Mapping信息填写字段名。 嵌套JSON格式： { "startDate":"", "record":[ { "id": 1, "name": "" } ] } 数据根字段无需填写值，Mapping信息中，json字段直接填写字段名，jsonArray中的字段填写具体路径，例如：record[0].id

ActiveMQ 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择ActiveMQ作为目标端数据源，具体配置如下。 表2 目标端ActiveMQ信息 参数 配置说明 目标端类型 选择ActiveMQ数据源的消息传递模型，可选择“Topic”和“Queue”。 目标端名称 填写待集成数据要发送到的Topic或Queue名称，请确保该Topic或Queue已存在。 元数据 定义写入到目标端的JSON格式数据中，每一个底层key-value型数据元素。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d，元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 以上面JSON格式数据中不含数组的样例为例，目标端为ActiveMQ的配置示例如下图所示。 图2 ActiveMQ配置示例

ArtemisMQ 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择ArtemisMQ作为目标端数据源，具体配置如下。 表3 目标端ArtemisMQ信息 参数 配置说明 目标端类型 选择ArtemisMQ数据源的消息传递模型，可选择“Topic”和“Queue”。 目标端名称 填写待集成数据要发送到的Topic或Queue名称，请确保该Topic或Queue已存在。 扩展元数据 定义写入到目标端的JSON格式数据中，每一个底层key-value型数据元素。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d，元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 目标端为ArtemisMQ的配置与ActiveMQ的类似，配置示例可参考ActiveMQ配置示例。

DB2 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择DB2作为目标端数据源，具体配置如下。 表4 目标端DB2信息 参数 配置说明 目标端表 选择待集成数据要写入的数据表。选择数据表后，单击“选择表字段”，可以选择只需要写入的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。

概述 本节主要提供数据集成任务目标端信息的配置说明。目标端信息用于告诉ROMA Connect如何将待集成的数据写入到目标端，包括数据源、数据存储信息等。对于不同的数据源类型，其目标端信息配置有所差异。 数据迁移过程中若目标端数据存在主键冲突，则根据主键自动更新数据。 支持“定时&实时”模式的目标端数据类型 仅支持“定时”模式的目标端数据类型 API ActiveMQ ArtemisMQ DB2 DWS Kafka MySQL MongoDB Oracle PostgreSQL RabbitMQ SQL Server OBS

配置参数说明 ROMA Connect的实例配置参数如下表所示。 表2 实例配置参数说明 参数名 参数说明 ratelimit_api_limits API全局默认流控值。API未绑定流控策略时，执行此默认流控；API绑定流控策略时，则执行绑定的流控策略。 request_body_size API请求中允许携带的Body大小上限。 backend_timeout APIC到后端服务的请求超时时间上限。 app_token app_token认证方式开关。启用后，可在API请求中使用获取的access_token进行API的调用认证。 app_token_expire_time：access_token的有效时间，在access_token到期前，需要获取新的access_token。 refresh_token_expire_time：refresh_token的有效时间。refresh_token用于获取新的access_token。 app_token_uri：获取access_token的uri。 app_token_key：access_token的加密key。 app_api_key app_api_key认证方式开关。启用后，可在API请求中添加“apikey”参数，携带集成应用的Key（或客户端的AppKey）进行API的调用认证。 app_basic app_basic认证方式开关。启用后，可在API请求中添加“Authorization”参数，携带集成应用的Key和Secret（或客户端的AppKey和AppSecret）进行API的调用认证。 app_jwt app_jwt认证方式开关。启用后，可在API请求中添加“Authorization”和“Timestamp”参数，携带集成应用的Key和Secret（或客户端的AppKey和AppSecret）以及时间戳进行API的调用认证。 app_jwt_auth_header：app_jwt认证头，即API请求中携带app_jwt认证信息的Header参数，默认为Authorization。 app_secret app_secret认证方式开关。启用后，可在API请求中添加“X-HW-ID”和“X-HW-AppKey”参数，携带集成应用的Key和Secret（或客户端的AppKey和AppSecret）进行API的调用认证。 public_key public_key类型后端签名开关。启用后，可在后端签名认证中使用public_key类型签名。 public_key_uri_prefix：获取public_key对应secret的uri前缀。具体uri格式为：https://{服务集成APIC 连接地址}{public_key_uri_prefix}{public_key签名密钥名称}。 app_route 支持IP访问开关。启用后，非DEFAULT分组下的API可以使用IP地址调用。 cascade API级联功能开关。启用后，可以实现跨实例间的API调用。 cascade_auth_key：级联认证的加密密钥，用于级联API之间的调用认证。 cascade_instance_ids：级联实例的实例ID列表，仅允许的实例可级联到当前实例。 default_group_hide DEFAULT分组隐藏开关。启用后，DEFAULT分组被隐藏。 livedata_config 自定义后端配置。 sandbox_max_memory：函数后端中执行脚本所允许使用的内存最大值。 sandbox_max_cpu_time：函数后端中执行脚本所允许占用的CPU时间最大值。 livedata_env：自定义后端的运行模式，设置为online时，自定义后端将会按照线上格式返回。 gw_address_protocol：函数脚本中，通过DICT:gw_rest_float_addr字段传递的默认请求协议。 procedure_async：存储过程是否使用异步方式执行。 dataapi_return_type：数据后端的返回格式。 backend_client_certificate 后端双向认证开关。启用后，创建API配置后端服务时，可配置后端双向认证。 ssl_ciphers 可支持配置的https加密套件，可根据需要选择开启的加密套件。 apiclient_first_use_x_hw_id 自定义后端的ApiClient类是否优先使用X-HW-ID字段进行校验。 real_ip_from_xff 是否使用X-Forwarded-For头中的IP作为ACL、流控的判断依据。 xff_index：X-Forwarded-For头中IP的排序序号，值允许为正数、负数、0。 xff_index值为0或正数时，获取X-Forwarded-For头中对应索引的IP。 xff_index值为负数时，按倒序方式从X-Forwarded-For头中获取IP。 例如到达API网关的X-Forwarded-For头中依次有IP1，IP2，IP3三个IP地址，xff_index取0时获取IP1，xff_index取1时获取IP2，xff_index取-1时获取IP3，xff_index取-2时获取IP2。 custom_log 自定义日志功能开关。开启自定义日志功能后，ROMA Connect实例下所有API的调用日志中会打印指定位置（header、query和cookie）和指定名称的参数值。 启用后，需单击“添加”，添加需在调用日志中打印的参数。 说明： 自定义日志只支持打印客户端发起的请求中携带的信息，不支持打印APIC中定义的常量参数和系统参数信息。 自定义日志最多支持添加10个参数，且所有参数字段总大小不超过2KB。 自定义日志打印的参数值中部分特殊字符会进行编码，例如：加号（+）会被编码为空格，双引号（"）会被编码为“\x22”，反斜杠（\）会被编码为“\x5C”。 real_ip_header_getter header_getter：是否开启用户自定义Header获取源ip地址，作为访问控制、流控策略的源ip生效依据。 vpc_name_modifiable 负载通道名称支持修改开关。开启后可修改负载通道名称，但当前实例的负载通道无法通过“VPC通道管理-项目级”API接口操作。 default_group_host_trustlist DEFAULT分组中的API是否支持非本实例IP访问。开启后，IP列表中配置的地址可访问DEFAULT分组中的API，请根据业务需要谨慎添加。 缺省分组是否支持配置非本实例IP：DEFAULT分组中的API是否支持非本实例IP访问开关。 非本实例IP列表：填写允许访问DEFAULT分组中API的非本实例主机地址，多个IP地址间使用英文分号（;）分隔。 data_api_column_types_converted_to_string 数据后端是否支持数据列类型转换String类型。开启后，勾选的数据列类型允许转换为String类型数据。 是否支持配置数据列类型：数据后端的数据列类型转换String类型开关。 数据列类型列表：勾选要转换String类型的数据列类型，当前仅支持nvarchar2类型。 sse_strategy SSE传输策略开关，默认关闭。启用后，支持通过使用Server-Sent Events (SSE)按照流式输出后端API的响应内容，可以实现逐字符渲染。 须知： sse_strategy配置完成后，如需修改，至少需要1分钟后。 request_custom_config 支持自定义配置客户端请求相关参数 HTTP/2：HTTP/2协议的开关，默认为开启状态。 request_body_timeout：客户端请求体超时时间的修改，默认为8秒。网络状况差或请求体过大的情况下可适当调整该参数。 须知： 客户端请求自定义配置修改完成后，如需再次修改，至少需要1分钟后。

修改配置参数 在实例控制台的“实例信息”页面选择“配置参数”页签，可查看实例的配置参数，也可修改“参数运行值”。 表1 配置参数 内容 内容说明 参数 参数的名称。把光标移到参数名称前的“”，可查看参数的具体功能说明。 参数默认值 参数的系统默认值。 参数范围 参数的取值范围。 参数运行值 参数当前的设置值。 更新时间 参数的最近一次更新时间。若参数从未修改过，该更新时间为空。 操作 单击“编辑”，可修改“参数运行值”。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“OBS”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 地址 填写要接入的OBS桶的Endpoint地址，您可以在OBS控制台上获取。 端口 固定填写443。 Access Key ID 填写OBS桶拥有者的AK，具体获取方式请参考什么是我的凭证。 Secret Access Key 填写OBS桶拥有者的SK，具体获取方式请参考什么是我的凭证。 桶名称 填写要接入的OBS桶名称。 是否是https 固定为“是”，使用HTTPS传输协议。 OBS数据源的接入配置示例如下图所示。 图1 OBS数据源配置示例 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。

获取域名 云服务平台内业务系统访问API的场景，需获取内网域名作为独立域名。 申请内网域名，具体请参考创建内网域名。 配置域名到“服务集成APIC 连接地址”的A类型记录集配置，具体请参考增加A类型记录集。 如果API分组中的API支持HTTPS请求协议，则需要为独立域名添加SSL证书。您需要提前获取SSL证书的内容和密钥，并创建SSL证书。 云服务平台外业务系统访问API的场景，需获取公网域名作为独立域名。 申请公网域名，具体可通过 域名注册服务 申请。 备案公网域名，您可以通过备案中心完成域名备案。备案时长需几个工作日，建议您提前进行备案。 配置域名到API分组子域名的CNAME类型记录集配置，具体请参考增加CNAME类型记录集。 如果API分组中的API支持HTTPS请求协议，则需要为独立域名添加SSL证书。您需要提前获取SSL证书的内容和密钥，并创建SSL证书。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“RabbitMQ”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写RabbitMQ的连接IP地址和端口号。 用户名 填写连接RabbitMQ的用户名。 密码 填写连接RabbitMQ的用户密码。 虚拟主机 填写要连接的RabbitMQ虚拟主机名称。 是否开启SSL认证 ROMA Connect与RabbitMQ的连接是否使用SSL认证加密。 SSL认证协议 仅当“是否开启SSL认证”选择“是”时需要配置。 选择SSL认证所使用的协议，固定为“TLS”。 公钥库文件 仅当“是否开启SSL认证”选择“是”时需要配置。 SSL认证过程中，客户端（ROMA Connect）使用的公钥库文件，与服务端（RabbitMQ）使用的私钥相匹配。 公钥库密码 仅当“是否开启SSL认证”选择“是”时需要配置。 公钥库文件对应的密码。 RabbitMQ数据源的接入配置与ActiveMQ类似，配置示例可参考ActiveMQ数据源接入配置示例。 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。