华为云用户手册

ActiveMQ 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择ActiveMQ作为目标端数据源。 在创建任务页面中配置目标端信息。 表2 目标端ActiveMQ信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择ActiveMQ数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“ActiveMQ”。 数据源名称 选择接入数据源中已配置的ActiveMQ数据源。 目标端类型 选择ActiveMQ数据源的消息传递模型，可选择“Topic”和“Queue”。 目标端名称 填写待集成数据要发送到的Topic或Queue名称，请确保该Topic或Queue已存在。 元数据 定义写入到目标端的JSON格式数据中，每一个底层key-value型数据元素。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d，元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 以上面JSON格式数据中不含数组的样例为例，目标端为ActiveMQ的配置示例如下图所示。 图2 ActiveMQ配置示例 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

DB2 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择DB2作为目标端数据源。 在创建任务页面中配置目标端信息。 表4 目标端DB2信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择DB2数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“DB2”。 数据源名称 选择接入数据源中已配置的DB2数据源。 目标端表 选择待集成数据要写入的数据表。选择数据表后，单击“选择表字段”，可以选择只需要写入的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

ArtemisMQ 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择ArtemisMQ作为目标端数据源。 在创建任务页面中配置目标端信息。 表3 目标端ArtemisMQ信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择ArtemisMQ数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“ArtemisMQ”。 数据源名称 选择接入数据源中已配置的ArtemisMQ数据源。 目标端类型 选择ArtemisMQ数据源的消息传递模型，可选择“Topic”和“Queue”。 目标端名称 填写待集成数据要发送到的Topic或Queue名称，请确保该Topic或Queue已存在。 元数据 定义写入到目标端的JSON格式数据中，每一个底层key-value型数据元素。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d，元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 目标端为ArtemisMQ的配置与ActiveMQ的类似，配置示例可参考ActiveMQ配置示例。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。

概述 本节主要提供数据集成任务目标端信息的配置说明。目标端信息用于告诉ROMA Connect如何将待集成的数据写入到目标端，包括数据源、数据存储信息等。对于不同的数据源类型，其目标端信息配置有所差异。 数据迁移过程中若目标端数据存在主键冲突，则根据主键自动更新数据。 支持“定时&实时”模式的目标端数据类型 仅支持“定时”模式的目标端数据类型 API ActiveMQ ArtemisMQ DB2 DIS DWS DM Gauss100 HL7 HANA IBM MQ Kafka MySQL MongoDB MQS MRS Hive MRS HDFS MRS HBase MRS Kafka Oracle PostgreSQL Redis RocketMQ RabbitMQ SQL Server GaussDB (for MySQL) 自定义数据源 FTP OBS

日志字段说明 序号 字段 说明 1 remote_addr 客户端地址。 2 request_id 请求ID。 3 api_id API ID。 4 user_id 当使用 IAM 认证访问时，请求方提供的项目ID。 5 app_id 当使用APP认证访问时，请求方提供的APP ID。 6 time_local 请求时间。 7 request_time 请求时延（单位：s）。 8 request_method HTTP请求方法。 9 host 请求域名。 10 router_uri 请求URI。 11 server_protocol 请求协议。 12 status 响应状态码。 13 bytes_sent 响应大小（包含状态行、响应头、响应体），单位：字节。 14 request_length 请求长度（包含起始行、请求头、请求体），单位：字节。 15 http_user_agent 用户代理标识。 16 http_x_forwarded_for X-Forwarded-For头。 17 upstream_addr 后端地址。 18 upstream_uri 后端URI。 19 upstream_status 后端响应状态码。 20 upstream_connect_time 与后端建立连接所用时间。 21 upstream_header_time 从开始与后端建立连接到从后端获取到首字节所用时间，单位秒。 22 upstream_response_time 从开始与后端建立连接到从后端获取到最后一个字节所用时间，单位秒。 23 region_id 可用区ID。 24 all_upstream_response_time 从开始与后端建立连接到从后端获取到最后一个字节所用时间，单位秒。发生重试时，为所用时间总和。 25 errorType API请求的错误类型。 0：非流控错误。 1：流控错误。 26 auth_type API认证类型。 27 access_model1 认证模式1。 28 access_model2 认证模式2，开启双重认证时，为自定义认证编号。 29 inner_time APIC的内部处理时长，单位秒。 30 proxy_protocol_vni VPC终端节点 的虚拟网络标识。 31 proxy_protocol_vpce_id VPC终端节点的ID。 32 proxy_protocol_addr 客户端源IP地址。 33 body_bytes_sent API请求的Body体大小，单位字节。 34 api_name API名称。 35 app_name 当使用APP认证访问时，请求方使用的APP名称。 36 provider_app_id API所属的APP ID。 37 provider_app_name API所属的APP名称。 38 custom_data_log1 用户自定义日志字段值1。 39 custom_data_log2 用户自定义日志字段值2。 40 custom_data_log3 用户自定义日志字段值3。 41 custom_data_log4 用户自定义日志字段值4。 42 custom_data_log5 用户自定义日志字段值5。 43 custom_data_log6 用户自定义日志字段值6。 44 custom_data_log7 用户自定义日志字段值7。 45 custom_data_log8 用户自定义日志字段值8。 46 custom_data_log9 用户自定义日志字段值9。 47 custom_data_log10 用户自定义日志字段值10。 48 response_source 请求响应来源。 local：APIG。 remote：后端服务。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“DIS”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 通道名称 填写要接入的DIS通道名称。 数据类别 选择DIS通道的源数据类型，当前仅支持选择“JSON”类型。 配置类别 选择DIS通道的配置类别。 基础：默认调用当前用户在当前区域所创建的DIS通道。 高级：可调用不同用户和不同区域的DIS通道。 AK 填写DIS通道所属用户的访问密钥ID，AK/SK是用户在云服务平台的长期身份凭证，您可以参考访问密钥获取AK/SK。 SK 填写DIS通道所属用户的秘密访问密钥，AK/SK是用户在云服务平台的长期身份凭证，您可以参考访问密钥获取AK/SK。 Endpoint 仅当“配置类别”选择“高级”时需要配置。 填写DIS通道所在的终端节点，格式如：https://dis.region1.example.com，您可以参考地区和终端节点获取终端节点。 Region 仅当“配置类别”选择“高级”时需要配置。 填写DIS通道所在的区域。 Project ID 仅当“配置类别”选择“高级”时需要配置。 填写DIS通道所在的项目ID，您可以参考API凭证获取项目ID。 以接入其他区域的DIS为例，该DIS数据源的接入配置示例如下图所示。 图1 DIS数据源配置示例 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“IBM MQ”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写IBM MQ的连接IP地址和端口号。 队列管理器 填写IBM MQ队列管理器的名称。 字符集标识 填写IBM MQ队列管理器的编码字符集标识。 通道名称 填写连接IBM MQ队列管理器所使用的通道名称。 用户名 填写连接IBM MQ的用户名。 密码 填写连接IBM MQ的用户密码。 是否开启SSL认证 ROMA Connect与IBM MQ的连接是否使用SSL认证加密。 密钥算法套件 仅当“是否开启SSL认证”选择“是”时需要配置。 填写“通道名称”所指队列管理器通道中，使用的密钥算法套件名称。 公钥库文件 仅当“是否开启SSL认证”选择“是”时需要配置。 SSL认证过程中，客户端（ROMA Connect）使用的公钥库文件，与服务端（IBM MQ）使用的私钥相匹配。 公钥库密码 仅当“是否开启SSL认证”选择“是”时需要配置。 公钥库文件对应的密码。 以开启SSL认证为例，需要上传公钥库文件，数据源的接入配置示例如下图所示。 图1 IBM MQ数据源配置示例 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“Kafka”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写Kafka的连接地址和端口号。 如果Kafka有多个副本（Broker），可单击“添加地址”填写多个连接地址。 是否SASL_SSL ROMA Connect与Kafka的连接是否使用SASL_SSL认证加密。 用户名/应用Key 仅当“是否SASL_SSL”选择“是”时需要配置。 SASL_SSL认证所使用的用户名，如果使用ROMA Connect的消息集成作为Kafka数据源，则用户名为集成应用的Key。 密码/应用Secret 仅当“是否SASL_SSL”选择“是”时需要配置。 SASL_SSL认证所使用的用户密码，如果使用ROMA Connect的消息集成作为Kafka数据源，则密码为集成应用的Secret。 以开启SASL_SSL为例，数据源的接入配置示例如下图所示。 图1 Kafka数据源配置示例 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“自定义数据源”页签下，选择要作为自定义数据源的连接器，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接器实例 选择该连接器下已发布的连接器实例。 其他配置参数 后续的其他配置参数，是基于您在创建连接器时所定义的数据源信息而定。 您可以在ROMA Connect控制台的“资产管理”页面中，在“连接器”页签下单击连接器名称，查看连接器的“数据源定义”信息。 以接入一个读取邮件数据的自定义数据源为例，该自定义数据源的接入配置示例如下图所示。 其中，email server、protocol、user和password参数为连接器中定义的数据源参数。 图1 自定义数据源配置示例 完成数据源接入配置后，单击“创建”，完成数据源的接入。

自定义数据源 返回页首 任务的“集成模式”为“定时”时，可以选择自定义数据源作为源端数据源。ROMA Connect通过标准RESTful API的方式与自定义数据源进行通信。 在创建任务页面中配置源端信息。 表32 源端自定义数据源信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择自定义数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择具体自定义数据源类型。 数据源名称 选择接入数据源中已配置的自定义数据源。 是否需要分页 一次API请求可以返回多条数据，ROMA Connect向自定义数据源发送请求获取数据时，数据是否分页返回。 分页表示所有满足条件的数据，按照每页固定的记录数进行分页，ROMA Connect每次获取一页数据，并通过多次请求获取所有数据。 不分页则表示ROMA Connect通过一次API请求获取所有满足条件的数据。 起始页 仅当“是否需要分页”选择开启时需要配置。 填写分页页码起始页，指第一页从0或者从1开始计数，请根据API的原始定义填写。 单页大小 仅当“是否需要分页”选择开启时需要配置。 填写每页的最大数据记录数，请根据API的原始定义填写。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时区 选择自定义数据源使用的时区，以便ROMA Connect识别数据的时间戳。 数据起始时间 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与响应消息中对应参数的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 除了以上参数外，不同自定义数据源会定义不同的读端参数，请按照连接器原始定义规范填写。您可以在ROMA Connect控制台的“资产管理”页面中找到自定义数据源所使用的连接器，查看连接器的“读端参数定义”信息。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 以上面JSON格式数据中不含数组的样例为例，源端为自定义数据源的配置示例如下图所示，其中key为连机器中定义的读端参数。 图21 自定义数据源配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

WebSocket 返回页首 任务的“集成模式”为“实时”时，可以选择WebSocket作为源端数据源。 在创建任务页面中配置源端信息。 表31 源端WebSocket信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择WebSocket数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“WebSocket”。 数据源名称 选择接入数据源中已配置的WebSocket数据源。 数据根字段 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据路径配置说明。 是否启用心跳机制 ROMA Connect是否与WebSocket数据源之间启用心跳机制，确保连接的有效性。 心跳消息内容 仅当“是否启用心跳机制”选择“是”时需要配置。 ROMA Connect向WebSocket数据源发送的心跳包中携带的消息内容，自定义。 发送心跳间隔(分钟) 仅当“是否启用心跳机制”选择“是”时需要配置。 ROMA Connect向WebSocket数据源发送心跳包的时间间隔。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 以上面JSON格式数据中不含数组的样例为例，源端为WebSocket的配置示例如下图所示。 图20 WebSocket配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

SQL Server 返回页首 任务的“集成模式”为“定时”时，可以选择SQL Server作为源端数据源。 在创建任务页面中配置源端信息。 表29 源端SQL Server信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择SQL Server数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“SQL Server”。 数据源名称 选择接入数据源中已配置的SQL Server数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择SQL Server数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择SQL Server数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。 类型：JSON格式字段值中，要采集的数据元素的数据类型。 解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为SQL Server的配置与MySQL的类似，配置示例可参考MySQL配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

SNMP 返回页首 任务的“集成模式”为“定时”时，可以选择SNMP作为源端数据源。 在创建任务页面中配置源端信息。 表28 源端SNMP信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择SNMP数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“SNMP”。 数据源名称 选择接入数据源中已配置的SNMP数据源。 数据模型 选择SNMP数据源中的数据模型。 Row，表示按行的方式来解析SNMP数据。 Column，表示按列的方式来来解析SNMP数据。 对象标识符 仅当“数据模型”选择“Column”时需要配置。 填写SNMP消息中要获取对象的对象标识符（OID），多个对象标识符之间以英文逗号（,）分隔开。 元数据 指从源端获取到的SNMP消息数据中，要集成到目标端的对象（数据字段）。 别名：对元数据的自定义名称。 类型：元数据的数据类型。 解析路径：元数据在SNMP消息中的对象标识符（OID）。仅当“数据模型”选择“Row”时需要配置。 源端为SNMP的配置示例如下所示。 数据模型为Row时，user为获取系统联系人信息，location为获取服务器所在位置信息。 图16 数据模型为Row的配置示例 数据模型为Column时，info为包含系统联系人信息和服务器所在位置信息的列。 图17 数据模型为Column的配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

GaussDB(for MySQL) 返回页首 任务的“集成模式”为“定时”时，可以选择GaussDB(for MySQL)作为源端数据源。 在创建任务页面中配置源端信息。 表30 源端GaussDB(for MySQL)信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择GaussDB(for MySQL)数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“GaussDB(for MySQL)”。 数据源名称 选择接入数据源中已配置的GaussDB(for MySQL)数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择GaussDB(for MySQL)数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择GaussDB(for MySQL)数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 选择数据表中DATE类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件，该字段支持的最大精度为秒。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。 类型：JSON格式字段值中，要采集的数据元素的数据类型。 解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 以上面JSON格式数据中含数组的样例为例，目标端为GaussDB(for MySQL)的配置示例如下所示。 增量迁移配置示例，数据表中需包含DATE类型的字段，用作时间戳字段。 图18 GaussDB(for MySQL)增量迁移配置示例 扩展元数据配置示例，从数据表的desc字段中获取子元素c和d。 图19 GaussDB(for MySQL)扩展元数据配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

RocketMQ 返回页首 任务的“集成模式”为“实时”时，可以选择RocketMQ作为源端数据源。 RocketMQ的消费组为：任务ID+"_consumer_group"。 在创建任务页面中配置源端信息。 表26 源端RocketMQ信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择RocketMQ数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“RocketMQ”。 数据源名称 选择接入数据源中已配置的RocketMQ数据源。 Topic名称 填写主题字符串/队列名称。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 数据根字段 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 源端为RocketMQ的配置示例如下图所示。 图15 RocketMQ配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

SAP 返回页首 任务的“集成模式”为“定时”时，可以选择SAP作为源端数据源。 在创建任务页面中配置源端信息。 表27 源端SAP信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择SAP数据源所属的集成应用，在接入数据源时已配置。 源数据类型 选择“SAP”。 数据源名称 选择接入数据源中已配置的SAP数据源。 连接方式 选择SAP数据源的连接方式，包含可用函数和表连接器两种方式。 可用函数：指SAP数据源开放出来允许远程调用的函数。 表连接器：通过连接器的形式连接SAP数据表。 可用函数 仅当“连接方式”选择“可用函数”时需要配置。 单击“查询”，在“可用函数”弹窗中输入“函数名”和“组名”，查询并获取SAP数据源的可用函数列表，在“函数列表”处选择要使用的函数，然后单击“确定”。 说明： 在SAP数据源中只有开启了允许远程访问功能的函数，才能在ROMA Connect界面上查询。 函数名与组名支持前缀匹配方式的模糊查询。 查询函数 仅当“连接方式”选择“表连接器”时需要配置。 该字段表示用户自己定义的查询函数，用户可根据实际情况选择使用，一般情况下选默认函数。例如：/SAPDS/RFC_READ_TABLE2 须知： SAP不支持跨表查询，因为调用/SAPDS/RFC_READ_TABLE2函数只支持对单一表进行查询。 源端表 仅当“连接方式”选择“表连接器”时需要配置。 选择源端的数据表。数据表选择后可单击“选择表字段”按钮，选择具体的表字段。 字段分隔符 仅当“连接方式”选择“表连接器”时需要配置。 填写字段分隔符，用于分隔字段。 分页大小 仅当“连接方式”选择“表连接器”时需要配置。 选择一次从SAP服务端读取的最大数据量，单位为万。 须知： 数值越大读取速度越快，但会存在内存溢出的风险，导致整个实例不可用。建议不做修改，如需修改请根据实际的业务量及实例规格谨慎设置。另外，请尽可能降低超过默认配置的任务并发运行数(建议不超过5个)，降低内存溢出风险。 是否增量迁移 仅当“连接方式”选择“表连接器”时需要配置。 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 分区选项 仅当“连接方式”选择“表连接器”时需要配置。 提供对数据进行分区读取的操作，从而提高数据读取速度。分区支持按年、月、天分区读取数据，或者不分区读取。 例如，当在要读取1号到30号的数据时，分区选择天，那么在读取数据时则按30天进行分区读取数据。 说明： 全量和增量迁移均支持分区配置。 时区 仅当“是否增量迁移”选择开启或者“分区选项”选择“年、月、天”时需要配置。 选择SAP数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启或者“分区选项”选择“年、月、天”时需要配置。 选择数据表中DATE类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件，如果时间戳字段和时间戳初始值填写不完整，此任务默认为全量集成。 须知： SAP不支持无时间戳字段的增量任务，即待抽取的表字段中需要有时间戳字段。 时间戳初始值 仅当“是否增量迁移”选择开启或者“分区选项”选择“年、月、天”时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 时间戳结束值 仅当“是否增量迁移”选择开启时需要配置。 选择要集成数据的结束时间，即只集成到该时间点的数据。 时间格式 仅当“是否增量迁移”选择开启或者“分区选项”选择“年、月、天”时需要配置。 选择文件名中的时间格式，必须与“文件名前缀”配合使用，用于筛选要集成的数据文件。若只选择时间格式不填文件名前缀，则不会过滤文件。选了时间格式的话，则会将任务运行时的时间转换成选择的时间格式，与文件名前缀来共同过滤文件。 例如，文件名前缀为test，时间格式为yyyyMMdd,任务运行时时间为2021-01-14 10:00:00，则任务运行只采集文件名以test20210114为前缀的文件。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后，导致ROMA Connect查询源端增量数据出现遗漏，可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如，上一次增量迁移任务的结束时间是15:05，本次定时任务在17:00触发，时间补偿设为100ms，则本次增量迁移任务要集成数据的时间区间为“15:05~（17:00-100ms）”。 条件筛选 仅当“连接方式”选择“表连接器”时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 表类型请求参数配置说明： 以如下请求参数结构为例进行说明，[]表示表类型数据，{}表示表中的一行数据。a参数表下有3行数据，每行数据中有2个参数。 参数b的键为a[i].b，参数c的键为a[i].c。其中，i表示参数表第几行中的参数，0表示第一行，1表示第二行，以此类推。 a: [ { b: xx, c: xx }， { b: yy, c: yy }， { b: zz, c: zz }， ] 当选择可用函数后，请求参数处仅列出a数据表下第一行的参数，即a[0].b，a[0].c。若需要添加数据表中其他某一行的参数，应按顺序逐行添加，必须确保其前一行的参数已添加，不允许出现仅添加了1、3行的参数，未添加第2行参数的情况。 例如上述样例中，要添加第二行的参数，则直接在a[0].c后添加a[1].b或a[1].c；要添加第三行的参数，则在a[0].c后先添加至少一个第二行的参数a[1].b或a[1].c，然后再添加第三行的参数a[2].b或a[2].c。 不允许重复添加同一行数据中的同一个参数，否则会导致数据集成任务执行失败。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

PostgreSQL 返回页首 任务的“集成模式”为“定时”时，可以选择PostgreSQL作为源端数据源。 在创建任务页面中配置源端信息。 表24 源端PostgreSQL信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择PostgreSQL数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“PostgreSQL”。 数据源名称 选择接入数据源中已配置的PostgreSQL数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择PostgreSQL数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择PostgreSQL数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。 类型：JSON格式字段值中，要采集的数据元素的数据类型。 解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为PostgreSQL的配置与MySQL的类似，配置示例可参考MySQL配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

RabbitMQ 返回页首 任务的“集成模式”为“实时”时，可以选择RabbitMQ作为源端数据源。 在创建任务页面中配置源端信息。 表25 源端RabbitMQ信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择RabbitMQ数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“RabbitMQ”。 数据源名称 选择接入数据源中已配置的RabbitMQ数据源。 是否创建新队列 选择是否在源端RabbitMQ数据源创建一个新队列。 选择是，表示创建一个新队列，并从该队列获取数据。 选择否，表示从已有队列中获取数据。 交换方式 仅当“是否创建新队列”选择“是”时需要配置。 选择RabbitMQ中交换器将消息转发到新队列的路由方式。 Direct：若消息的路由关键字与队列完全匹配，则消息会转发到队列。 Topic：若消息的路由关键字与队列模糊匹配，则消息会转发到队列。 Fanout：所有消息都会转发到队列。 Headers：若消息的Headers属性与队列完全匹配，则消息会转发到队列。 交换机名称 仅当“是否创建新队列”选择“是”时需要配置。 填写RabbitMQ中新队列的交换器名称，自定义。 路由关键字 仅当“交换方式”选择“Direct”或“Topic”时需要配置。 填写新队列的路由关键字，RabbitMQ把路由关键字作为判断条件，符合条件的消息将转发到新队列。 消息参数 仅当“交换方式”选择“Headers”时需要配置。 填写新队列的Headers键值对，RabbitMQ把Headers作为判断条件，符合条件的消息将转发到新队列。 队列名称 填写要获取数据的消息队列名称。 若“是否创建新队列”选择“是”，则自定义一个新的队列名称。 若“是否创建新队列”选择“否”，则填写RabbitMQ数据源中已有队列的名称，并确保该队列已存在。 自动删除 当没有客户端连接队列时，队列是否自动删除。 持久化 队列中的消息是否持久化保存。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 以上面JSON格式数据中不含数组的样例为例，源端为RabbitMQ的配置示例如下图所示。 图14 RabbitMQ配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

Oracle 返回页首 任务的“集成模式”为“定时”时，可以选择Oracle作为源端数据源。 在创建任务页面中配置源端信息。 表23 源端Oracle信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择Oracle数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“Oracle”。 数据源名称 选择接入数据源中已配置的Oracle数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择Oracle数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择Oracle数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。 类型：JSON格式字段值中，要采集的数据元素的数据类型。 解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为Oracle的配置与MySQL的类似，配置示例可参考MySQL配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

MRS Kafka 返回页首 任务的“集成模式”为“实时”时，可以选择MRS Kafka作为源端数据源。 在创建任务页面中配置源端信息。 表21 源端MRS Kafka信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择MRS Kafka数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“MRS Kafka”。 数据源名称 选择接入数据源中已配置的MRS Kafka数据源。 Topic名称 填写用户在MRS Kafka服务已创建的Topic，不可随意自定义。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 数据根字段 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据路径配置说明。 数据类型 选择从MRS Kafka数据源获取的数据格式类型，需要与MRS Kafka实际存储的数据格式一致。 当“是否解析”选择“是”时，可选择“JSON”、“XML”。 当“是否解析”选择“否”时，可选择“JSON”、“XML”、“二进制文件”。 消费偏移设置 选择集成最早获取的消息数据还是最新获取的消息数据。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 时区 选择MRS Kafka数据源使用的时区，以便ROMA Connect识别数据的时间戳。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 源端为MRS Kafka的配置与Kafka的类似，配置示例可参考Kafka配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

OBS 返回页首 任务的“集成模式”为“定时”时，可以选择OBS（ 对象存储服务 ）作为源端数据源。 在创建任务页面中配置源端信息。 表22 源端OBS信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择OBS数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“OBS”。 数据源名称 选择接入数据源中已配置的OBS数据源。 Path 填写OBS数据源中，要获取数据文件所在的路径。Path的值不能以斜杠（/）结尾，不能设置为OBS桶的根目录。 文件名前缀 填写文件名前缀，与“时间格式”配合使用，用于筛选要集成的数据文件。 时间格式 选择文件名中的时间格式，与“文件名前缀”配合使用，用于筛选要集成的数据文件。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据OBS默认的排列顺序对文件进行解析，默认时间最晚的文件最先解析，解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 文件类型 仅当“是否解析”选择“是”时需要配置。 选择从OBS数据源获取的数据文件格式，文件格式支持“csv”、“txt”、“zip”、“xls”、“xlsx ”。 字段分隔符 仅当“是否解析”选择“是”时需要配置。 填写数据文件中的字段分隔符，用于区分每行数据中的不同字段。 编码方式 仅当“是否解析”选择“是”时需要配置。 选择从OBS数据源获取的数据文件编码方式，可选择“UTF-8”和“GBK”。 是否跳过标题 仅当“是否解析”选择“是”时需要配置。 选择是否跳过数据文件中的标题行信息。标题为添加在文件中的首行或者开头若干行信息，帮助识别和区分文件内容。 标题行数 仅当“是否解析”选择“是”且“是否跳过标题”选择“是”时需要配置。 填写数据文件中标题信息的行数，方便ROMA Connect识别文件中的数据起始行。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的数据文件中，要集成到目标端的每一个数据字段。元数据必须按照文件中的字段顺序填写。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 支持以下类型： String: 字符串类型。 Double: 浮点数类型。 Date: 日期时间类型。 Boolean: 布尔类型。 Long: 整数类型。 若不确定具体的数据类型，可选择String类型。 源端为OBS的配置示例如下图所示，id、name和info为从OBS数据源获取，并要集成到目标端的数据字段。 图13 OBS配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

MRS Hive 返回页首 任务的“集成模式”为“定时”时，可以选择MRS Hive作为源端数据源。 在创建任务页面中配置源端信息。 表18 源端MRS Hive信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择MRS Hive数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“MRS Hive”。 数据源名称 选择接入数据源中已配置的MRS Hive数据源。 源端数据库名 选择MRS Hive数据源中要获取数据的数据库。 说明： 需要使用自建的数据库，不能使用MRS Hive自带的default数据库。 源端表 选择MRS Hive数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时间戳字段 仅当“是否增量迁移”选择开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择MRS Hive数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后，导致ROMA Connect查询源端增量数据出现遗漏，可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如，上一次增量迁移任务的结束时间是15:05，本次定时任务在17:00触发，时间补偿设为100ms，则本次增量迁移任务要集成数据的时间区间为“15:05~（17:00-100ms）”。 条件筛选 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为MRS Hive的配置与MySQL的类似，配置示例可参考MySQL配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

MRS HDFS 返回页首 任务的“集成模式”为“定时”时，可以选择MRS HDFS作为源端数据源。 在创建任务页面中配置源端信息。 表19 源端MRS HDFS信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择MRS HDFS数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“MRS HDFS”。 数据源名称 选择接入数据源中已配置的MRS HDFS数据源。 分隔符 填写MRS HDFS数据源中文本数据的字段分隔符，用于区分每行数据中的不同字段。 存储子路径 在MRS HDFS的“hdfs:///hacluster”路径下，要集成数据的存储路径。 存储块大小(M) ROMA Connect从MRS HDFS数据源获取数据时，每次读取的数据大小。 存储类型 选择MRS HDFS数据源中数据的存储类型，需要与MRS HDFS实际的数据存储类型一致。当前可选择“文本文件”。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的文本数据中，要集成到目标端的每一个数据字段。元数据必须按照文件中的字段顺序填写。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 源端为MRS HDFS的配置示例如下图所示，id、name和info为从MRS HDFS数据源获取，并要集成到目标端的数据字段。 图12 MRS HDFS配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

MRS HBase 返回页首 任务的“集成模式”为“定时”时，可以选择MRS HBase作为源端数据源。 在创建任务页面中配置源端信息。 表20 源端MRS HBase信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择MRS HBase数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“MRS HBase”。 数据源名称 选择接入数据源中已配置的MRS HBase数据源。 源端表 选择MRS HBase数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

MQS 返回页首 任务的“集成模式”为“实时”时，可以选择MQS作为源端数据源。ROMA Connect的消息集成属于MQS类型数据源。 在创建任务页面中配置源端信息。 表17 源端MQS信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择MQS数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“MQS”。 数据源名称 选择接入数据源中已配置的MQS数据源。 Topic名称 选择要获取数据的Topic名称。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 数据根字段 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。 数据类型 选择从MQS数据源获取的数据格式类型，需要与MQS实际存储的数据格式一致。当“是否解析”选择“是”时，可选择“JSON”和“XML”；当“是否解析”选择“否”时，可选择“JSON”、“XML”和“二进制文件”。 消费偏移设置 选择集成最早获取的消息数据还是最新获取的消息数据。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 时区 选择MQS数据源使用的时区，以便ROMA Connect识别数据的时间戳。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 以上面JSON格式数据中不含数组的样例为例，源端为MQS的配置示例如下图所示。 图11 MQS配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

MongoDB 返回页首 任务的“集成模式”为“定时”时，可以选择MongoDB作为源端数据源。 在创建任务页面中配置源端信息。 表16 源端MongoDB信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择MongoDB数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“MongoDB”。 数据源名称 选择接入数据源中已配置的MongoDB数据源。 选择源端集合 选择MongoDB数据源中要获取数据的数据集合（数据集合相当于关系型数据库的数据表）。选择数据集合后，单击“选择集合字段”，可以选择只需要集成的数据列字段。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时间戳字段 仅当“是否增量迁移”选择开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择MongoDB数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后，导致ROMA Connect查询源端增量数据出现遗漏，可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如，上一次增量迁移任务的结束时间是15:05，本次定时任务在17:00触发，时间补偿设为100ms，则本次增量迁移任务要集成数据的时间区间为“15:05~（17:00-100ms）”。 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为MongoDB的配置与MySQL的类似，配置示例可参考MySQL配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

IBM MQ 返回页首 任务的“集成模式”为“实时”时，可以选择IBM MQ作为源端数据源。 在创建任务页面中配置源端信息。 表12 源端IBM MQ信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择IBM MQ数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“IBM MQ”。 数据源名称 选择接入数据源中已配置的IBM MQ数据源。 目标端类型 选择IBM MQ数据源的消息传递模型，可选择“Topic”和“Queue”。 目标端名称 填写要获取数据的Topic或Queue名称，请确保该Topic或Queue已存在。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 数据根字段 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 源端为IBM MQ的配置与ActiveMQ的类似，配置示例可参考ActiveMQ配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

MySQL 返回页首 任务的“集成模式”为“定时”时，可以选择MySQL作为源端数据源。 在创建任务页面中配置源端信息。 表15 源端MySQL信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择MySQL数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“MySQL”。 数据源名称 选择接入数据源中已配置的MySQL数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择MySQL数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择MySQL数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 用于校验数据行是否符合数据集成条件，请选择一个“DATE”类型的字段。如果时间戳字段和时间戳初始值填写不完整，此任务默认为全量集成。 若选择的时间戳字段类型为timestamp，时区需选择+0时区避免出现查询不到数据。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。 类型：JSON格式字段值中，要采集的数据元素的数据类型。 解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 以上面JSON格式数据中含数组的样例为例，源端为MySQL的配置示例如下所示。 增量迁移配置示例，数据表中需包含DATE、TIME或TIMESTAMP类型的字段，用作时间戳字段。 图9 MySQL增量迁移配置示例 扩展元数据配置示例，从数据表的desc字段中获取子元素c和d。 图10 MySQL扩展元数据配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

Kafka 返回页首 任务的“集成模式”为“实时”时，可以选择Kafka作为源端数据源。ROMA Connect的消息集成属于Kafka类型数据源。 在创建任务页面中配置源端信息。 表13 源端Kafka信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择Kafka数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“Kafka”。 数据源名称 选择接入数据源中已配置的Kafka数据源。 Topic名称 选择要获取数据的Topic名称。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 数据根字段 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。 数据类型 选择从Kafka数据源获取的数据格式类型，需要与Kafka实际存储的数据格式一致。当“是否解析”选择“是”时，可选择“JSON”和“XML”；当“是否解析”选择“否”时，可选择“JSON”、“XML”和“二进制文件”。 消费偏移设置 选择集成最早获取的消息数据还是最新获取的消息数据。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 时区 选择Kafka数据源使用的时区，以便ROMA Connect识别数据的时间戳。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 以上面JSON格式数据中不含数组的样例为例，源端为Kafka的配置示例如下图所示。 图7 Kafka配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

Gauss100 返回页首 任务的“集成模式”为“定时”时，可以选择Gauss100作为源端数据源。 在创建任务页面中配置源端信息。 表9 源端Gauss100信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择Gauss100数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“Gauss100”。 数据源名称 选择接入数据源中已配置的Gauss100数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 Schema 仅当“插入SQL”选择不开启时需要配置。 选择表Schema。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择Gauss100数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择Gauss100数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如：条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为Gauss100的配置与MySQL的类似，配置示例可参考MySQL配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。