华为云用户手册

方案二：同时消费，后迁生产 方案介绍 本方案中，消费者业务启用多个消费客户端，分别从原Kafka和ROMA Connect消费消息，然后将生产业务切到ROMA Connect，这样能确保所有消息都被及时消费。 该方案中消费业务会在一段时间内同时消费原Kafka和ROMA Connect。由于在迁移生产业务之前，消费业务就已经运行在ROMA Connect上，因此不会存在端到端时延的问题。但是在迁移生产的开始阶段，同时消费原Kafka与ROMA Connect，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。 此方案适用于对端到端时延有要求，却对消息顺序不敏感的业务。 迁移流程 启动新的消费客户端，配置Kafka连接地址为ROMA Connect实例的消息集成MQS连接地址，消费ROMA Connect实例中的数据。 原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。 修改生产客户端，Kafka连接地址改为ROMA Connect实例的消息集成MQS连接地址。 重启生产客户端，将生产业务迁移到ROMA Connect实例中。 生产业务迁移后，观察连接ROMA Connect实例的消费业务是否正常。 等待原Kafka中数据消费完毕，关闭原有消费业务客户端。 迁移结束。

迁移持久化数据 如果需要将原Kafka的已消费数据也迁移到ROMA Connect实例，可以使用开源工具MirrorMaker，模拟成原Kafka的消费客户端，以及ROMA Connect实例的生产客户端，将原Kafka所有消息数据迁移到ROMA Connect实例。 若原Kafka的Topic为单副本存储，ROMA Connect实例中的Topic为3副本存储，则建议ROMA Connect实例存储空间为原Kafka的3倍。

迁移准备 确保消息生产与消费客户端与ROMA Connect实例的消息集成MQS连接地址网络互通。您可以在ROMA Connect实例控制台的“实例信息”页面查看消息集成MQS连接地址。 如果使用内网地址连接，则客户端与ROMA Connect实例应在同一VPC内。若客户端和ROMA Connect实例在不同VPC，可以通过创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问，具体请参考VPC对等连接说明。 如果使用公网地址连接，则客户端需要有公网访问权限。 确保ROMA Connect实例的消息集成规格不能低于原业务使用的Kafka规格。消息集成规格请参考产品规格。 在ROMA Connect实例上创建与原Kafka相同配置的Topic，包括Topic名称、副本数、分区数、消息老化时间，以及是否同步复制和落盘等。

方案一：先迁生产，再迁消费 方案介绍 本方案中，先将生产消息的业务迁移到ROMA Connect，原Kafka不会有新的消息生产。待原Kafka的消息全部消费完成后，再将消费消息业务迁移到ROMA Connect，开始消费新的消息。 该案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序问题。但是该方案中需要等待消费者业务直至消费完毕，存在一个时间差的问题，部分数据可能存在较大的端到端时延。 此方案适用于对消息顺序有要求，却对端到端时延不敏感的业务。 迁移流程 将生产客户端的Kafka连接地址修改为ROMA Connect实例的消息集成MQS连接地址。 重启生产业务，使得生产者将新的消息发送到ROMA Connect实例中。 观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。 将消费客户端的Kafka连接地址修改为ROMA Connect实例的消息集成MQS连接地址。 重启消费业务，使得消费者从ROMA Connect实例中消费消息。 观察消费者是否能正常从ROMA Connect实例中获取数据。 迁移结束。

脚本配置示例 { "scope": "basic", "default_interval": 60, "default_time_unit": "second", "api_limit": 100, "app_limit": 50, "user_limit": 50, "ip_limit": 20, "specials": [ { "type": "app", "policies": [ { "key": "e9230d70c749408eb3d1e838850cdd23", "limit": 10 } ] }, { "type": "user", "policies": [ { "key": "878f1b87f71c40a7a15db0998f358bb9", "limit": 10 } ] } ], "algorithm": "counter", "parameters": [ { "id": "3wuj354lpptv0toe0", "value": "reqPath", "type": "path", "name": "reqPath" }, { "id": "53h7e7j11u38l3ocp", "value": "method", "type": "method", "name": "method" }, { "id": "vv502bnb6g40td8u0", "value": "Host", "type": "header", "name": "Host" } ], "rules": [ { "match_regex": "[\"Host\",\"==\",\"www.abc.com\"]", "rule_name": "u8mb", "time_unit": "second", "interval": 2, "limit": 5 } ]}

日志字段说明 序号 字段 说明 1 remote_addr 客户端地址。 2 request_id 请求ID。 3 api_id API ID。 4 user_id 当使用 IAM 认证访问时，请求方提供的项目ID。 5 app_id 当使用APP认证访问时，请求方提供的APP ID。 6 time_local 请求时间。 7 request_time 请求时延（单位：s）。 8 request_method HTTP请求方法。 9 host 请求 域名 。 10 router_uri 请求URI。 11 server_protocol 请求协议。 12 status 响应状态码。 13 bytes_sent 响应大小（包含状态行、响应头、响应体），单位：字节。 14 request_length 请求长度（包含起始行、请求头、请求体），单位：字节。 15 http_user_agent 用户代理标识。 16 http_x_forwarded_for X-Forwarded-For头。 17 upstream_addr 后端地址。 18 upstream_uri 后端URI。 19 upstream_status 后端响应状态码。 20 upstream_connect_time 与后端建立连接所用时间。 21 upstream_header_time 从开始与后端建立连接到从后端获取到首字节所用时间，单位秒。 22 upstream_response_time 从开始与后端建立连接到从后端获取到最后一个字节所用时间，单位秒。 23 region_id 可用区ID。 24 all_upstream_response_time 从开始与后端建立连接到从后端获取到最后一个字节所用时间，单位秒。发生重试时，为所用时间总和。 25 errorType API请求的错误类型。 0：非流控错误。 1：流控错误。 26 auth_type API认证类型。 27 access_model1 认证模式1。 28 access_model2 认证模式2，开启双重认证时，为自定义认证编号。 29 inner_time APIC的内部处理时长，单位秒。 30 proxy_protocol_vni VPC终端节点 的虚拟网络标识。 31 proxy_protocol_vpce_id VPC终端节点的ID。 32 proxy_protocol_addr 客户端源IP地址。 33 body_bytes_sent API请求的Body体大小，单位字节。 34 api_name API名称。 35 app_name 当使用APP认证访问时，请求方使用的APP名称。 36 provider_app_id API所属的APP ID。 37 provider_app_name API所属的APP名称。 38 custom_data_log1 用户自定义日志字段值1。 39 custom_data_log2 用户自定义日志字段值2。 40 custom_data_log3 用户自定义日志字段值3。 41 custom_data_log4 用户自定义日志字段值4。 42 custom_data_log5 用户自定义日志字段值5。 43 custom_data_log6 用户自定义日志字段值6。 44 custom_data_log7 用户自定义日志字段值7。 45 custom_data_log8 用户自定义日志字段值8。 46 custom_data_log9 用户自定义日志字段值9。 47 custom_data_log10 用户自定义日志字段值10。 48 response_source 请求响应来源。 local：APIG。 remote：后端服务。

接入设备 创建产品。 在“产品管理”页面单击“创建产品”，产品类型选择“普通产品”，协议类型选择“OPC UA”。 创建设备。 在“设备管理”页面单击“创建设备”，所属产品选择上一步创建的产品。 下载EdgeShell安装包。 单击设备名称，进入设备详情页，在基础信息页签中，单击的“EdgeShell”项的“下载安装包”，下载EdgeShell安装包。 启动EdgeShell。 EdgeShell支持运行在Windows和Linux环境中，根据不同的环境执行不同的启动脚本。 EdgeShell依赖于java11运行环境，运行前需要先确保java运行环境已安装，并且JAVA_HOME环境变量已设置。 解压下载的edge-shell.zip，解压后目录结构如下图。 bin：启动停止脚本。 config：配置参数。 lib：依赖的jar包。 edge-shell-1.0.0.jar：运行的主程序。 在设备详情页的“基本信息”页签中拷贝“边缘连接配置(IPV4)”到config目录下的mqtt.properties文件中。 执行启动脚本。 Windows下执行bin/windows/start.bat。 Linux下执行bin/linux/start.sh。 正常启动后，EdgeShell会连接上LINK，此时在会显示设备在线，设备详情页中的边缘详情会有数据上报。 启动脚本后会生成log目录，该目录下会记录启动和运行日志。该目录下会有edge-shell-error.log和edge-shell-info.log两个文件，如果启动后设备没有连接上，可以通过查看error日志快速定位。 Windows下如果单击启动后，log目录没有生成，可以修改start.bat下列语句： 修改前： start edge-shell %JAVA_OPT% -jar edge-shell-1.0.0.jarpause 修改后： java %JAVA_OPT% -jar edge-shell-1.0.0.jar 插件下载。 在插件管理页面中，单击“下载插件”，在弹出框中单击“下载并部署”。 插件安装成功后，单击操作栏中的启动键启动插件。 配置OPC UA连接点和采集策略。 创建OPC UA连接点，OPC UA采集模式支持定时采集和订阅，安全策略目前支持None, Basic128Rsa15, Basic256, Basic256Sha256, Aes128_Sha256_RsaOaep, Aes256_Sha256_RsaPss，安全模式支持None和用户名/密码。 图1 采集模式为定时采集 图2 采集模式为订阅 在已创建的连接点下创建节点，输入需要采集的节点的路径。 下发采集策略。 在设备详情页中的“OPC UA配置”页签，勾选需要下发的OPC UA连接点，单击“下发策略”按钮。 配置规则引擎。 配置普通设备采集上来的数据转发到MQS。 在规则引擎界面单击“创建规则”按钮，规则引擎所属应用需要与普通产品相同。 单击规则引擎名称进入规则引擎详情页面，配置数据源端和数据目的端。 数据源端选择之前创建的产品和设备。 数据目的端选择同实例下的MQS。

获取域名 云服务平台内业务系统访问API的场景，需获取内网域名作为独立域名。 申请内网域名，具体请参考创建内网域名。 配置域名到“服务集成APIC 连接地址”的A类型记录集配置，具体请参考增加A类型记录集。 如果API分组中的API支持HTTPS请求协议，则需要为独立域名添加SSL证书。您需要提前获取SSL证书的内容和密钥，并创建SSL证书。 云服务平台外业务系统访问API的场景，需获取公网域名作为独立域名。 申请公网域名，具体可通过 域名注册服务 申请。 备案公网域名，您可以通过备案中心完成域名备案。备案时长需几个工作日，建议您提前进行备案。 配置域名到API分组子域名的CNAME类型记录集配置，具体请参考增加CNAME类型记录集。 如果API分组中的API支持HTTPS请求协议，则需要为独立域名添加SSL证书。您需要提前获取SSL证书的内容和密钥，并创建SSL证书。

转换证书为PEM格式 格式类型 转换方式（通过OpenSSL工具进行转换） CER/CRT 将“cert.crt”证书文件直接重命名为“cert.pem”。 PFX 提取私钥命令，以“cert.pfx”转换为“key.pem”为例。 openssl pkcs12 -in cert.pfx -nocerts -out key.pem 提取证书命令，以“cert.pfx”转换为“cert.pem”为例。 openssl pkcs12 -in cert.pfx -nokeys -out cert.pem P7B 证书转换，以“cert.p7b”转换为“cert.cer”为例。 openssl pkcs7 -print_certs -in cert.p7b -out cert.cer 将“cert.cer”证书文件直接重命名为“cert.pem”。 DER 提取私钥命令，以“privatekey.der”转换为“privatekey.pem”为例。 openssl rsa -inform DER -outform PEM -in privatekey.der -out privatekey.pem 提取证书命令，以“cert.cer”转换为“cert.pem”为例。 openssl x509 -inform der -in cert.cer -out cert.pem

为租户绑定流控策略 如果希望对某个租户进行流量控制，可以通过在流控策略中添加特殊租户实现。把租户添加到流控策略中后，该租户的用户流量限制受特殊租户的阈值限制，API流量限制和应用流量限制受流控策略限制。 在“策略管理”页签右上角的过滤条件中选择“流量控制”。 在页面中单击流控策略的名称，进入策略详情页面。 在“特殊租户”页签下，单击“添加特殊租户”。 在添加特殊租户弹窗中配置租户相关信息。 表3 特殊租户配置 参数 说明 租户ID 填写要绑定该流控策略的租户ID。 使用APP认证方式调用API时，租户ID为使用的集成应用所属用户的项目ID。 使用IAM认证方式调用API时，租户ID为调用者的账号ID。 您可以单击控制台右上角的用户名，选择“我的凭证”，在我的凭证页面获取用户的项目ID和账号ID。 阈值 填写单位时间内，该租户调用API的次数上限。参数值不能大于流控策略的“API流量限制”值。 单击“确定”，完成租户与流控策略的绑定。

前提条件 导入Topic前，请确保Topic所属的集成应用已创建，否则请提前创建集成应用。 导入Topic前，请检查导入Topic的实例中是否存在重名Topic，若存在重名Topic，会导致导入Topic失败。 导入Topic前，请确保Topic的配额满足需求。 若Topic的描述信息中有换行符时，导出Topic的csv文件中会将换行符转义成“\n”。若使用该csv文件导入Topic，在导入Topic后，需在控制台上手动修改Topic的描述信息，把转义字符“\n”修改成换行符。 导入Topic时，导入的文件中最多包含100个Topic，否则将导入Topic失败。 请勿使用Excel编辑导出的csv文件，否则会打乱csv文件的内容格式，导致导入失败。若需要编辑导出的文件后导入，请导出xlsx或xls格式进行编辑。 未绑定集成应用的Topic不支持导出。

变更站点规格 登录ROMA Connect控制台，在左侧导航栏选择“Site实例”。 在“Site实例”页面单击要变更规格实例上的“更多”，选择“规格变更”。 确认变更规格后单击“规格升级”。 当前仅支持从3VM的基础版规格变更为4VM的专业版规格。 再次单击“规格升级”，系统将自动创建边缘节点。 边缘节点创建完成后，单击“下载边缘节点配置文件”下载包含边缘节点密钥等信息的配置文件。 备份下载的边缘节点配置文件中的“node.tar.gz”文件到本地。 如果用户侧虚拟机出现故障需要重置时，则需要使用备份的“node.tar.gz”文件。 配置文件下载后，待系统将边缘节点连接上云，连接完成后单击“下载核心软件安装工具”按钮，下载对应的安装工具。当前支持X86_64和arm64，请下载对应的安装程序。 备份下载的核心软件安装工具中的“edge-installer_1.0.27_x86_64.tar.gz”文件到本地。 如果用户侧虚拟机出现故障需要重置时，则需要使用备份的“edge-installer_1.0.27_x86_64.tar.gz”文件。 其中，1.0.27为安装工具版本号，x86_64为CPU架构类型，请以实际场景为准。 单击下载纳管脚本压缩包install_site.tar.gz，参考表4编辑其中的install_site.conf文件，将新增的节点IP填写到VM4中，并填写cpu_request、mem_request、data_disk_size和log_disk_size。 上传下载下来的证书压缩包、安装工具、install_site.conf和install_site.sh四个文件到新增节点的临时目录。 登录并进入新增节点的临时目录，执行命令 sh install_site.sh install_site.conf，并按照要求输入密码完成机器纳管。 返回控制台，单击“站点详情”，查看所有纳管节点是否正常运行。

为应用绑定流控策略 如果希望对某个集成应用进行流量控制，可以通过在流控策略中添加特殊应用实现。把集成应用添加到流控策略中后，该集成应用的凭据流量限制受特殊应用的阈值限制，API流量限制和用户流量限制受流控策略限制。 在“策略管理”页签右上角的过滤条件中选择“流量控制”。 在页面中单击流控策略的名称，进入策略详情页面。 在“特殊凭据”页签下，单击“添加特殊应用”。 在添加特殊应用弹窗中配置应用相关信息。 表2 特殊应用配置 参数 说明 选择应用 选择集成应用的类型。 已有应用：用户自己创建的集成应用。 其他：其他用户创建的集成应用，需要填写当前实例下其他用户创建的集成应用ID。 应用名称 仅当“选择应用”选择“已有应用”时需要配置。 选择要绑定该流控策略的集成应用。 阈值 填写单位时间内，该集成应用调用API的次数上限。参数值不能大于流控策略的“API流量限制”值。 单击“确定”，完成集成应用与流控策略的绑定。

前提条件 在调用API前，确保您的业务系统所在网络与API的访问域名或地址互通。 若业务系统与ROMA Connect实例在相同VPC内时，可直接访问API。 若业务系统与ROMA Connect实例在同一区域的不同VPC内时，可通过创建VPC对等连接，将两个VPC的网络打通，实现同一区域跨VPC访问API。具体步骤请参考VPC对等连接说明。 若业务系统与ROMA Connect实例在不同区域的不同VPC内时，可通过创建云连接实例并加载需要互通的VPC，将两个VPC的网络打通，实现跨区域跨VPC访问API。具体步骤请参考跨区域VPC互通。 若业务系统与ROMA Connect实例通过公网互通，请确保ROMA Connect实例已绑定弹性IP。

调用API 构造API请求，示例如下： POST https://{Address}/{Path}?{Query}{Header}{ {Body}} POST：请求方法，需替换为获取API的请求信息中获取的请求方法。 {Address}：请求地址，需替换为获取API的请求信息中获取的域名地址。您也可以使用IP地址访问API， API调用场景 API请求参数配置 使用域名调用API ROMA Connect允许使用分组分配的子域名或分组绑定的域名调用API，无需另外配置。 使用IP调用DEFAULT分组的API ROMA Connect允许使用IP地址调用DEFAULT分组下的API，无需另外配置。 使用IP调用非DEFAULT分组的API ROMA Connect的实例配置参数“app_route”已设置为“on”，允许通过IP访问API。 ROMA Connect不允许使用IP地址直接调用非DEFAULT分组下的API，需要在请求消息中添加Header参数“X-HW-ID”，参数值为API所授权凭据的Key。 {Path}：请求路径，需替换为获取API的请求信息中获取的URL。 {Query}：查询参数，可选，格式为“参数名=参数取值”，例如limit=10，多个查询参数之间使用“&”隔开。需根据获取API的请求信息中获取的请求参数进行设置。 {Header}：请求头参数，格式为“参数名: 参数取值”，例如Content-Type: application/json。需根据获取API的请求信息中获取的请求参数进行设置。 {Body}：请求消息体，JSON格式。需根据获取API的请求信息中获取的请求体内容描述进行设置。 为API请求添加认证信息。 Site实例中不支持华为IAM认证。 API认证方式 API请求参数配置 APP认证（签名认证） 使用获取的SDK对API请求进行签名，具体请参考APP认证开发。 APP认证（简易认证） 在API请求中添加Header参数“X-Apig-AppCode”，参数值为获取API的认证信息中获取到的AppCode。 APP认证（绿色通道白名单） 在API请求中添加Header参数“X-HW-ID”，参数值为获取API的认证信息中获取到的Key。 APP认证（app_secret认证） ROMA Connect的实例配置参数“app_secret”已设置为“on”，开启app_secret认证。 在API请求中添加Header参数“X-HW-ID”，参数值为获取API的认证信息中获取到的Key。 在API请求中添加Header参数“X-HW-AppKey”，参数值为获取API的认证信息中获取到的Secret。 APP认证（app_basic认证） ROMA Connect的实例配置参数“app_basic”已设置为“on”，开启app_basic认证。 在API请求中添加Header参数“Authorization”，参数值为"Basic "+base64(appkey+":"+appsecret)，其中appkey和appsecret分别为获取API的认证信息中获取到的Key和Secret。 APP认证（双重认证） 在API请求中同时携带APP认证和自定义认证的认证信息。 IAM认证（Token认证） 先获取云服务平台的认证Token，然后在API请求中添加Header参数“X-Auth-Token”，参数值为认证Token，具体请参考IAM认证开发（Token）。 IAM认证（AK/SK认证） 使用获取的SDK对API请求进行签名，具体请参考IAM认证开发（AK/SK）。 IAM认证（双重认证） 在API请求中同时携带IAM认证和自定义认证的认证信息。 自定义认证 根据自定义认证的定义，在API请求参数中携带相关认证信息进行认证。 无认证 无需认证，可直接调用API。

SQL Server 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择SQL Server作为目标端数据源，具体配置如下。 表13 目标端SQL Server信息 参数 配置说明 目标端表 选择已有的表，单击“选择表字段”，可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。

PostgreSQL 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择PostgreSQL作为目标端数据源，具体配置如下。 表11 目标端PostgreSQL信息 参数 配置说明 是否自动建表 选择是否自动创建新的数据表。 目标表名称 仅当“是否自动建表”开启时显示。 填写自动建表的表名称。 目标端表 仅当“是否自动建表”关闭时显示。 选择待集成数据要写入的数据表，单击“选择表字段”，可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。

RabbitMQ 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择RabbitMQ作为目标端数据源，具体配置如下。 表12 目标端RabbitMQ信息 参数 配置说明 是否创建新队列 选择是否在源端RabbitMQ数据源创建一个新队列。 选择是，表示创建一个新队列，并把待集成数据发送到该队列。 选择否，表示把待集成数据发送到已有队列。 交换方式 选择RabbitMQ数据源中，交换器将消息转发到队列的路由方式。若“是否创建新队列”选择“是”，则选择新队列的交换方式；若“是否创建新队列”选择“否”，则选择已有目标队列一致的交换方式。 Direct：若消息的路由关键字与队列完全匹配，则消息会转发到队列。 Topic：若消息的路由关键字与队列模糊匹配，则消息会转发到队列。 Fanout：所有消息都会转发到队列。 Headers：若消息的Headers属性与队列完全匹配，则消息会转发到队列。 交换机名称 填写RabbitMQ数据源的交换器名称。若“是否创建新队列”选择“是”，则配置新队列的交换器名称；若“是否创建新队列”选择“否”，则配置已有目标队列一致的交换器名称。 路由关键字 仅当“交换方式”选择“Direct”或“Topic”时需要配置。 RabbitMQ把路由关键字作为判断条件，符合条件的消息将转发到队列。若“是否创建新队列”选择“是”，则配置新队列的路由关键字；若“是否创建新队列”选择“否”，则配置已有目标队列一致的路由关键字。 消息参数 仅当“交换方式”选择“Headers”时需要配置。 RabbitMQ把Headers作为判断条件，符合条件的消息将转发到新队列。若“是否创建新队列”选择“是”，则配置新队列的Headers键值对；若“是否创建新队列”选择“否”，则配置已有目标队列一致的Headers键值对。 队列名称 仅当“是否创建新队列”选择“是”时需要配置。 填写新队列的名称，自定义。 自动删除 当没有客户端连接队列时，队列是否自动删除。 持久化 队列中的消息是否持久化保存。 元数据 定义写入到目标端的JSON格式数据中，每一个底层key-value型数据元素。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d，元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } }} JSON格式数据中含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] }} 以上面JSON格式数据中不含数组的样例为例，目标端为RabbitMQ的配置示例如下图所示。 图5 RabbitMQ配置示例

Kafka 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择Kafka作为目标端数据源，具体配置如下。 表6 目标端Kafka信息 参数 配置说明 Topic名称 选择要写入数据的Topic名称。 Key 填写消息的Key值，表示消息存储在指定分区，可以当成有序消息队列使用。如果Key为空，则消息分布式存储在不同的消息分区。 元数据 定义写入到目标端Kafka消息的数据字段。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。 目标端为Kafka的配置示例如下图所示，id、name和info为要写入到Kafka数据源的数据字段。 图3 Kafka配置示例 写入Kafka的消息内容结构为{"id":"xx", "name":"yy", "info":"zz"}，其中xx、yy、zz为从源端传入的数据值。

OBS 返回页首 任务的“集成模式”为“定时”时，可以选择OBS作为目标端数据源，具体配置如下。 表9 目标端OBS信息 参数 配置说明 对象类型 选择写入OBS数据源的数据文件类型，当前支持“文本文件”和“二进制文件”。 编码方式 仅当“对象类型”选择“文本文件”时需要配置。 选择写入OBS数据源的数据文件编码方式，可选择“UTF-8”和“GBK”。 Path 填写数据要写入OBS数据源的对象名。Path的值不能以斜杠（/）结尾。 文件名前缀 填写文件名前缀，与“时间格式”配合使用，用于定义写入OBS数据源的文件名称。 时间格式 选择文件名中的时间格式，与“文件名前缀”配合使用，用于定义数据写入OBS数据源的文件名称。 文件类型 选择写入OBS数据源的数据文件格式，文本文件支持txt和csv格式，二进制文件支持xls和xlsx格式。 高级属性 仅当“文件类型”选择“csv”时需要配置。 选择是否配置文件的高级属性。 换行符 仅当“高级属性”选择“是”时需要配置。 填写文件内容的换行符，用于区分文件中的不同数据行。 使用包围符 仅当“高级属性”选择“是”时需要配置。 若选择“是”，则数据文件中的每个数据字段都会用双引号（"）包围。若数据字段中存在与分隔符、换行符相同的符号时，可以避免字段被错误的拆分为2个字段。例如源数据中有1个数据字段aa|bb，在集成到目标数据文件时设置了|为分隔符，如果选择使用包围符，则目标数据文件中该字段为"aa|bb"，不会被拆分为aa和bb两个字段。 字段分隔符 仅当“文件类型”选择“txt”或者“高级属性”选择“是”时需要配置。 填写文件内容的字段分隔符，用于区分每行数据中的不同字段。 是否添加文件头 选择是否为写入的数据文件添加文件头。文件头为添加在文件中的首行或者开头若干行信息，帮助识别和区分文件内容。 文件头 仅当“是否添加文件头”选择“是”时需要配置。 填写文件头的内容信息，多个文件头信息需要用英文逗号（,）隔开。 元数据 定义写入到目标端文件的数据字段。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。 目标端为OBS的配置示例如下图所示，id、name和info为要写入到OBS数据源的数据字段。 图4 OBS配置示例

DB2 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择DB2作为目标端数据源，具体配置如下。 表4 目标端DB2信息 参数 配置说明 目标端表 选择待集成数据要写入的数据表。选择数据表后，单击“选择表字段”，可以选择只需要写入的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。

MongoDB 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MongoDB作为目标端数据源，具体配置如下。 表8 目标端MongoDB信息 参数 配置说明 目标表 选择MongoDB数据源中要写入数据的数据集合（数据集合相当于关系型数据库的数据表）。选择数据集合后，单击“选择集合字段”，可以选择只需要写入的数据列字段。 是否upsert 写入目标端的数据是否进行更新插入，即是否在目标端数据集合中直接更新已有数据字段。 Upsert键 仅当“是否upsert”选择开启时需要配置。 选择要更新插入的数据字段。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。

Oracle 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择Oracle作为目标端数据源，具体配置如下。 表10 目标端Oracle信息 参数 配置说明 目标端表 选择已有的表，单击“选择表字段”，可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。 Oracle数据源作为目标端时，主键字段对应的源端字段如果为空，该条记录会默认抛弃，不会产生调度日志错误码。

ArtemisMQ 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择ArtemisMQ作为目标端数据源，具体配置如下。 表3 目标端ArtemisMQ信息 参数 配置说明 目标端类型 选择ArtemisMQ数据源的消息传递模型，可选择“Topic”和“Queue”。 目标端名称 填写待集成数据要发送到的Topic或Queue名称，请确保该Topic或Queue已存在。 扩展元数据 定义写入到目标端的JSON格式数据中，每一个底层key-value型数据元素。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d，元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } }} JSON格式数据中含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] }} 目标端为ArtemisMQ的配置与ActiveMQ的类似，配置示例可参考ActiveMQ配置示例。

MySQL 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MySQL作为目标端数据源，具体配置如下。 表7 目标端MySQL信息 参数 配置说明 目标端表 选择已有的表，单击“选择表字段”，可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。

DWS 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择DWS作为目标端数据源，具体配置如下。 表5 目标端DWS信息 参数 配置说明 目标端表 选择待集成数据要写入的数据表。选择数据表后，单击“选择表字段”，可以选择只需要写入的数据表字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。

概述 本节主要提供数据集成任务目标端信息的配置说明。目标端信息用于告诉ROMA Connect如何将待集成的数据写入到目标端，包括数据源、数据存储信息等。对于不同的数据源类型，其目标端信息配置有所差异。 支持“定时&实时”模式的目标端数据类型 仅支持“定时”模式的目标端数据类型 API ActiveMQ ArtemisMQ DB2 DWS Kafka MySQL MongoDB Oracle PostgreSQL RabbitMQ SQL Server OBS

API 任务的“集成模式”为“定时”或“实时”时，可以选择API作为目标端数据源，具体配置如下。 表1 目标端API信息 参数 配置说明 请求参数 构造API请求的参数定义，例如要集成到目标端的数据，需要在Body中携带。请根据API数据源的定义如实填写。 Params：请求URL中问号后面定义的参数，只能对参数传递固定值。Params参数的填写跟Body参数的form-data方式类似。 Headers：RESTful请求的消息头参数，只能对参数传递固定值。Headers参数的填写跟Body参数的form-data方式类似。 Body：RESTful请求消息体的底层参数，与“数据根字段”组成发给目标端API的Body消息体，源端数据通过Body参数传递到目标端。Body支持“form-data”和“raw”两种形式，具体请参见Body参数配置说明。 数据根字段 发送到目标端的JSON格式Body消息体中，参数字段集上层公共字段的路径。“数据根字段”与“请求参数”中配置的Body参数组成发给目标端API的Body消息体。 例如Body参数为：{"c":"xx","d":"xx"}，数据根字段定义a.b，则封装后的请求数据为{"a":{"b":{"c":"xx","d":"xx"}}}。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。 Body参数配置说明： form-data方式： “键”填写为API数据源定义的Body参数名称，“键”的值设置为空。“键”在Mapping信息中作为“目标字段名”，以此映射和传递源端字段的值。 图1 form-data方式 raw方式： raw方式持JSON、Array和嵌套JSON格式。填写发送给目标端API的JSON格式Body示例，ROMA Connect根据示例以及Mapping映射配置，替换示例中参数的值，最终将源端数据传递给目标端。raw方式的Body示例如下。 JSON格式： {"id": 1,"name": "name1"} Body填写JSON，数据根字段无需写值，Mapping信息填写字段名。 Array格式： {"record":[{"id": 1,"name": ""}]} 数据根字段写入JSONArray对象名，例如：record。Mapping信息填写字段名。 嵌套JSON格式： {"startDate":"","record":[{"id": 1,"name": ""}]} 数据根字段无需填写值，Mapping信息中，json字段直接填写字段名，jsonArray中的字段填写具体路径，例如：record[0].id

ActiveMQ 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择ActiveMQ作为目标端数据源，具体配置如下。 表2 目标端ActiveMQ信息 参数 配置说明 目标端类型 选择ActiveMQ数据源的消息传递模型，可选择“Topic”和“Queue”。 目标端名称 填写待集成数据要发送到的Topic或Queue名称，请确保该Topic或Queue已存在。 元数据 定义写入到目标端的JSON格式数据中，每一个底层key-value型数据元素。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式：通过列表形式填写源端和目标端的字段名，增加源端数据字段到目标端数据字段的映射关系。 脚本模式：通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d，元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } }} JSON格式数据中含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] }} 以上面JSON格式数据中不含数组的样例为例，目标端为ActiveMQ的配置示例如下图所示。 图2 ActiveMQ配置示例

转换证书为PEM格式 格式类型 转换方式（通过OpenSSL工具进行转换） CER/CRT 将“cert.crt”证书文件直接重命名为“cert.pem”。 PFX 提取私钥命令，以“cert.pfx”转换为“key.pem”为例。 openssl pkcs12 -in cert.pfx -nocerts -out key.pem 提取证书命令，以“cert.pfx”转换为“cert.pem”为例。 openssl pkcs12 -in cert.pfx -nokeys -out cert.pem P7B 证书转换，以“cert.p7b”转换为“cert.cer”为例。 openssl pkcs7 -print_certs -in cert.p7b -out cert.cer 将“cert.cer”证书文件直接重命名为“cert.pem”。 DER 提取私钥命令，以“privatekey.der”转换为“privatekey.pem”为例。 openssl rsa -inform DER -outform PEM -in privatekey.der -out privatekey.pem 提取证书命令，以“cert.cer”转换为“cert.pem”为例。 openssl x509 -inform der -in cert.cer -out cert.pem