华为云用户手册

  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“ArtemisMQ”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写ArtemisMQ的连接IP地址和端口号。 用户名 填写连接ArtemisMQ的用户名。 密码 填写连接ArtemisMQ的用户密码。 是否开启SSL认证 ROMA Connect与ArtemisMQ的连接是否使用SSL认证加密。 SSL认证方式 仅当“是否开启SSL认证”选择“是”时需要配置。 选择使用的SSL认证方式。 单向认证:仅客户端(ROMA Connect)对服务端(ArtemisMQ)进行身份认证。 双向认证:客户端(ROMA Connect)和服务端(ArtemisMQ)相互进行身份认证。 公钥库文件 仅当“是否开启SSL认证”选择“是”时需要配置。 SSL认证过程中,客户端使用的公钥库文件,与服务端使用的私钥相匹配。 公钥库密码 仅当“是否开启SSL认证”选择“是”时需要配置。 公钥库文件对应的密码。 私钥库文件 仅当“SSL认证方式”选择“双向认证”时需要配置。 SSL双向认证过程中,客户端使用的私钥库文件,与服务端使用的公钥相匹配。 私钥库密码 仅当“SSL认证方式”选择“双向认证”时需要配置。 私钥库文件对应的密码。 私钥库私钥密码 仅当“SSL认证方式”选择“双向认证”时需要配置。 私钥库文件中私钥对应的密码。若不填写,则私钥密码跟“私钥库密码”相同。 ArtemisMQ数据源的接入配置与ActiveMQ类似,配置示例可参考图1。 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 前提条件 已完成源端数据源和目标端数据源的接入,具体操作请参考接入数据源。 在源端数据源接入配置中,“数据库名”的大小写应与实际数据库名保持一致,否则会导致数据同步失败。 源端数据源已开启CDC功能,根据不同的数据源类型和CDC实现模式,具体操作请参考: 配置Oracle CDC(LogMiner)(推荐使用) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 源端数据源中CDC归档日志的保留时间需要大于集成任务解析的日志时间,否则会造成集成任务找不到归档日志而导致增量同步失败。因此,数据集成任务停止运行的时间不宜过长。建议最少保留2天以上的归档日志。 在首次执行数据同步期间,建议不要对源端数据库做DDL操作。 如果创建组合任务个数过多,对数据库服务器、FDI插件进程均会产生资源消耗,所以建议对一个数据库,不要创建过多组合任务。 FDI支持单个CDC任务中配置多个Schema下的多个数据库表,实现统一的全量或增量采集能力。 组合任务在运行过程中支持添加表,选择重启后可对新表执行全量采集或者增量采集。 源端Oracle数据源: 大文本类型和二进制类型的字段不支持同步。 表名为小写的数据表不支持同步。 无主键的数据表不支持同步。 如果表中数据较少,建议通过每天采集一次全量数据的方式进行采集,目前PostgreSQL类型表支持写入前清空数据。对于从Oracle数据库采集数据,但表中没有主键的情况,可以利用Oracle内部的RowId作为主键,RowId一般是使用数字、字母生成18位长度的字符串。 名称为数据库自身保留字的数据表或数据字段不支持同步。 truncate方式删除的数据不支持同步,整表方式删除的数据不支持同步。 源端MySQL数据源: 如果MySQL数据库使用的是MGR集群模式,在接入源端数据源时,必须直接连接主节点,不能连接route节点。 如果MySQL数据库中数据量特别巨大,在首次执行数据同步时可能会连接数据库超时,可以通过修改MySQL数据库的超时参数interactive_timeout和wait_timeout来规避。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“自定义数据源”页签下,选择要作为自定义数据源的连接器,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接器实例 选择该连接器下已发布的连接器实例。 其他配置参数 后续的其他配置参数,是基于您在创建连接器时所定义的数据源信息而定。 您可以在ROMA Connect控制台的“资产管理”页面中,在“连接器”页签下单击连接器名称,查看连接器的“数据源定义”信息。 以接入一个读取邮件数据的自定义数据源为例,该自定义数据源的接入配置示例如下图所示。 其中,email server、protocol、user和password参数为连接器中定义的数据源参数。 图1 自定义数据源配置示例 完成数据源接入配置后,单击“创建”,完成数据源的接入。
  • 概述 产品即设备模型,是同一类设备的服务属性集合。每个设备都有一个归属的产品,设备会继承产品的所有服务属性。 产品信息包含产品基本信息、物模型等信息,用于描述产品是什么,能做什么,可以对外提供哪些服务等。 基本信息 描述一款设备的基本信息,包括厂商名称、厂商ID、产品类型、产品型号、协议类型、设备类型等,其中产品型号和厂商ID共同标识一款产品。 例如,水表的产品型号为“NBIoTDevice”,厂商名称为“HZYB”,厂商ID为“TestUtf8ManuId”,设备类型为“WaterMeter”。 物模型 定义设备所具备的业务能力。将设备业务能力拆分成若干个物模型服务后,再定义每个物模型服务具备的属性、命令以及命令的参数。 以水表为例,水表具有多种能力,如上报水流、告警、电量、连接等各种数据,并且能够接受服务器下发的各种命令。在描述水表的能力时,可以将水表的能力划分五个物模型服务,每个物模型服务都需要定义各自的上报属性或命令,如下表所示。 表1 服务说明 物模型服务名 描述 基础(WaterMeterBasic) 用于定义水表上报的水流量、水温、水压等参数,如果需要命令控制或修改这些参数,还需要定义命令的参数。 告警(WaterMeterAlarm) 用于定义水表需要上报的各种告警场景的数据,必要的话需要定义命令。 电池(Battery) 定义水表的电压、电流强度等数据。 传输规则(DeliverySchedule) 定义水表的一些传输规则,必要的话需要定义命令。 连接(Connectivity) 定义水表连接参数。 具体定义多少个物模型服务可以非常灵活,如上面的例子可以将告警物模型服务拆分成水压告警物模型服务和流量告警物模型服务,也可以将告警物模型服务合入到水表基础物模型服务中。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“SAP”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表2 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 主机IP地址 填写SAP系统的应用服务器地址。 实例编号 填写SAP系统的应用服务器实例号,实例号由2位字母或数字组成。 客户编号 填写SAP系统中要连接的客户端号,客户端号由3位数字组成。 用户名 填写连接SAP客户端的用户名。 密码 填写连接SAP客户端的用户密码。 SAP数据源的接入配置示例如下图所示。 图1 SAP数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“OBS”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 地址 填写要接入的OBS桶的Endpoint地址,您可以在OBS控制台上获取。 端口 固定填写443。 Access Key ID 填写OBS桶拥有者的AK,具体获取方式请参考什么是我的凭证。 Secret Access Key 填写OBS桶拥有者的SK,具体获取方式请参考什么是我的凭证。 桶名称 填写要接入的OBS桶名称。 是否是https 固定为“是”,使用HTTPS传输协议。 OBS数据源的接入配置示例如下图所示。 图1 OBS数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 概述 ROMA Connect支持把SAP系统作为一个数据源,通过RFC的方式与SAP对接,并用于数据集成任务。在使用SAP数据源前,需要先接入数据源。接入的SAP数据源需要为数据集成任务开启SAP相关权限,具体见表1。 表1 SAP权限 对象类文本 授权对象 授权对象文本 授权 文本 值 跨应用授权对象 S_RFC 跨应用授权对象 RFC_TYPE 允许访问的 RFC 对象类型 FUNC 跨应用授权对象 S_RFC 跨应用授权对象 RFC_NAME 允许访问的 RFC 对象名称 DDIF_FIELDINFO_GET RFCPING RFC_GET_FUNCTION_INTERFACE /SAPDS/RFC_READ_TABLE2 SAPTUNE_GET_SUMMARY_STATISTIC TH_WPINFO RFC_FUNCTION_SEARCH_WITHGROUP 跨应用授权对象 S_RFC 跨应用授权对象 ACTVT 活动 16 跨应用授权对象 S_TCODE 事务开始时检查事务代码 TCD 事务代码 SM50 基础:管理 S_TABU_NAM 按通用标准工具访问表 ACTVT 活动 3 基础:管理 S_TABU_NAM 按通用标准工具访问表 表格 表名称 * 基础:管理 S_ADMI_FCD 系统授权 S_ADMI_FCD 系统管理功能 ST0R
  • 前提条件 在接入数据源前,请确保ROMA Connect实例与您的数据源所在网络互通。 若ROMA Connect实例与数据源在相同VPC内时,可直接访问数据源。 若ROMA Connect实例与数据源在同一区域的不同VPC内时,可通过创建VPC对等连接,将两个VPC的网络打通,实现同一区域跨VPC访问数据源。具体步骤请参考VPC对等连接说明。 若ROMA Connect实例与数据源在不同区域的不同VPC内时,可通过创建云连接实例并加载需要互通的VPC,将两个VPC的网络打通,实现跨区域跨VPC访问数据源。具体步骤请参考跨区域VPC互通。 若ROMA Connect实例与数据源通过公网互通,请确保ROMA Connect实例已绑定弹性IP。 若ROMA Connect实例跨VPC内网访问数据源时,需要完成实例到数据源所在子网的路由配置。
  • 接入数据源 根据数据源类型的不同,数据源的接入配置有所差异,具体如下表所示。接入数据源后,单击数据源名称可以查看数据源详情,数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用 数据复制服务 DRS;对于关系型数据库、大数据、文本等数据迁移到 数据湖 的场景,建议使用 云数据迁移 CDM。 表1 接入数据源 数据源接入配置 普通任务支持的集成模式(源端) 普通任务支持的集成模式(目标端) 组合任务支持的集成模式(源端) 组合任务支持的集成模式(目标端) 接入API数据源 定时 定时,实时 - - 接入ActiveMQ数据源 实时 定时,实时 - - 接入ArtemisMQ数据源 实时 定时,实时 - - 接入DB2数据源 定时 定时,实时 - - 接入DIS数据源 实时 定时,实时 - - 接入DWS数据源 定时 定时,实时 - - 接入DM数据源 定时 定时,实时 - - 接入Gauss100数据源 定时 定时,实时 - - 接入FTP数据源 定时 定时 - - 接入HL7数据源 实时 定时,实时 - - 接入HANA数据源 定时 定时,实时 定时 定时 接入LDAP数据源 定时 - - - 接入IBM MQ数据源 实时 定时,实时 - - 接入Kafka数据源 实时 定时,实时 - 实时 接入MySQL数据源 定时 定时,实时 定时,实时 定时,实时 接入MongoDB数据源 定时 定时,实时 - - 接入MQS数据源 实时 定时,实时 - - 接入 MRS Hive数据源 定时 定时,实时 - - 接入MRS HDFS数据源 定时 定时,实时 - - 接入MRS HBase数据源 定时 定时,实时 - - 接入MRS Kafka数据源 实时 定时,实时 - - 接入OBS数据源 定时 定时 - - 接入Oracle数据源 定时 定时,实时 定时,实时 定时,实时 接入PostgreSQL数据源 定时 定时,实时 定时,实时 定时,实时 接入Redis数据源 - 定时,实时 - - 接入RabbitMQ数据源 实时 定时,实时 - - 接入RocketMQ数据源 实时 定时,实时 - - 接入SAP数据源 定时 - - - 接入SNMP数据源 定时 - - - 接入SQL Server数据源 定时 定时,实时 定时,实时 定时,实时 接入 GaussDB (for MySQL)数据源 定时 定时,实时 - - 接入WebSocket数据源 实时 - - - 接入自定义数据源 定时 定时 - -
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“ActiveMQ”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 broker列表 填写ActiveMQ的broker连接地址,即主机IP地址和端口,多个broker地址可单击“添加地址”按钮进行添加。 用户名 填写连接ActiveMQ的用户名。 密码 填写连接ActiveMQ的用户密码。 是否开启SSL认证 ROMA Connect与ActiveMQ的连接是否使用SSL认证加密。 SSL认证方式 仅当“是否开启SSL认证”选择“是”时需要配置。 选择使用的SSL认证方式。 单向认证:仅客户端(ROMA Connect)对服务端(ActiveMQ)进行身份认证。 双向认证:客户端(ROMA Connect)和服务端(ActiveMQ)相互进行身份认证。 公钥库文件 仅当“是否开启SSL认证”选择“是”时需要配置。 SSL认证过程中,客户端使用的公钥库文件,与服务端使用的私钥相匹配。 公钥库密码 仅当“是否开启SSL认证”选择“是”时需要配置。 公钥库文件对应的密码。 私钥库文件 仅当“SSL认证方式”选择“双向认证”时需要配置。 SSL双向认证过程中,客户端使用的私钥库文件,与服务端使用的公钥相匹配。 私钥库密码 仅当“SSL认证方式”选择“双向认证”时需要配置。 私钥库文件对应的密码。 私钥库私钥密码 仅当“SSL认证方式”选择“双向认证”时需要配置。 私钥库文件中私钥对应的密码。若不填写,则私钥密码跟“私钥库密码”相同。 以SSL单向认证方式接入ActiveMQ为例,需要上传公钥库文件,该ActiveMQ数据源的接入配置示例如下图所示。 图1 ActiveMQ数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 使用流程 使用ROMA Connect进行数据集成的流程如下图所示。 图1 业务使用流程 已创建实例和集成应用。 接入数据源。 接入源端和目标端数据源,确保可以正常从源端读取数据以及向目标端写入数据。 创建集成任务。 数据集成任务规定了源端到目标端的数据集成规则,包括两端的数据类型、数据字段的映射规则、数据集成的过滤条件等。ROMA Connect支持创建两种数据集成任务: 创建数据集成任务:普通数据集成任务,有定时任务和实时任务两种集成模式,支持所有默认类型的数据源,对于数据库类型数据源,只支持源端一个数据表到目标端一个数据表的集成同步。 创建数据集成任务(组合任务):组合任务,通过CDC(Change Data Capture,数据变更抓取)实现源端到目标端数据的实时同步及增量同步,支持一个源端多个数据表到一个目标端多个数据表的集成同步。当前支持Oracle、MySQL、SQL Server等几种关系型数据库,具体请参见数据库的CDC配置。 启动集成任务。 定时任务启动后,ROMA Connect按照任务计划进行数据集成。首次执行时,会把所有符合条件的源端数据集成到目标端,后续根据任务配置,集成符合条件的全量数据或只集成增量数据。 实时任务启动后,ROMA Connect会不断检测源端数据变更。首次执行时,会把所有符合条件的源端数据集成到目标端,后续若检测到新增数据,则将其集成到目标端。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“API”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 地址 填写API的请求URL地址,例如“https://example.com/test”。 如果接入的API为服务集成中创建的API时,因为API的默认子 域名 每天最多只能访问1000次,建议不要使用API的默认子域名接入API,避免因超过访问次数限制后导致接入数据源失败。建议使用API的独立域名接入。 Site实例中,地址需要填写为APIC连接地址的IP,例如“192.100.0.10”。 请求方式 选择API的请求方式。 认证方式 选择API的请求认证方式。 None:无需认证,任何人都可以调用API。 Basic Auth:使用用户名和密码进行认证,认证通过后才允许调用API。 用户名:输入Basic Auth认证所需的用户名。 密码:输入Basic Auth认证所需的密码。 AppKey Auth:使用AppKey和AppSecret对请求进行签名,签名校验通过后才允许调用API。 APP认证方式:选择如下三种APP认证方式。 Default:使用AppKey和AppSecret对请求进行签名,签名校验通过后才允许调用API。APIC的API默认使用此方式。 Secret:使用AppKey和AppSecret直接进行认证。 Jwt:使用AppKey、AppSecret以及调用时的时间戳生成签名信息,通过AppKey、签名以及时间戳进行认证。 AppKey:输入AppKey Auth认证所需的AppKey。 AppSecret:输入AppKey Auth认证所需的AppSecret。 OAuth2.0:调用接口时提供请求的header中需携带Authorization信息,接口获取header中的secret信息,校验成功后才允许调用。 授权类型:Authorization中的Token信息需要通过Access Token Url获取,所以需要选择授权类型。 Access Token Url:输入OAuth2.0认证的Access Token Url。 客户端标识:输入OAuth2.0认证所需的客户端标识。 客户端密匙:输入OAuth2.0认证所需的客户端密匙。 Scope:输入访问 API 的 Scope(作用域),Scope 用于限制应用程序访问 API 的权限。 Secret:使用密码进行认证,请求的header中携带secret信息,接口获取header中的secret信息,校验成功后才允许调用。 Secret:输入Secret认证所需的Secret。 MD5:使用MD5对body体参数加密后得到验证信息sign,请求的body体中携带sign相关信息,接口获取后,校验成功后才允许调用。 Secret:输入MD5认证所需的Secret。 HMAC:使用HMAC对body体参数加密后得到验证信息sign,请求的body体中携带sign相关信息,接口获取后,校验成功后才允许调用。 Secret:输入HMAC认证所需的Secret。 定制化认证方式:Key Top Auth、Hik Vision Auth、li He Auth等其他认证方式是商业伙伴定制的认证方式,仅定制此类认证方式的商业伙伴使用。需要根据选择的定制认证方式,填写具体的认证参数。 以接入ROMA Connect发布的一个API为例,API的认证方式为“APP认证”,该API数据源的接入配置示例如下图所示。 其中,认证方式选择“APPKey Auth”,APP认证方式保持默认“Default”即可,AppKey和AppSecret为API所授权集成应用的Key和Secret。 图1 API数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查地址,请求方式,认证方式,AppKey、AppSecret是否填写正确,以及API是否可以正常访问,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 功能简介 数据集成FDI是ROMA Connect的数据集成组件,支持多种数据源之间的数据集成转换。使用ROMA Connect进行数据集成,有如下优势: 支持多种类型数据源 ROMA Connect支持接入关系型数据库、大数据存储、半结构化存储、消息系统等多种类型的数据源,具体支持的数据源类型请参见数据集成任务支持的数据源。 若ROMA Connect默认支持的数据源类型无法满足您的数据集成场景,您还可以自定义数据源,具体请参见接入自定义数据源。 支持灵活的集成模式 ROMA Connect支持定时和实时两种集成模式: 定时:根据制定的任务计划,定时获取源端数据并集成到目标端。 实时:实时将源端产生的数据集成到目标端。 两种集成模式分别所支持的数据源类型请参见接入数据源。 支持自定义数据映射规则 在进行源端到目标端的数据字段转换时,您可以自定义映射规则,例如将源数据的一个数据列复制出相同的多列数据,再集成到目标端。 支持不同网络环境间的数据集成 源端数据与目标端数据可以分别在不互通的两个网络环境中。例如源端数据在本地数据中心,目标端数据在云上VPC内,两者网络不互通,但FDI既能访问云上VPC内的数据源,也能访问本地数据中心的数据源,实现不同网络环境间的数据集成。 支持实时任务断点续传 支持在源端或者目标端故障恢复后,或者人工重启任务后,自动从上次中断的位置恢复执行,继续进行数据采集,保证数据不丢失。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“DB2”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择数据库的连接方式。 默认:使用系统默认方式连接数据库。 专业:使用JDBC连接字符串方式连接数据库。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写DB2数据库的JDBC格式连接串,例如:jdbc:db2://{hostname}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 数据源的接入配置示例如下所示。 默认方式的数据库连接配置示例: 图1 默认方式配置示例 专业方式的数据库连接配置示例: 图2 专业方式配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 概述 通过在ROMA Connect中创建数据集成任务,您可以实现不同数据源之间的数据集成转换。ROMA Connect根据您在数据集成任务中的配置,决定如何将指定的源端的一个数据表中的数据集成到目标端的一个数据表中。 数据集成任务的配置分为任务基本信息、制定计划(可选)、源端信息、目标端信息、Mapping信息和异常数据存储(可选)、任务完成后执行(可选)几个部分,本节及接下来的几个小节将对这几部分分别进行介绍。本节主要提供数据集成任务基本信息和任务计划的配置说明。
  • (可选)配置任务计划 如果任务的“集成模式”选择了“定时”,则您还需要为定时任务配置任务计划,告知ROMA Connect何时执行任务。 在创建数据集成任务后,如需修改任务计划,请先停止任务。 如果要集成同步的数据量较大,且任务的执行时间间隔较短,会出现上一次任务调度还没有执行完,下一次任务调度时间点已到的情况。此时ROMA Connect会暂停执行新的调度,等待上一次调度执行完成。 在创建任务页面中配置任务计划。ROMA Connect提供了两种配置任务计划的方式: 简单界面配置 界面配置当前仅支持配置简单的周期循环计划,例如每隔几分钟、几小时或几天执行一次。 图1 简单界面配置 表2 简单界面配置 参数 配置说明 QuartZ Cron表达式 选择“不使用”。 单位 任务执行周期的单位,与“调度周期”配合使用,可设置为“分”、“时”、“日”、“周”或“月”。 调度周期 任务执行周期,根据“单位”选择的不同,可设置值的范围不同。 例如“单位”选择“日”,“调度周期”设置为“1”,则表示数据集成任务每天执行一次。 生效时间 任务的开始执行时间。 描述 填写任务计划的描述信息。 QuartZ Cron表达式配置 QuartZ Cron表达式支持配置灵活多样的任务计划,例如每天凌晨1点到凌晨4点之间,每隔15分钟执行一次任务。这种计划,简单界面配置无法实现,必须通过QuartZ Cron表达式实现。 0 0/15 1-4 * * ? 图2 QuartZ Cron表达式配置 表3 QuartZ Cron表达式配置 参数 配置说明 QuartZ Cron表达式 选择“使用”。 表达式 任务计划对应的QuartZ Cron表达式,ROMA Connect当前仅支持分钟级的计划,故表达式中的“秒”固定为“0”。关于QuartZ Cron表达式的使用详解,请参考附录:QuartZ Cron表达式配置说明。 例如每天凌晨1点到凌晨4点之间,每隔15分钟执行一次任务,该计划对应的QuartZ Cron表达式为: 0 0/15 1-4 * * ? 生效时间 任务的开始执行时间。 描述 填写任务计划的描述信息。 完成任务计划配置后,继续进行下一部分配置,配置源端数据信息。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MySQL”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择连接数据库模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 如果业务写入的数据的时区与MySQL数据库内部的缺省时区不一致,需要使用JDBC方式连接数据库,并且JDBC连接串需要指定时区。例如:jdbc:mysql://10.10.10.1:3306/testfdi?serverTimezone=GMT%2B8 如果业务写入的数据的编码字符集与 MySQL数据库内部的缺省编码字符集不一致,需要使用JDBC方式连接数据库,并且JDBC连接串需要指定编码字符集。例如:jdbc:mysql://10.10.10.1:3306/testfdi?characterEncoding=utf8 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 编码格式 仅当“连接模式”选择“默认”时可配置。 数据库所使用的编码格式。 超时时间 仅当“连接模式”选择“默认”时可配置。 连接数据库的超时时间,单位为秒。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写MySQL数据库的JDBC格式连接串,例如:jdbc:mysql://{hostname}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 数据源的接入配置示例如下所示。 默认方式的数据库连接配置示例: 图1 默认方式配置示例 专业方式的数据库连接配置示例: 图2 专业方式配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 配置Mapping信息 在创建任务页面中配置Mapping信息,有自动配置和手动配置两种方式。 自动配置Mapping 若源端信息与目标端信息中都定义了元数据,可使用“自动Mapping”方式配置Mapping信息。 单击“自动Mapping”,源端和目标端数据字段间的映射规则自动建立。如果两端的数据表字段不一致,您可以单击映射关系右侧的“编辑”,更改源端或目标端数据字段,也可单击下方的“添加字段映射”,增加源端数据字段到目标端数据字段的映射关系。 图1 自动Mapping 手动配置Mapping 用户可以手动添加源端数据字段与目标端数据字段的映射规则,该方式适用于所有数据类型的集成场景。可以通过键值对输入或文本框输入两种方式配置Mapping映射规则。 键值对输入方式 界面默认为键值对输入方式,单击“添加字段映射”,逐条增加源端数据字段到目标端数据字段的映射规则。 文本框输入方式 单击“文本框输入”,在文本框中输入映射规则脚本,输入格式如下: [{"sourceKey": "a1","targetKey": "b1"},{"sourceKey": "a2","targetKey": "b2"}] 其中,sourceKey的值为源端数据字段名,targetKey的值为目标数据字段名。以上示例表示源端字段a1映射到目标端字段b1,源端字段a2映射到目标端字段b2。 完成Mapping信息配置后,若需要配置异常数据存储、任务完成后执行,请前往配置异常数据存储(可选)、配置任务完成后执行(可选);否则可直接单击“保存”,完成数据集成任务的配置。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“RabbitMQ”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写RabbitMQ的连接IP地址和端口号。 用户名 填写连接RabbitMQ的用户名。 密码 填写连接RabbitMQ的用户密码。 虚拟主机 填写要连接的RabbitMQ虚拟主机名称。 是否开启SSL认证 ROMA Connect与RabbitMQ的连接是否使用SSL认证加密。 SSL认证协议 仅当“是否开启SSL认证”选择“是”时需要配置。 选择SSL认证所使用的协议,固定为“TLS”。 公钥库文件 仅当“是否开启SSL认证”选择“是”时需要配置。 SSL认证过程中,客户端(ROMA Connect)使用的公钥库文件,与服务端(RabbitMQ)使用的私钥相匹配。 公钥库密码 仅当“是否开启SSL认证”选择“是”时需要配置。 公钥库文件对应的密码。 RabbitMQ数据源的接入配置与ActiveMQ类似,配置示例可参考ActiveMQ数据源接入配置示例。 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • MRS Hive分区字段映射配置说明 当目标端数据类型为MRS Hive时,支持分区字段的写入,可以根据实际需要进行配置。 分区字段对应的“源端字段名”需要手动填写,填写要求如下: 格式:{分区字段来源字段}.format("{字符串解析格式}","{分区字段解析格式}",{year|month|day|hour|minute|second},{偏移值}) “{分区字段来源字段}”为String类型时,“{字符串解析格式}”必须填写。 “{分区字段来源字段}”为Timestamp类型时,“{字符串解析格式}”可为空。 “{分区字段来源字段}”为空时,使用数据写入目标端的时间来作为分区字段。 图2 MRS Hive分区字段映射 例如,目标端分区字段为yyyymm,以源端字段createtime作为分区字段来源字段,createtime字段的时间格式为ddMMyyyy(日月年),目标端分区字段格式为yyyyMM(年月),分区字段的值比源端字段的值增加1个小时,则Mapping信息中,分区字段yyyymm的“源端字段名”填写如下: createtime字段为String类型时,填写为:createtime.format("ddMMyyyy","yyyyMM",hour,1) createtime字段为Timestamp类型时,填写为:createtime.format("","yyyyMM",hour,1) 若使用数据写入目标端的时间来作为分区字段时,填写为:.format("","yyyyMM",hour,1)
  • 约束与限制 Oracle数据库需具备OGG License(无需安装OGG)。 若Oracle数据库为主从模式,不支持使用Oracle从库。 不支持采集二进制类型的字段,例如:BINARY,VARBINARY,TINYBLOB,BLOB,MEDIUMBLOB,LONGBLOB。 开启日志归档功能需重启数据库,重启期间将导致业务中断,请谨慎操作。 归档日志会占用较多的磁盘空间,若磁盘空间满了会影响业务,请定期清理过期归档日志。 一个XStream出站服务器只能在一个FDI集成任务中使用,若该数据库需要用于多个集成任务,需创建多个XStream出站服务器。
  • 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式,本章节主要介绍如何为Oracle数据库开启XStream模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“SQL Server”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择连接数据库模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写SQL Server数据库的JDBC格式连接串,例如:jdbc:sqlserver://{hostname}:{port};DatabaseName={dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 SQL Server数据源的接入配置与DB2类似,配置示例可参考DB2数据源接入配置示例。 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“Oracle”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 是否开启实时 选择是否开启数据库的实时模式。若该数据源用于数据集成组合任务的源端数据源时,需要选择“是”。 CDC模式 仅当“是否开启实时”选择“是”时需要配置。 选择数据库的CDC模式。 XStream:表示使用Oracle数据库XStream模式的CDC功能。 LogMiner:表示使用Oracle数据库LogMiner模式的CDC功能。 出站服务器 仅当“CDC模式”选择“XStream”时需要配置。 填写的出站服务器名称,需要与在配置Oracle CDC(XStream)中设置的出站服务器一致。 数据库模式 仅当“CDC模式”选择“LogMiner”时需要配置。 填写要同步数据表所在的schemas名称。若不填写,则默认使用数据库的用户名。 可插拔数据库 仅当“是否开启实时”选择“是”时需要配置。 填写要同步数据表所在的PDB名称。 连接模式 选择连接数据库模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 多地址:用户可以输入多个数据库的IP、Port,由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 数据库地址列表 仅当“连接模式”选择“多地址”时需要配置。 填写 分布式数据库 系统的连接地址和端口号,单击“添加地址”添加多个地址和端口号。 服务名 仅当“连接模式”选择“多地址”时需要配置。 填写分布式数据库系统的服务名。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写Oracle数据库的JDBC格式连接串,例如:jdbc:oracle:thin:@(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST={hostname})(PORT={port}))(CONNECT_DATA=(SERVER=DEDICATED)(SERVICE_NAME={servicename})))。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {servicename}为要接入的Oracle数据库服务名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 对于普通数据集成任务,Oracle数据源的接入配置与DB2类似,配置示例可参考DB2数据源接入配置示例。 对于组合任务,以接入Oracle的非CDB数据库为例,CDC模式为LogMiner,该Oracle数据源的接入配置示例如下图所示。 图1 Oracle数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 数据API支持的数据源 表2 数据API支持的数据源 数据源类型 支持的版本 Gauss100 FusionInsight _LibrA_V100R003C20、FusionInsight_LibrA_V300R001C00 MySQL 5.6,5.7,8.0 MRS HBase MRS 3.*.* MRS Hive MRS 3.*.* Oracle 11g PostgreSQL 11.0 SQL Server 2012、2014、2016、2017 DWS 1.3.4 HIVE 2.3.2 HANA 1.0 MongoDB 3.4 Redis 2.8.x,3.x.x
  • 数据集成任务支持的数据源 表1中为数据集成所支持的全量数据源类型,具体每种数据源所支持的任务模式和集成模式请参见接入数据源。 连接数据源的用户需要有创建连接数据库会话的权限。 表1 数据集成支持的数据源 数据源类型 支持的版本 API 无版本号 ActiveMQ 5.15.9 ArtemisMQ 2.9.0 DB2 9.7 DIS 无版本号 DWS 1.3.4 DM 无版本号 FTP 无版本号 Gauss100 FusionInsight_LibrA_V100R003C20、FusionInsight_LibrA_V300R001C00 HL7 2.1、2.2、2.3、2.3.1、2.4、2.5、2.6、2.7、2.8、2.8.1 HANA 1.0 IBM MQ 9.1 Kafka 1.1.0、2.3.0 LDAP 无版本号 MongoDB 3.4 MQS 无版本号 MRS Hbase MRS 3.*.* MRS HDFS MRS 3.*.* MRS Hive MRS 3.*.* MRS Kafka MRS 3.*.* MySQL 5.7、8.0 OBS 3 Oracle 11.2g(不推荐)、12.1g(不推荐)、12.2g、19c PostgreSQL 11 RabbitMQ 3.6.10 RocketMQ 4.8.0 Redis 3.0.7、4.0.11 SAP SAP Java Connector 3.0.19 SNMP v1、v2、v3 SQL Server 2014、2019、2022 GaussDB(for MySQL) 2.0.15.6 WebSocket 无版本号 自定义数据源 无版本号
  • 概述 数据集成任务创建后,“任务状态”为“停止”状态,此时任务不会执行,需先启动任务。 定时任务启动后,ROMA Connect按照任务计划进行数据集成。首次执行时,会把所有符合条件的源端数据集成到目标端,后续根据任务配置,集成符合条件的全量数据或只集成增量数据。 实时任务启动后,ROMA Connect会不断检测源端数据变更。首次执行时,会把所有符合条件的源端数据集成到目标端,后续若检测到新增数据,则将其集成到目标端。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“Kafka”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写Kafka的连接地址和端口号。 如果Kafka有多个副本(Broker),可单击“添加地址”填写多个连接地址。 是否SASL_SSL ROMA Connect与Kafka的连接是否使用SASL_SSL认证加密。 用户名/应用Key 仅当“是否SASL_SSL”选择“是”时需要配置。 SASL_SSL认证所使用的用户名,如果使用ROMA Connect的消息集成作为Kafka数据源,则用户名为集成应用的Key。 密码/应用Secret 仅当“是否SASL_SSL”选择“是”时需要配置。 SASL_SSL认证所使用的用户密码,如果使用ROMA Connect的消息集成作为Kafka数据源,则密码为集成应用的Secret。 以开启SASL_SSL为例,数据源的接入配置示例如下图所示。 图1 Kafka数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“PostgreSQL”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择连接数据库模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写PostgreSQL数据库的JDBC格式连接串,例如:jdbc:postgresql://{hostname}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 PostgreSQL数据源的接入配置与DB2类似,配置示例可参考DB2数据源接入配置示例。 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“DIS”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 通道名称 填写要接入的DIS通道名称。 数据类别 选择DIS通道的源数据类型,当前仅支持选择“JSON”类型。 配置类别 选择DIS通道的配置类别。 基础:默认调用当前用户在当前区域所创建的DIS通道。 高级:可调用不同用户和不同区域的DIS通道。 AK 填写DIS通道所属用户的访问密钥ID,AK/SK是用户在云服务平台的长期身份凭证,您可以参考访问密钥获取AK/SK。 SK 填写DIS通道所属用户的秘密访问密钥,AK/SK是用户在云服务平台的长期身份凭证,您可以参考访问密钥获取AK/SK。 Endpoint 仅当“配置类别”选择“高级”时需要配置。 填写DIS通道所在的终端节点,格式如:https://dis.region1.example.com,您可以参考地区和终端节点获取终端节点。 Region 仅当“配置类别”选择“高级”时需要配置。 填写DIS通道所在的区域。 Project ID 仅当“配置类别”选择“高级”时需要配置。 填写DIS通道所在的项目ID,您可以参考API凭证获取项目ID。 以接入其他区域的DIS为例,该DIS数据源的接入配置示例如下图所示。 图1 DIS数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全