云服务器内容精选

  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MySQL”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择连接数据库模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 如果业务写入的数据的时区与MySQL数据库内部的缺省时区不一致,需要使用JDBC方式连接数据库,并且JDBC连接串需要指定时区。例如:jdbc:mysql://10.10.10.1:3306/testfdi?serverTimezone=GMT%2B8 如果业务写入的数据的编码字符集与 MySQL数据库内部的缺省编码字符集不一致,需要使用JDBC方式连接数据库,并且JDBC连接串需要指定编码字符集。例如:jdbc:mysql://10.10.10.1:3306/testfdi?characterEncoding=utf8 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 编码格式 仅当“连接模式”选择“默认”时可配置。 数据库所使用的编码格式。 超时时间 仅当“连接模式”选择“默认”时可配置。 连接数据库的超时时间,单位为秒。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写MySQL数据库的JDBC格式连接串,例如:jdbc:mysql://{hostname}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 数据源的接入配置示例如下所示。 默认方式的数据库连接配置示例: 图1 默认方式配置示例 专业方式的数据库连接配置示例: 图2 专业方式配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MQS”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 选择当前实例下MQS的内网连接地址。 是否SSL ROMA Connect与MQS的连接是否使用SSL认证加密。 当MQS开启了SSL且VPC内网明文访问未开启时,请选择“是”,其他情况下选择“否”。 SSL用户名/应用Key 仅当“是否SSL”选择“是”时需要配置。 SSL认证所使用的用户名,如果使用ROMA Connect的消息集成作为MQS数据源,则用户名为集成应用的Key。 SSL密码/应用Secret 仅当“是否SSL”选择“是”时需要配置。 SSL认证所使用的用户密码,如果使用ROMA Connect的消息集成作为MQS数据源,则密码为集成应用的Secret。 以开启SSL为例,数据源的接入配置示例如下图所示。 图1 MQS数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“SQL Server”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择连接数据库模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写SQL Server数据库的JDBC格式连接串,例如:jdbc:sqlserver://{hostname}:{port};DatabaseName={dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 SQL Server数据源的接入配置与DB2类似,配置示例可参考DB2数据源接入配置示例。 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“RocketMQ”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写RocketMQ的连接IP地址和端口号。 数据源的接入配置示例如下所示。 图1 RocketMQ数据源配置示例 RocketMQ数据源不支持端口映射的方式接入。 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“ActiveMQ”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 broker列表 填写ActiveMQ的broker连接地址,即主机IP地址和端口,多个broker地址可单击“添加地址”按钮进行添加。 用户名 填写连接ActiveMQ的用户名。 密码 填写连接ActiveMQ的用户密码。 是否开启SSL认证 ROMA Connect与ActiveMQ的连接是否使用SSL认证加密。 SSL认证方式 仅当“是否开启SSL认证”选择“是”时需要配置。 选择使用的SSL认证方式。 单向认证:仅客户端(ROMA Connect)对服务端(ActiveMQ)进行身份认证。 双向认证:客户端(ROMA Connect)和服务端(ActiveMQ)相互进行身份认证。 公钥库文件 仅当“是否开启SSL认证”选择“是”时需要配置。 SSL认证过程中,客户端使用的公钥库文件,与服务端使用的私钥相匹配。 公钥库密码 仅当“是否开启SSL认证”选择“是”时需要配置。 公钥库文件对应的密码。 私钥库文件 仅当“SSL认证方式”选择“双向认证”时需要配置。 SSL双向认证过程中,客户端使用的私钥库文件,与服务端使用的公钥相匹配。 私钥库密码 仅当“SSL认证方式”选择“双向认证”时需要配置。 私钥库文件对应的密码。 私钥库私钥密码 仅当“SSL认证方式”选择“双向认证”时需要配置。 私钥库文件中私钥对应的密码。若不填写,则私钥密码跟“私钥库密码”相同。 以SSL单向认证方式接入ActiveMQ为例,需要上传公钥库文件,该ActiveMQ数据源的接入配置示例如下图所示。 图1 ActiveMQ数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“DWS”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写DWS集群中数据库的连接IP地址和端口号。 数据库名 填写DWS集群中要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 DWS数据源的接入配置示例如下图所示。 图1 DWS数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 接入数据源 根据数据源类型的不同,数据源的接入配置有所差异,具体如下表所示。接入数据源后,单击数据源名称可以查看数据源详情,数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用 数据复制服务 DRS;对于关系型数据库、大数据、文本等数据迁移到 数据湖 的场景,建议使用 云数据迁移 CDM。 表1 接入数据源 数据源接入配置 普通任务支持的集成模式(源端) 普通任务支持的集成模式(目标端) 组合任务支持的集成模式(源端) 组合任务支持的集成模式(目标端) 接入API数据源 定时 定时,实时 - - 接入ActiveMQ数据源 实时 定时,实时 - - 接入ArtemisMQ数据源 实时 定时,实时 - - 接入DB2数据源 定时 定时,实时 - - 接入DIS数据源 实时 定时,实时 - - 接入DWS数据源 定时 定时,实时 - - 接入DM数据源 定时 定时,实时 - - 接入Gauss100数据源 定时 定时,实时 - - 接入FTP数据源 定时 定时 - - 接入HL7数据源 实时 定时,实时 - - 接入HANA数据源 定时 定时,实时 定时 定时 接入LDAP数据源 定时 - - - 接入IBM MQ数据源 实时 定时,实时 - - 接入Kafka数据源 实时 定时,实时 - 实时 接入MySQL数据源 定时 定时,实时 定时,实时 定时,实时 接入MongoDB数据源 定时 定时,实时 - - 接入MQS数据源 实时 定时,实时 - - 接入 MRS Hive数据源 定时 定时,实时 - - 接入MRS HDFS数据源 定时 定时,实时 - - 接入MRS HBase数据源 定时 定时,实时 - - 接入MRS Kafka数据源 实时 定时,实时 - - 接入OBS数据源 定时 定时 - - 接入Oracle数据源 定时 定时,实时 定时,实时 定时,实时 接入PostgreSQL数据源 定时 定时,实时 定时,实时 定时,实时 接入Redis数据源 - 定时,实时 - - 接入RabbitMQ数据源 实时 定时,实时 - - 接入RocketMQ数据源 实时 定时,实时 - - 接入SAP数据源 定时 - - - 接入SNMP数据源 定时 - - - 接入SQL Server数据源 定时 定时,实时 定时,实时 定时,实时 接入 GaussDB (for MySQL)数据源 定时 定时,实时 - - 接入WebSocket数据源 实时 - - - 接入自定义数据源 定时 定时 - -
  • 前提条件 在接入数据源前,请确保ROMA Connect实例与您的数据源所在网络互通。 若ROMA Connect实例与数据源在相同VPC内时,可直接访问数据源。 若ROMA Connect实例与数据源在同一区域的不同VPC内时,可通过创建VPC对等连接,将两个VPC的网络打通,实现同一区域跨VPC访问数据源。具体步骤请参考VPC对等连接说明。 若ROMA Connect实例与数据源在不同区域的不同VPC内时,可通过创建云连接实例并加载需要互通的VPC,将两个VPC的网络打通,实现跨区域跨VPC访问数据源。具体步骤请参考跨区域VPC互通。 若ROMA Connect实例与数据源通过公网互通,请确保ROMA Connect实例已绑定弹性IP。 若ROMA Connect实例跨VPC内网访问数据源时,需要完成实例到数据源所在子网的路由配置。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“SNMP”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写SNMP的连接IP地址和端口号。 网络协议 选择SNMP所使用的网络协议,可选择“UDP”和“TCP”。 版本号 选择SNMP的版本号。 0:表示SNMPv1 1:表示SNMPv2 3:表示SNMPv3 Community 仅当“版本号”选择“0”或“1”时需要配置。 填写SNMP团体名,用于访问SNMP管理代理的身份认证,相当于访问密码。 安全用户名 仅当“版本号”选择“3”时需要配置。 填写连接SNMP使用的安全名称。 上下文名称 仅当“版本号”选择“3”时需要配置。 填写SNMP中要访问的上下文名称。 安全等级 仅当“版本号”选择“3”时需要配置。 选择SNMP使用的安全等级。 1:表示无认证无加密 2:表示有认证无加密 3:表示有认证有加密 认证协议 仅当“安全等级”选择“2”或“3”时需要配置。 选择连接SNMP所使用的认证协议,可选择“MD5”和“SHA1”。 认证秘钥 仅当“安全等级”选择“2”或“3”时需要配置。 填写连接SNMP的认证密钥。 加密协议 仅当“安全等级”选择“3”时需要配置。 选择连接SNMP所使用的加密协议,可选择“DES”和“TRIDES”。 加密秘钥 仅当“安全等级”选择“3”时需要配置。 填写连接SNMP的加密密钥。 以接入SNMPv3为例,该SNMP数据源的接入配置示例如下图所示。 图1 SNMP数据源配置示例 单击“创建”,完成数据源的接入。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“LDAP”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 URL 填写服务器的IP地址和端口,格式为:ldap://ip:port。 ip为数据库的访问地址。 port为数据库的访问端口。 安全认证类型 数据库的安全认证类型,目前仅支持“Simple”。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 数据源的接入配置示例如下图所示。 图1 LDAP数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源端的某些数据符合集成条件,但因为网络抖动或数据转换异常等原因,无法顺利集成到目标端数据源,则ROMA Connect可以将这些数据以文本文件的形式存储在OBS中。 如果需要配置“异常数据存储”,请展开“异常数据存储”模块参照表1进行配置,如果不需要配置,请将“异常数据存储”模块折叠,否则影响任务保存。
  • 配置异常数据存储 在配置异常数据存储前,您需要提前完成OBS数据源的接入配置,具体请参见接入OBS数据源。 在创建任务页面中配置异常数据存储信息。 表1 异常数据存储信息 参数 配置说明 集成应用 选择OBS数据源所属的集成应用。 源端数据类型 当前仅支持选择“OBS”。 数据源名称 选择已配置的OBS数据源。 Path 填写异常数据要存储到OBS数据源的对象名。Path的值不能以斜杠(/)结尾。 配置完成后,若需要配置任务完成后执行,请前往配置任务完成后执行(可选);否则可直接单击“保存”,完成数据集成任务的配置。
  • 创建集成应用 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“集成应用”,单击页面右上角的“创建集成应用”。 在创建集成应用弹窗填写应用信息,完成后单击“确认”。 参数 配置说明 名称 自定义应用名称。 描述 填写对该应用的描述内容,选填项。 Key 集成应用的Key,若未指定则由系统自动生成。 Secret 集成应用的Secret,若未指定则由系统自动生成。
  • 查看和编辑集成应用 在实例控制台的“集成应用”页面中,单击集成应用的名称,可查看该集成应用的详细信息。 图1 查看应用 表1 集成应用信息说明 内容 内容说明 基本信息 集成应用的基本参数信息,包括名称、描述、所属、创建时间、Key和Secret,其中Key和Secret可用于该集成应用下资源的访问认证。 您可以根据实际需要修改“名称”和“描述”信息。 您可以单击Secret右侧的“”查看Secret信息。 您可以根据实际需要重置密码,重置后旧密码自动失效。 对于账号用户,集成应用的所属均为“自建应用”。对于 IAM 用户,自己创建的集成应用为“自建应用”,其他IAM用户创建并授权的集成应用为“授权应用”。 对象 可查看和管理本集成应用下的资源,包括数据源、API、Topic和设备,您可对本集成应用下的资源进行创建、编辑、删除等操作,具体操作指导请参考数据源、API、Topic和设备的使用指导。
  • 概述 ROMA Connect通过集成应用来实现同一实例内不同用户间的资源隔离。用户在ROMA Connect实例中创建的资源(如数据源、API、Topic、产品等)都要有归属的集成应用,非管理员权限(Tenant Administrator权限)的IAM用户默认只能查看和管理自己创建的集成应用和资源,无法查看其他IAM用户创建的集成应用和资源,管理员权限的用户可查看和管理其下所有IAM用户所创建的资源。 如果需要把自己创建的资源共享给其他IAM用户查看和使用,可通过将集成应用授权给其他IAM用户的方式实现,具体操作可查看配置集成应用授权。