检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对象存储服务 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。
url 存放在OBS的文档文件路径,私密文件推荐使用临时授权URL调用服务,如何获取OBS文件URL和临时授权URL请参见配置OBS访问权限。OBS的region要和请求服务的region保持一致,region不一致则OBS不可用,即使obs是公开访问权限。
数据源 接入HIVE数据源 接入LDAP数据源 接入IBM MQ数据源 接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS
如果创建组合任务个数过多,对数据库服务器、FDI插件进程均会产生资源消耗,所以建议对一个数据库,不要创建过多组合任务。 FDI支持单个CDC任务中配置多个Schema下的多个数据库表,实现统一的全量或增量采集能力。
10KB 磁盘类型:超高I/O SSD 设备集成规格在以下条件中测试得出: 上行消息 连接方式:内网连接 消息大小:512byte 消息目的端:MQS Topic 数据集成规格在以下条件中测试得出: 分别执行以下三个任务场景,每个场景3个并发任务: mysql-mysql任务场景 obs-obs
OBS 返回页首 任务的“集成模式”为“定时”时,可以选择OBS作为目标端数据源,具体配置如下。 表9 目标端OBS信息 参数 配置说明 对象类型 选择写入OBS数据源的数据文件类型,当前支持“文本文件”和“二进制文件”。 编码方式 仅当“对象类型”选择“文本文件”时需要配置。
说明: 仅适用于OBS、FTP、MRS HDFS数据源。例如,并发执行2个OBS任务,2个FTP任务,则4个任务累加起来的文件大小不能超过800M。
* MySQL 5.7、8.0 OBS 3 Oracle 11.2g(不推荐)、12.1g(不推荐)、12.2g、19c PostgreSQL 11 RabbitMQ 3.6.10 RocketMQ 4.8.0 Redis 3.0.7、4.0.11 SAP SAP Java Connector
若需要配置同步异常的数据存储,需要完成OBS数据源的接入配置,具体请参见接入OBS数据源。 配置基本信息 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
文件路径 填写FTP服务器中要访问的文件夹路径,例如“/data/FDI”。 文件名前缀 填写文件名前缀,与“文件名后缀”配合使用,用于定义写入FTP数据源的文件名称。
若需要配置同步异常的数据存储,需要完成OBS数据源的接入配置,具体请参见接入OBS数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
Obsolete Duplicate Invalid Later 表3 获取测试用例列表 参数 说明 项目ID 填写需求的项目ID。 表4 获取软件测试用例列表 参数 说明 项目ID 填写需求的项目ID。
服务集成的自定义后端支持的数据源相关信息如表2所示。
对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务DRS;对于关系型数据库、大数据、文本等数据迁移到数据湖的场景,建议使用云数据迁移CDM。
子服务创建失败。 请单击实例名称查看子服务的错误详细信息,如还不能解决,提供实例ID信息,并联系技术支持工程师协助解决。 400 ROMA.15018 Invalid OBS address. OBS地址无效。 提供实例ID信息,并联系技术支持工程师协助解决。
OBS 返回页首 任务的“集成模式”为“定时”时,可以选择OBS(对象存储服务)作为源端数据源,具体配置如下。 表9 源端OBS信息 参数 配置说明 Path 填写OBS数据源中,要获取数据所在的对象名。Path的值不能以斜杠(/)结尾。
通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 task 是 TaskBasicRequestBody object 任务简单信息。
通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 task 是 TaskBasicRequestBody object 任务简单信息。
数据源类型 读速率(MB/S) 写速率(MB/S) MRS Hive 5 2 MRS HDFS 5 2 DWS 5 2 MySQL 6 3 Oracle 6 2 Kafka 10 8 SQL Server 6 3 PostgreSQL 4 2 Gauss100 6 3 FTP 5 3 OBS
OBS 返回页首 任务的“集成模式”为“定时”时,可以选择OBS(对象存储服务)作为源端数据源。 在创建任务页面中配置源端信息。 表22 源端OBS信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。