检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
时间已经不在增量采集的时间段之内,所以部分数据采集不到。 解决方案 调整源端数据库的updatetime时间或任务配置时使用createtime作为时间戳字段。 父主题: 数据集成任务
创建MySQL连接器 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“MySql”连接器。 在弹窗中配置连接器信息,完成后单击“测试连接”。 参数 说明 连接名称 填写连接器实例名称MySql_test。 区域 选择区域。
配置MySQL CDC(Binlog) 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为MySQL数据库开启Binlog模式CDC功能。
仅当“连接模式”选择“默认”时可配置。 数据库所使用的编码格式。 超时时间 仅当“连接模式”选择“默认”时可配置。 连接数据库的超时时间,单位为秒。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写MySQL数据库的JDBC格式连接串,例如:jdbc:mysql://{hostname}:{port}/{dbname}。
删除记录:该动作用于删除MySQL数据库指定表中的一行或多行数据,可通过指定过滤条件来选择需要删除的行。 自定义SQL:该动作用于使用原生SQL语句实现MySQL数据库的操作。 配置参数 获取记录 表1 获取记录配置参数 参数 说明 表名 选择或者填写要查询的数据库中的表名。 字段名 选
接入GaussDB(for MySQL)数据源 概述 ROMA Connect支持把GaussDB(for MySQL)数据库作为一个数据源,并用于数据集成任务。在使用GaussDB(for MySQL)数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成
MySQL MySQL连接器用于连接MySQL数据库,负责建立和维护应用程序和MySQL数据库之间的连接,并管理数据的传输。 MySQL是一个流行的开源关系型数据库,广泛用于Web应用程序的后端。它支持多种操作系统,包括Windows、Linux、Unix和macOS X。MyS
API指标统计值查询-最近一段时间 功能介绍 根据API的id和最近的一段时间查询API被调用的次数,统计周期为1分钟。查询范围一小时以内,一分钟一个样本,其样本值为一分钟内的累计值。 为了安全起见,在服务器上使用curl命令调用接口查询信息后,需要清理历史操作记录,包括但不限于“~/
Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 原因分析 从源端数据源视图中查看,视图定义语句使用了union,但是union两边字段编码不一致,须统一编码。 解决方案 建议使用CONVERT转换为统一编码,如:CONVERT
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
参考创建数据集成任务(普通任务)接入源端自定义数据源和目标端MySQL数据源,并创建定时任务。完成后运行任务,可以将源端自定义的数据源中的数据,迁移到MySQL数据源的表中。 执行任务后,FDI会根据自定义连接实例定义的连接地址(http://127.0.0.1:19091/mysql)去读取或写入数据,读接口加
GAUSS100:Gauss100数据源 OPENGAUSS:GaussDB数据源 MYSQL:MySQL数据源 ORACLE:Oracle数据源 POSTGRESQL:PostgreSQL数据源 SQLSERVER:SQL Server数据源 TAURUS:TaurusDB数据源 DIS:DIS数据源
数据同步验证 连接Mysql数据源,在源端数据表中插入一条数据。 连接Oracle数据源,根据定时器设置的同步时间间隔等待一分钟,在目标端数据表中查看源端插入的数据是否已同步到Oracle。 父主题: 定时同步MySQL中的数据到Oracle
在左侧导航栏选择“资产目录”,在右侧搜索框搜索“定时同步”,选择“定时同步MySql中的数据到Oracle”模板,单击“使用模板”。 本实践中MySQL数据源表中的字段与Oracle中数据目标表中的字段类型保持一致。 将MySQL数据表中的aa、bb字段同步到Oracle数据表中的TEST_INTEGER、TEST
编码格式 填写数据库的编码格式。 超时时间 填写连接数据库的超时时间。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 连接成功后,单击“确定”,保存连接器。 父主题: 定时同步MySQL中的数据到Oracle
实例节点出现故障的情况下,单副本Topic查询消息时会出现内部错误问题,因此不建议使用单副本Topic。 老化时间(小时) 设置Topic中存储消息的老化时间,超过老化时间的消息将会被删除。 同步复制 客户端向Topic生产消息时,是否把消息复制给所有副本,然后才向消息客户端返回响应。 开启同步复制后,需要同时
后端服务调用失败 原因分析 可能是以下三种原因导致,请逐一排查: 后端服务地址错误。 后端超时时间设置不合理。 当后端服务没有在设置的后端超时时间内返回时,API网关提示后端服务调用失败。 如果“后端服务地址”在ECS(Elastic Cloud Server),ECS的安全组无法被外部访问。
最大只支持1000万数据量的表同步。 组合任务(CDC) 源端: 定时:支持MySQL、Oracle、SQL Server、PostgreSQL、Hana。 实时:支持MySQL、Oracle、SQL Server。 目标端: 定时:支持MySQL、Oracle、PostgreSQL、SQL Server、Hana。
方案概述 为了确保数据的实时性和一致性,可以周期性地将MySQL数据库中的数据同步至Oracle数据库中。 这一过程会按照预设的时间间隔精确执行,通过模板“定时同步MySql中的数据到Oracle”创建组合应用,系统会自动抓取MySQL数据库中的最新数据记录,并将其无缝对接到Oracl
资源规划 完成本实践所需的资源: 表1 资源规划 资源 资源说明 数量 MySQL 2核 4GB 1 Oracle 2核 4GB 1 新版ROMA Connect实例 配额设置为组合应用,2RCU 1 父主题: 定时同步MySQL中的数据到Oracle