应用与数据集成平台 ROMA CONNECT-配置源端数据信息:RocketMQ
RocketMQ
返回页首
任务的“集成模式”为“实时”时,可以选择RocketMQ作为源端数据源。
RocketMQ的消费组为:任务ID+"_consumer_group"。
- 在创建任务页面中配置源端信息。
表26 源端RocketMQ信息 参数
配置说明
源端实例
选择当前正在使用的ROMA Connect实例。
源端集成应用
选择RocketMQ数据源所属的集成应用,在接入数据源时已配置。
源端数据类型
选择“RocketMQ”。
数据源名称
选择接入数据源中已配置的RocketMQ数据源。
Topic名称
填写主题字符串/队列名称。
是否解析
获取到的源端数据是否由ROMA Connect做进一步的数据解析。
- 若选择是,则ROMA Connect根据配置的解析规则,对获取到的源端数据解析后再集成到目标端。
- 若选择否,则ROMA Connect会直接透传获取到的源端数据,并集成到目标端。
数据根字段
仅当“是否解析”选择“是”时需要配置。
指从源端获取到的JSON格式数据中,元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合,即为元数据的完整路径,具体请参见元数据解析路径配置说明。
元数据
仅当“是否解析”选择“是”时需要配置。
指从源端获取到的JSON格式数据中,要集成到目标端的每一个底层key-value型数据元素。
- 别名:对元数据的自定义名称。
- 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。
- 解析路径:元数据的完整路径,具体请参见元数据解析路径配置说明。
元数据解析路径配置说明:
- JSON格式数据中不含数组
如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。
此场景下,元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。
{ "a": { "b": { "c": "xx", "d": "xx" } } }
- JSON格式数据中含数组
如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。
此场景下,元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d。
{ "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } }
源端为RocketMQ的配置示例如下图所示。
图15 RocketMQ配置示例
- 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。
- RocketMQ是什么_RocketMQ介绍_分布式消息服务RocketMQ版
- 华为云资料 2021年 7月刊
- RocketMQ的架构_RocketMQ的消息模式_分布式消息RocketMQ-华为云
- 分布式消息服务Kafka版与分布式消息服务RocketMQ版的区别_Kafka与RocketMQ对比_Kafka与RocketMQ差异
- 分布式消息中间件实战_分布式消息实战_分布式消息-华为云
- 数据治理中心_数据开发_数据开发能力_脚本和节点介绍-华为云
- 分布式消息中间件的作用_分布式消息中间件_分布式消息-华为云
- 什么是智能边缘平台_智能边缘平台的优势_华为云
- RocketMQ主要应用场景有哪些_分布式消息中间件_分布式消息RocketMQ-华为云
- 华为云资料 2021年 4月刊