应用与数据集成平台 ROMA CONNECT-配置目标端数据信息:Kafka

时间:2024-05-07 17:09:58

Kafka

返回页首

任务的“集成模式”为“定时”或“实时”时,可以选择Kafka作为目标端数据源,具体配置如下。
表6 目标端Kafka信息

参数

配置说明

Topic名称

选择要写入数据的Topic名称。

Key

填写消息的Key值,表示消息存储在指定分区,可以当成有序消息队列使用。如果Key为空,则消息分布式存储在不同的消息分区。

元数据

定义写入到目标端Kafka消息的数据字段。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。

  • 别名:对元数据的自定义名称。
  • 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。

映射规则

配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则

  • 映射模式:通过列表形式填写源端和目标端的字段名,增加源端数据字段到目标端数据字段的映射关系。
  • 脚本模式:通过JavaScript脚本实现从源端读取数据后先进行处理再写入目标端,脚本样例参见脚本映射样例

目标端为Kafka的配置示例如下图所示,id、name和info为要写入到Kafka数据源的数据字段。

图3 Kafka配置示例

写入Kafka的消息内容结构为{"id":"xx", "name":"yy", "info":"zz"},其中xx、yy、zz为从源端传入的数据值。

support.huaweicloud.com/usermanual-roma/roma_03_1007.html