应用与数据集成平台 ROMA CONNECT-配置源端数据信息:自定义数据源

时间:2024-05-07 17:09:59

自定义数据源

返回页首

任务的“集成模式”为“定时”时,可以选择自定义数据源作为源端数据源。ROMA Connect通过标准RESTful API的方式与自定义数据源进行通信。

  1. 在创建任务页面中配置源端信息。
    表32 源端自定义数据源信息

    参数

    配置说明

    源端实例

    选择当前正在使用的ROMA Connect实例。

    源端集成应用

    选择自定义数据源所属的集成应用,在接入数据源时已配置。

    源端数据类型

    选择具体自定义数据源类型。

    数据源名称

    选择接入数据源中已配置的自定义数据源。

    是否需要分页

    一次API请求可以返回多条数据,ROMA Connect向自定义数据源发送请求获取数据时,数据是否分页返回。

    • 分页表示所有满足条件的数据,按照每页固定的记录数进行分页,ROMA Connect每次获取一页数据,并通过多次请求获取所有数据。
    • 不分页则表示ROMA Connect通过一次API请求获取所有满足条件的数据。

    起始页

    仅当“是否需要分页”选择开启时需要配置。

    填写分页页码起始页,指第一页从0或者从1开始计数,请根据API的原始定义填写。

    单页大小

    仅当“是否需要分页”选择开启时需要配置。

    填写每页的最大数据记录数,请根据API的原始定义填写。

    是否增量迁移

    选择是否只集成指定时间段内的数据。

    首次调度采集是采集时间戳初始值到当前调度时间之间的数据,后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。

    时区

    选择自定义数据源使用的时区,以便ROMA Connect识别数据的时间戳。

    数据起始时间

    仅当“是否增量迁移”选择开启时需要配置。

    首次集成数据时,要集成数据的起始时间,即只集成该时间点之后的数据。

    是否解析

    获取到的源端数据是否由ROMA Connect做进一步的数据解析。

    • 若选择是,则ROMA Connect根据配置的解析规则,对获取到的源端数据解析后再集成到目标端。
    • 若选择否,则ROMA Connect会直接透传获取到的源端数据,并集成到目标端。

    元数据

    仅当“是否解析”选择“是”时需要配置。

    指从源端获取到的JSON格式数据中,要集成到目标端的每一个底层key-value型数据元素。

    • 别名:对元数据的自定义名称。
    • 类型:元数据的数据类型,需要与响应消息中对应参数的数据类型一致。
    • 解析路径:元数据的完整路径,具体请参见元数据解析路径配置说明

    除了以上参数外,不同自定义数据源会定义不同的读端参数,请按照连接器原始定义规范填写。您可以在ROMA Connect控制台的“资产管理”页面中找到自定义数据源所使用的连接器,查看连接器的“读端参数定义”信息。

    元数据解析路径配置说明:

    • JSON格式数据中不含数组

      如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。

      此场景下,元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d

      {
         "a": {
            "b": {
               "c": "xx",
               "d": "xx"
            }
         }
      }
    • JSON格式数据中含数组

      如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。

      此场景下,元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d

      {
         "a": {
            "b": [{
               "c": "xx",
               "d": "xx"
            },
            {
               "c": "yy",
               "d": "yy"
            }
            ]
         }
      }

    以上面JSON格式数据中不含数组的样例为例,源端为自定义数据源的配置示例如下图所示,其中key为连机器中定义的读端参数。

    图21 自定义数据源配置示例
  2. 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息
support.huaweicloud.com/usermanual-roma/fdi-ug-190624006.html