应用与数据集成平台 ROMA CONNECT-配置源端数据信息:SAP
SAP
返回页首
任务的“集成模式”为“定时”时,可以选择SAP作为源端数据源。
- 在创建任务页面中配置源端信息。
表27 源端SAP信息 参数
配置说明
源端实例
选择当前正在使用的ROMA Connect实例。
源端集成应用
选择SAP数据源所属的集成应用,在接入数据源时已配置。
源数据类型
选择“SAP”。
数据源名称
选择接入数据源中已配置的SAP数据源。
连接方式
选择SAP数据源的连接方式,包含可用函数和表连接器两种方式。
- 可用函数:指SAP数据源开放出来允许远程调用的函数。
- 表连接器:通过连接器的形式连接SAP数据表。
可用函数
仅当“连接方式”选择“可用函数”时需要配置。
单击“查询”,在“可用函数”弹窗中输入“函数名”和“组名”,查询并获取SAP数据源的可用函数列表,在“函数列表”处选择要使用的函数,然后单击“确定”。
说明:- 在SAP数据源中只有开启了允许远程访问功能的函数,才能在ROMA Connect界面上查询。
- 函数名与组名支持前缀匹配方式的模糊查询。
查询函数
仅当“连接方式”选择“表连接器”时需要配置。
该字段表示用户自己定义的查询函数,用户可根据实际情况选择使用,一般情况下选默认函数。例如:/SAPDS/RFC_READ_TABLE2
须知:SAP不支持跨表查询,因为调用/SAPDS/RFC_READ_TABLE2函数只支持对单一表进行查询。
源端表
仅当“连接方式”选择“表连接器”时需要配置。
选择源端的数据表。数据表选择后可单击“选择表字段”按钮,选择具体的表字段。
字段分隔符
仅当“连接方式”选择“表连接器”时需要配置。
填写字段分隔符,用于分隔字段。
分页大小
仅当“连接方式”选择“表连接器”时需要配置。
选择一次从SAP服务端读取的最大数据量,单位为万。
须知:数值越大读取速度越快,但会存在内存溢出的风险,导致整个实例不可用。建议不做修改,如需修改请根据实际的业务量及实例规格谨慎设置。另外,请尽可能降低超过默认配置的任务并发运行数(建议不超过5个),降低内存溢出风险。
是否增量迁移
仅当“连接方式”选择“表连接器”时需要配置。
选择是否只集成指定时间段内的数据。
首次调度采集是采集时间戳初始值到当前调度时间之间的数据,后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。
分区选项
仅当“连接方式”选择“表连接器”时需要配置。
提供对数据进行分区读取的操作,从而提高数据读取速度。分区支持按年、月、天分区读取数据,或者不分区读取。
例如,当在要读取1号到30号的数据时,分区选择天,那么在读取数据时则按30天进行分区读取数据。
说明:全量和增量迁移均支持分区配置。
时区
仅当“是否增量迁移”选择开启或者“分区选项”选择“年、月、天”时需要配置。
选择SAP数据源使用的时区,以便ROMA Connect识别数据的时间戳。
时间戳字段
仅当“是否增量迁移”选择开启或者“分区选项”选择“年、月、天”时需要配置。
选择数据表中DATE类型的字段作为源端数据的时间戳,用来判断数据是否满足增量集成的条件,如果时间戳字段和时间戳初始值填写不完整,此任务默认为全量集成。
须知:SAP不支持无时间戳字段的增量任务,即待抽取的表字段中需要有时间戳字段。
时间戳初始值
仅当“是否增量迁移”选择开启或者“分区选项”选择“年、月、天”时需要配置。
首次集成数据时,要集成数据的起始时间,即只集成该时间点之后的数据。
时间戳结束值
仅当“是否增量迁移”选择开启时需要配置。
选择要集成数据的结束时间,即只集成到该时间点的数据。
时间格式
仅当“是否增量迁移”选择开启或者“分区选项”选择“年、月、天”时需要配置。
选择文件名中的时间格式,必须与“文件名前缀”配合使用,用于筛选要集成的数据文件。若只选择时间格式不填文件名前缀,则不会过滤文件。选了时间格式的话,则会将任务运行时的时间转换成选择的时间格式,与文件名前缀来共同过滤文件。
例如,文件名前缀为test,时间格式为yyyyMMdd,任务运行时时间为2021-01-14 10:00:00,则任务运行只采集文件名以test20210114为前缀的文件。
时间补偿(毫秒)
仅当“是否增量迁移”选择开启时需要配置。
为了避免源端生成数据时存在滞后,导致ROMA Connect查询源端增量数据出现遗漏,可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。
例如,上一次增量迁移任务的结束时间是15:05,本次定时任务在17:00触发,时间补偿设为100ms,则本次增量迁移任务要集成数据的时间区间为“15:05~(17:00-100ms)”。
条件筛选
仅当“连接方式”选择“表连接器”时需要配置。
添加要集成数据的筛选条件,只把满足条件的源端数据集成到目标端。
例如,条件“and | col02 | equal | A”表示只集成列col02中,值为“A”的数据行。
表类型请求参数配置说明:
以如下请求参数结构为例进行说明,[]表示表类型数据,{}表示表中的一行数据。a参数表下有3行数据,每行数据中有2个参数。
参数b的键为a[i].b,参数c的键为a[i].c。其中,i表示参数表第几行中的参数,0表示第一行,1表示第二行,以此类推。
a: [ { b: xx, c: xx }, { b: yy, c: yy }, { b: zz, c: zz }, ]
当选择可用函数后,请求参数处仅列出a数据表下第一行的参数,即a[0].b,a[0].c。若需要添加数据表中其他某一行的参数,应按顺序逐行添加,必须确保其前一行的参数已添加,不允许出现仅添加了1、3行的参数,未添加第2行参数的情况。
例如上述样例中,要添加第二行的参数,则直接在a[0].c后添加a[1].b或a[1].c;要添加第三行的参数,则在a[0].c后先添加至少一个第二行的参数a[1].b或a[1].c,然后再添加第三行的参数a[2].b或a[2].c。
不允许重复添加同一行数据中的同一个参数,否则会导致数据集成任务执行失败。
- 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。