数据湖探索 DLI-DIS源表:参数说明
下载数据湖探索 DLI用户手册完整版
参数说明
参数 |
是否必选 |
说明 |
|---|---|---|
connector.type |
是 |
数据源类型，“dis”表示数据源为数据接入服务，必须为dis。 |
connector.region |
是 |
数据所在的DIS区域。 |
connector.ak |
否 |
访问密钥ID(Access Key ID)，需与sk同时设置 |
connector.sk |
否 |
Secret Access Key，需与ak同时设置 |
connector.channel |
是 |
数据所在的DIS通道名称。 |
connector.partition-count |
否 |
读取从0分区开始计算的partition-count个通道范围内的数据。 该参数和partition-range参数不能同时配置。 当两个参数都没有配置的时候默认读取所有partition。 |
connector.partition-range |
否 |
指定作业从DIS通道读取的分区范围。该参数和partition-count参数不能同时配置。当两个参数没有配置的时候默认读取所有partition。 partition-range = "[0:2]"时，表示读取的分区范围是1-3，包括分区1、分区2和分区3，范围设置要在dis相应通道的范围内。 |
connector.offset |
否 |
用户可以根据需求设置该参数的数值，读取数据的起始位置，与start-time不能同时设置。 |
connector.start-time |
否 |
DIS数据读取从该起始时间的数据。 当该参数配置时则从配置的时间开始读取数据，有效格式为yyyy-MM-dd HH:mm:ss。 当没有配置start-time也没配置offset的时候，读取最新数据。 |
connector. enable-checkpoint |
否 |
是否启用checkpoint功能，可配置为true（启用）或者false（停用）， 默认为false。 勿与offset或start-time同时设置；若enable-checkpoint为true，与checkpoint-app-name需要同时配置。 |
connector. checkpoint-app-name |
否 |
DIS服务的消费者标识，当不同作业消费相同通道时，需要区分不同的消费者标识，以免checkpoint混淆。 勿与offset或start-time同时设置；若enable-checkpoint为true，则需要同时配置。 |
connector. checkpoint-interval |
否 |
DIS源算子做checkpoint的时间间隔，默认为60s。格式为d、day/h、hour/min、minute/s、sec、second 勿与offset或start-time同时设置。 |
format.type |
是 |
数据编码格式，可选为“csv”、“json” |
format.field-delimiter |
否 |
属性分隔符，仅当编码格式为csv时，用户可以自定义属性分隔符，默认为“,”英文逗号。 |
