数据湖探索 DLI-JDBC维表:参数说明

时间:2024-05-25 09:17:50

参数说明

表1 参数说明

参数

是否必选

说明

connector

数据源类型,固定为:jdbc。

url

数据库的URL。

table-name

读取数据库中的数据所在的表名。

driver

连接数据库所需要的驱动。若未配置,则会自动通过URL提取。

username

数据库认证用户名,需要和'password'一起配置。

password

数据库认证密码,需要和'username'一起配置。

scan.partition.column

用于对输入进行分区的列名。

与scan.partition.lower-bound、scan.partition.upper-bound、scan.partition.num必须同时存在或者同时不存在。

scan.partition.lower-bound

第一个分区的最小值。

与scan.partition.column、scan.partition.upper-bound、scan.partition.num必须同时存在或者同时不存在

scan.partition.upper-bound

最后一个分区的最大值。

与scan.partition.column、scan.partition.lower-bound、scan.partition.num必须同时存在或者同时不存在

scan.partition.num

分区的个数。

与scan.partition.column、scan.partition.upper-bound、scan.partition.upper-bound必须同时存在或者同时不存在。

scan.fetch-size

每次从数据库拉取数据的行数。默认值为0,表示忽略该提示。

lookup.cache.max-rows

维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。-1表示不使用缓存。

lookup.cache.ttl

维表配置,缓存超时时间,超过该时间的数据会被剔除。格式为:{length value}{time unit label},如123ms, 321s,支持的时间单位包括: d,h,min,s,ms等,默认为ms。

lookup.max-retries

维表配置,数据拉取最大重试次数,默认为3。

pwd_auth_name

DLI侧创建的Password类型的跨源认证名称。

support.huaweicloud.com/sqlreference-dli/dli_08_0405.html