数据湖探索 DLI-JDBC:参数说明

时间：2024-04-23 20:19:32

数据湖探索 DLI Connector列表

参数说明

表2 参数说明
参数	是否必选	默认值	类型	说明
connector	是	无	String	指定要使用的连接器，当前固定为'jdbc'。
url	是	无	String	数据库的URL。连接MySQL数据库时，格式为：jdbc:mysql://MySQLAddress:MySQLPort/dbName 。连接PostgreSQL数据库时，格式为：jdbc:postgresql://PostgreSQLAddress:PostgreSQLPort/dbName。
table-name	是	无	String	读取数据库中的数据所在的表名。
driver	否	无	String	连接数据库所需要的驱动。如果未配置，则会自动通过URL提取。 MySQL数据库默认驱动为com.mysql.jdbc.Driver。 PostgreSQL数据库默认驱动为org.postgresql.Driver。
username	否	无	String	数据库认证用户名，需要和'password'一起配置。
password	否	无	String	数据库认证密码，需要和'username'一起配置。
connection.max-retry-timeout	否	60s	Duration	尝试连接数据库服务器最大重试超时时间，不应小于1s。
scan.partition.column	否	无	String	用于对输入进行分区的列名。分区扫描参数，具体请参考分区扫描功能介绍。
scan.partition.num	否	无	Integer	分区的个数。分区扫描参数，具体请参考分区扫描功能介绍。
scan.partition.lower-bound	否	无	Integer	第一个分区的最小值。分区扫描参数，具体请参考分区扫描功能介绍。
scan.partition.upper-bound	否	无	Integer	最后一个分区的最大值。分区扫描参数，具体请参考分区扫描功能介绍。
scan.fetch-size	否	0	Integer	每次从数据库拉取数据的行数。如果指定为0，则会忽略sql hint。
scan.auto-commit	否	true	Boolean	是否设置自动提交，以确定事务中的每个statement是否自动提交
lookup.cache.max-rows	否	无	Integer	lookup cache的最大行数，如果超过该值，缓存中最先添加的条目将被标记为过期。默认情况下，lookup cache是未开启的。具体请参考Lookup Cache功能介绍。
lookup.cache.ttl	否	无	Duration	lookup cache中每一行记录的最大存活时间，如果超过该时间，缓存中最先添加的条目将被标记为过期。默认情况下，lookup cache是未开启的。具体请参考Lookup Cache功能介绍。
lookup.cache.caching-missing-key	否	true	Boolean	是否缓存空查询结果，默认为true。具体请参考Lookup Cache功能介绍。
lookup.max-retries	否	3	Integer	查询数据库失败的最大重试次数。
sink.buffer-flush.max-rows	否	100	Integer	flush前缓存记录的最大值，可以设置为 '0' 来禁用它。
sink.buffer-flush.interval	否	1s	Duration	flush间隔时间，超过该时间后异步线程将flush数据。可以设置为 '0' 来禁用它。如果想完全异步地处理缓存的flush事件，可以将 'sink.buffer-flush.max-rows' 设置为 '0' ，并配置适当的flush时间间隔。
sink.max-retries	否	3	Integer	写入到数据库失败后的最大重试次数。
sink.parallelism	否	无	Integer	用于定义JDBC sink算子的并行度。默认情况下，并行度是由框架决定，即与上游并行度一致。