数据湖探索 DLI-JDBC源表:分区扫描功能介绍

时间:2024-04-23 20:19:33

分区扫描功能介绍

为了加速Source任务实例中的数据读取,Flink为JDBC表提供了分区扫描功能。以下参数定义了从多个任务并行读取时如何对表进行分区。

  • scan.partition.column:用于对输入进行分区的列名,该列的数据类型必须是数字,日期或时间戳。
  • scan.partition.num: 分区数。
  • scan.partition.lower-bound:第一个分区的最小值。
  • scan.partition.upper-bound:最后一个分区的最大值。
  • 建表时以上扫描分区参数必须同时存在或者同时不存在。
  • scan.partition.lower-bound和scan.partition.upper-bound参数仅用于决定分区步长,而不是用于过滤表中的行,表中的所有行都会被分区并返回。
support.huaweicloud.com/sqlref-flink-dli/dli_08_0385.html