数据仓库服务 GAUSSDB(DWS)-Hudi用户接口:实时视图与增量视图查询

时间：2024-04-18 16:24:16

数据仓库服务 GAUSSDB(DWS) SQL on Hudi

GaussDB(DWS)提供了类似spark-sql风格的表级参数，用于支持实时视图和增量视图。

具体参数说明如下，其中SCHEMA.FOREIGN_TABLE需要替换为实际的schema和外表名。

表1 实时视图与增量视图查询的参数
参数	取值	说明
hoodie.SCHEMA.FOREIGN_TABLE.consume.mode	SNAPSHOT	查询实时视图。
hoodie.SCHEMA.FOREIGN_TABLE.consume.mode	INCREMENTAL	查询增量视图。
hoodie.SCHEMA.FOREIGN_TABLE.consume. start.timestamp	hudi时间戳	指定增量同步的起始commit。
hoodie.SCHEMA.FOREIGN_TABLE.consume. ending.timestamp	hudi时间戳	指定增量同步的结束commit，不指定则采用最新commit。

以上参数支持使用set命令设置，并且仅在当前SESSION中有效；使用reset命令恢复缺省值。
可以通过系统函数pg_catalog.pg_show_custom_settings()来查询相关参数的设置详情。
查询MOR表的增量视图时，需要使用where条件过滤_hoodie_commit_time字段，避免读取到未合并的不符合条件的log文件数据；COW表无需该操作。