数据仓库服务 GAUSSDB(DWS)-Hudi用户接口:Hudi外表信息查询与自动同步任务

时间：2024-04-18 16:24:16

数据仓库服务 GAUSSDB(DWS) SQL on Hudi

GaussDB(DWS)提供一系列系统函数来实现Hudi外表信息获取、创建Hudi自动同步任务等功能。其中Hudi自动同步任务实现了从Hudi外表周期性同步数据到GaussDB(DWS)内表功能。

表2 Hudi系统函数
序号	名称	类型	功能
1	pg_show_custom_settings()	内置函数	查询HUDI外表参数设置详情。
2	hudi_get_options(regclass)	内置函数	查询HUDI外表的属性信息（hoodie.properties）。
3	hudi_get_max_commit(regclass)	内置函数	获取当前HUDI外表最新commit的时间戳。
4	hudi_sync_task_submit(regclass, regclass)	内置函数	提交HUDI自动同步任务。
4	hudi_sync_task_submit(regclass, regclass, text, text)	内置函数	提交HUDI自动同步任务。
5	hudi_show_sync_state()	内置函数	获取HUDI自动同步任务的同步状态。
6	hudi_sync(regclass, regclass)	存储过程	HUDI自动同步任务调用入口。
7	hudi_sync_custom(regclass, regclass, text)	存储过程	HUDI自动同步任务调用入口，支持用户自定义目标表和数据源表的字段同步对应关系。
8	hudi_set_sync_commit(regclass, regclass, text)	内置函数	设置HUDI自动同步任务首次同步的起点时间戳，避免在已经同步了部分数据的情况下，重新同步已有数据。
8	hudi_set_sync_commit(text, text)	内置函数	设置HUDI自动同步任务下一次同步的起点时间戳，可以用于重复同步历史数据或者跳过某些数据。