华为云用户手册

解析器测试 函数ts_parse可以直接测试文本搜索解析器。 1 2 ts_parse(parser_name text, document text, OUT tokid integer, OUT token text) returns setof record ts_parse解析指定的document并返回一系列的记录，一条记录代表一个解析生成的token。每条记录包括标识token类型的tokid，及token文本。比如： 1 2 3 4 5 6 7 8 9 10 SELECT * FROM ts_parse('default', '123 - a number'); tokid | token -------+-------- 22 | 123 12 | 12 | - 1 | a 12 | 1 | number (6 rows) 1 2 ts_token_type(parser_name text, OUT tokid integer, OUT alias text, OUT description text) returns setof record ts_token_type返回一个表，这个表描述了指定解析器可以识别的每种token类型。对于每个token类型，表中给出了整数类型的tokid--用于解析器标记对应的token类型；alias——命名分词器命令中的token类型；及简单描述。比如： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 SELECT * FROM ts_token_type('default'); tokid | alias | description -------+-----------------+------------------------------------------ 1 | asciiword | Word, all ASCII 2 | word | Word, all letters 3 | numword | Word, letters and digits 4 | email | Email address 5 | url | URL 6 | host | Host 7 | sfloat | Scientific notation 8 | version | Version number 9 | hword_numpart | Hyphenated word part, letters and digits 10 | hword_part | Hyphenated word part, all letters 11 | hword_asciipart | Hyphenated word part, all ASCII 12 | blank | Space symbols 13 | tag | XML tag 14 | protocol | Protocol head 15 | numhword | Hyphenated word, letters and digits 16 | asciihword | Hyphenated word, all ASCII 17 | hword | Hyphenated word, all letters 18 | url_path | URL path 19 | file | File or path name 20 | float | Decimal notation 21 | int | Signed integer 22 | uint | Unsigned integer 23 | entity | XML entity (23 rows) 父主题： 测试和调试文本搜索

参数说明 CHECK 仅在节点列表为TO ALL时可以指定。如果指定该参数，会在清理连接之前检查数据库是否被其他会话连接访问。此参数主要用于DROP DATABASE之前的连接访问检查，如果发现有其他会话连接，则将报错并停止删除数据库。 FORCE 仅在节点列表为TO ALL时可以指定，如果指定该参数，所有和指定dbname和username相关的线程都会收到SIGTERM信号，然后被强制关闭。 COORDINATOR ( nodename [, ... ] ) | NODE ( nodename [, ... ] ) | ALL 删除指定节点上的连接。有三种场景： 删除指定CN上的连接。 删除指定DN上的连接。 删除所有节点上的连接，包括CN和DN。 取值范围：可替换其中的nodename为已存在的节点名。 dbname 删除指定数据库上的连接。如果不指定，则删除所有数据库的连接。 取值范围：已存在数据库名。 username 删除指定用户上的连接。如果不指定，则删除所有用户的连接。 取值范围：已存在的用户。 参数dbname和username必须至少指定一个。

示例 删除数据库template1在dn1和dn2节点上的连接。 1 CLEAN CONNECTION TO NODE (dn1,dn2) FOR DATABASE template1; 删除用户jack在dn1节点上的连接。 1 CLEAN CONNECTION TO NODE (dn1) TO USER jack; 删除在数据库gaussdb上的所有连接。 1 CLEAN CONNECTION TO ALL FORCE FOR DATABASE gaussdb;

pg_refresh_storage() 描述：切换所有冷热表，将符合冷热切换规则的数据由热数据切换至冷数据（OBS中）。 返回值类型：int 返回值字段： success_count int：切换成功的表个数 failed_count int：切换失败的表个数 示例： 1 2 3 4 5 SELECT * FROM pg_refresh_storage(); success_count | failed_count ---------------+-------------- 1 | 0 (1 row)

refresh_hot_storage(relname text) 描述：用于将指定冷热表的所有分区数据全部刷到OBS上。返回的数值为执行该函数切换分区的个数。该函数仅8.2.1.100及以上版本支持。 参数： relname：表名(指定冷热表表名，使用其他非冷热表表名，并不会报错，返回值为0) 返回值类型：integer 1 2 3 4 5 SELECT refresh_hot_storage('multi_temper_table'); refresh_hot_storage --------------------- 4 (1 row)

reload_cold_partition(relname text，partname text) 描述：用于将指定冷热表的特定冷分区转换成热分区。返回的数值为执行该函数切换分区的个数。该函数仅8.3.0及以上版本支持。 参数： relname：表名(指定冷热表表名，使用其他非冷热表表名，并不会报错，返回值为0) partname：分区名(指定冷热表下的分区名) 返回值类型：integer 1 2 3 4 5 SELECT reload_cold_partition('multi_temper_table','p1'); reload_cold_partition --------------------- 1 (1 row)

pg_obs_cold_refresh_time(table_name, time) 描述：用来修改冷热表的冷数据切换至OBS上的时间，默认为每日0点。 table_name为冷热表表名，类型为name，time为数据切换任务调度时间，类型为Time。 返回值：SUC CES S，任务时间修改成功。 示例： 1 2 3 4 5 SELECT * FROM pg_obs_cold_refresh_time('lifecycle_table', '06:30:00'); pg_obs_cold_refresh_time -------------------------- SUCCESS (1 row)

reload_cold_partition(relname text) 描述：用于将指定冷热表的所有冷分区转换成热分区。返回的数值为执行该函数切换分区的个数。该函数仅8.3.0及以上版本支持。 参数： relname：表名(指定冷热表表名，使用其他非冷热表表名，并不会报错，返回值为0) 返回值类型：integer 1 2 3 4 5 SELECT reload_cold_partition('multi_temper_table'); reload_cold_partition --------------------- 4 (1 row)

refresh_hot_storage(relname text，partname text) 描述：用于将指定冷热表的分区数据刷到OBS上。返回的数值为执行该函数切换分区的个数。该函数仅8.2.1.100及以上版本支持。 参数： relname：表名(指定冷热表表名，使用其他非冷热表表名，并不会报错，返回值为0) partname：分区名(指定冷热表下的分区名) 返回值类型：integer 1 2 3 4 5 SELECT refresh_hot_storage('multi_temper_table','p1'); refresh_hot_storage --------------------- 1 (1 row)

pg_lifecycle_table_data_distribute(table_name) 描述：查看某个冷热表的数据分布情况。 table_name为表名，不可缺省。 返回值：record 示例：根据节点数量形成多条记录，如下示例为只有一个dn节点时w1表数据分布情况。 1 2 3 4 5 SELECT * FROM pg_catalog.pg_lifecycle_table_data_distribute('w1'); schemaname | tablename | nodename | hotpartition | coldpartition | switchablepartition | hotdatasize | colddatasize | switchabledatasize ------------+-----------+----------+--------------+---------------+---------------------+-------------+--------------+-------------------- public | w1 | dn_1 | p2 | p1 | | 80 KB | 0 bytes | 0 bytes (1 row)

pg_lifecycle_node_data_distribute() 描述：查看所有冷热表数据分布情况。 返回值：record 示例：数据库中当前存在两个冷热表，其数据分布情况如下。 1 2 3 4 5 6 SELECT * FROM pg_catalog.pg_lifecycle_node_data_distribute(); schemaname | tablename | nodename | hotpartition | coldpartition | switchablepartition | hotdatasize | colddatasize | switchabledatasize ------------+-----------+----------+--------------+---------------+---------------------+-------------+--------------+-------------------- public | w1 | dn_1 | p2 | p1 | | 81920 | 0 | 0 public | w2 | dn_1 | p2 | p1 | | 81920 | 0 | 0 (2 rows)

示例 将创建在模式tpcds里的所有表（和视图）的SELECT权限授予每一个用户： 1 ALTER DEFAULT PRIVILEGES IN SCHEMA tpcds GRANT SELECT ON TABLES TO PUBLIC; 将tpcds下的所有表的插入权限授予用户jack： 1 ALTER DEFAULT PRIVILEGES IN SCHEMA tpcds GRANT INSERT ON TABLES TO jack; 撤销上述权限： 1 2 ALTER DEFAULT PRIVILEGES IN SCHEMA tpcds REVOKE SELECT ON TABLES FROM PUBLIC; ALTER DEFAULT PRIVILEGES IN SCHEMA tpcds REVOKE INSERT ON TABLES FROM jack; 假设有两个用户test1、test2，如果想要test2用户对test1用户未来创建的表都有查询权限可以用如下操作： 首先，把test1的schema的权限赋权给test2用户： 1 GRANT usage, create ON SCHEMA test1 TO test2; 其次，把test1用户下的表的查询权限赋值给test2用户： 1 ALTER DEFAULT PRIVILEGES FOR USER test1 IN SCHEMA test1 GRANT SELECT ON tables TO test2; 然后，test1用户创建表： 1 2 SET ROLE test1 password '{password}'; CREATE TABLE test3( a int, b int); 最后，用test2用户去查询： 1 2 3 4 5 SET ROLE test2 password '{password}'; SELECT * FROM test1.test3; a | b ---+--- (0 rows)

参数说明 target_role 已有角色的名称。如果省略FOR ROLE/USER，则缺省值为当前角色/用户。 target_role必须有schema_name的CREATE权限。查看角色/用户是否具有schema的CREATE权限可使用has_schema_privilege函数。 1 SELECT a.rolname, n.nspname FROM pg_authid as a, pg_namespace as n WHERE has_schema_privilege(a.oid, n.oid, 'CREATE'); 取值范围：已有角色的名称。 schema_name 现有模式的名称。 如果指定了模式名，那么之后在这个模式下面创建的所有对象默认的权限都会被修改。如果IN SCHEMA被省略，那么全局权限会被修改。 取值范围：现有模式的名称。 role_name 被授予或者取消权限角色的名称。 取值范围：已存在的角色名称。 如果想删除一个被赋予了默认权限的角色，必须撤销其默认权限的更改或者使用DROP OWNED BY删除该角色的默认权限记录。

语法格式 1 2 3 4 ALTER DEFAULT PRIVILEGES [ FOR { ROLE | USER } target_role [, ...] ] [ IN SCHEMA schema_name [, ...] ] abbreviated_grant_or_revoke; 其中abbreviated_grant_or_revoke子句用于指定对哪些对象进行授权或回收权限。 1 2 3 4 5 6 7 8 grant_on_tables_clause | grant_on_functions_clause | grant_on_types_clause | grant_on_sequences_clause | revoke_on_tables_clause | revoke_on_functions_clause | revoke_on_types_clause | revoke_on_sequences_clause 其中grant_on_tables_clause子句用于对表授权。 1 2 3 4 5 GRANT { { SELECT | INSERT | UPDATE | DELETE | TRUNCATE | REFERENCES | TRIGGER | ANALYZE | ANALYSE | VACUUM | ALTER | DROP } [, ...] | ALL [ PRIVILEGES ] } ON TABLES TO { [ GROUP ] role_name | PUBLIC } [, ...] [ WITH GRANT OPTION ] 其中grant_on_functions_clause子句用于对函数授权。 1 2 3 4 GRANT { EXECUTE | ALL [ PRIVILEGES ] } ON FUNCTIONS TO { [ GROUP ] role_name | PUBLIC } [, ...] [ WITH GRANT OPTION ] 其中grant_on_types_clause子句用于对类型授权。 1 2 3 4 GRANT { USAGE | ALL [ PRIVILEGES ] } ON TYPES TO { [ GROUP ] role_name | PUBLIC } [, ...] [ WITH GRANT OPTION ] 其中grant_on_sequences_clause子句用于对序列授权。 1 2 3 4 5 GRANT { { USAGE | SELECT | UPDATE } [, ...] | ALL [ PRIVILEGES ] } ON SEQUENCES TO { [ GROUP ] role_name | PUBLIC } [, ...] [ WITH GRANT OPTION ] 其中revoke_on_tables_clause子句用于回收表对象的权限。 1 2 3 4 5 6 REVOKE [ GRANT OPTION FOR ] { { SELECT | INSERT | UPDATE | DELETE | TRUNCATE | REFERENCES | TRIGGER | ANALYZE | ANALYSE | VACUUM | ALTER | DROP } [, ...] | ALL [ PRIVILEGES ] } ON TABLES FROM { [ GROUP ] role_name | PUBLIC } [, ...] [ CASCADE | RESTRICT | CASCADE CONSTRAINTS ] 其中revoke_on_functions_clause子句用于回收函数的权限。 1 2 3 4 5 REVOKE [ GRANT OPTION FOR ] { EXECUTE | ALL [ PRIVILEGES ] } ON FUNCTIONS FROM { [ GROUP ] role_name | PUBLIC } [, ...] [ CASCADE | RESTRICT | CASCADE CONSTRAINTS ] 其中revoke_on_types_clause子句用于回收类型的权限。 1 2 3 4 5 REVOKE [ GRANT OPTION FOR ] { USAGE | ALL [ PRIVILEGES ] } ON TYPES FROM { [ GROUP ] role_name | PUBLIC } [, ...] [ CASCADE | RESTRICT | CASCADE CONSTRAINTS ] 其中revoke_on_sequences_clause子句用于回收序列的权限。 1 2 3 4 5 6 REVOKE [ GRANT OPTION FOR ] { { USAGE | SELECT | UPDATE } [, ...] | ALL [ PRIVILEGES ] } ON SEQUENCES FROM { [ GROUP ] role_name | PUBLIC } [, ...] [ CASCADE | RESTRICT | CASCADE CONSTRAINTS ]

hll_add_agg(hll_hashval, int32 log2m, int32 regwidth, int64 expthresh) 描述：把哈希后的数据按照分组放到hll中, 依次指定参数log2m、regwidth、expthresh。expthresh的取值范围是-1~7之间的整数，该参数可以用来设置从Explicit模式到Sparse模式的阈值大小。-1表示自动模式，0表示跳过Explicit模式，取1~7表示在基数到达 2expthresh时切换模式。 返回值类型：hll 示例： 1 2 3 4 5 SELECT hll_cardinality(hll_add_agg(hll_hash_text(c), NULL, 1, 4)) FROM t_data; hll_cardinality ------------------ 496.628982624022 (1 row)

hll_add_agg(hll_hashval, int32 log2m, int32 regwidth, int64 expthresh, int32 sparseon) 描述：把哈希后的数据按照分组放到hll中, 依次制定参数log2m、regwidth、expthresh、sparseon。sparseon取值范围为0或者1。 返回值类型：hll 示例： 1 2 3 4 5 SELECT hll_cardinality(hll_add_agg(hll_hash_text(c), NULL, 1, 4, 0)) FROM t_data; hll_cardinality ------------------ 496.628982624022 (1 row)

hll_add_agg(hll_hashval) 描述：把哈希后的数据按照分组放到hll中。 返回值类型：hll 示例： 准备数据。 1 2 3 4 CREATE TABLE t_id(id int); INSERT INTO t_id VALUES(generate_series(1,500)); CREATE TABLE t_data(a int, c text); INSERT INTO t_data SELECT mod(id,2), id FROM t_id; 创建表并指定列为hll。 1 CREATE TABLE t_a_c_hll(a int, c hll); 根据a列group by对数据分组，把各组数据加到hll中。 1 INSERT INTO t_a_c_hll SELECT a, hll_add_agg(hll_hash_text(c)) FROM t_data GROUP BY a; 得到每组数据中hll的Distinct值。 1 2 3 4 5 6 SELECT a, #c as cardinality FROM t_a_c_hll order by a; a | cardinality ---+------------------ 0 | 250.741759091658 1 | 250.741759091658 (2 rows)

hll_add_agg(hll_hashval, int32 log2m, int32 regwidth) 描述：把哈希后的数据按照分组放到hll中。依次制定参数log2m， regwidth。 regwidth取值范围为1~5。 返回值类型：hll 示例： 1 2 3 4 5 SELECT hll_cardinality(hll_add_agg(hll_hash_text(c), NULL, 1)) FROM t_data; hll_cardinality ------------------ 496.628982624022 (1 row)

hll_union_agg(hll) 描述：将多个hll类型数据union成一个hll。 返回值类型：hll 示例： 将各组中的hll数据union成一个hll，并计算distinct值。 1 2 3 4 5 SELECT #hll_union_agg(c) as cardinality FROM t_a_c_hll; cardinality ------------------ 496.628982624022 (1 row)

hll_add_agg(hll_hashval, int32 log2m) 描述：把哈希后的数据按照分组放到hll中。 并指定参数log2m，取值范围为10~16。 返回值类型：hll 示例： 1 2 3 4 5 SELECT hll_cardinality(hll_add_agg(hll_hash_text(c), 10)) FROM t_data; hll_cardinality ------------------ 503.932348927339 (1 row)

pg_task_resume(text) 描述：恢复某个自动调度任务执行，入参为该任务的task-id。函数返回被恢复执行任务的个数。该函数仅8.2.1.300及以上版本支持。 返回值类型：integer 示例： 1 2 3 4 5 SELECT pg_task_resume('64661705-8ada-0100-d07f-b57e89a0fffe'); pg_task_resume ---------------- 1 (1 row)

pg_task_remove(text) 描述：删除某个自动调度任务，入参为该任务的task-id，函数返回被删除任务的个数。 返回值类型：integer 示例： 1 2 3 4 5 SELECT pg_task_remove('64661705-8ada-0100-d07f-b57e89a0fffe'); pg_task_remove ---------------- 1 (1 row)

pg_task_show(text) 描述：查询当前自动调度任务信息，对于hudi同步任务，入参应该是'SQLonHudi'。 返回值类型：setof record 示例： 1 2 3 4 5 SELECT * FROM pg_task_show('SQLonHudi'); task_id | what | category_id | userid | is_broken | interval | time_cons | start_time | end_time | parameter | task_rank | next_start_time | next_end_time | last_log | failure_times --------------------------------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------+--------+-----------+------------+-----------+-------------------------------+----------+-----------+-----------+-------------------------------+-------------------------------+----------+--------------- 64d257e9-1e9b-0d00-3ce3-7e61b5e0fffe | call pg_catalog.hudi_sync_custom('public.hudi_read_target', 'public.hudi_read101', '{"_hoodie_commit_seqno" : "_hoodie_commit_seqno", "id" : "id", "ts" : "ts", "long_field" : "ts"}'); | SQLonHudi | 10 | f | '00:00:10' | | 2023-08-08 22:58:15.846903+08 | | | 5 | 2023-08-08 22:58:15.846903+08 | 2023-08-08 22:58:24.846903+08 | | 0 (1 row) last_log和failure_times字段用于记录上一次任务的状态。 last_log于任务结束时刷新，若任务成功，则清空内容；若任务失败则记录任务的失败日志。 failure_times于时间窗结束时刷新，若任务成功，置为0，失败则累加1，本轮未拉起则不变，可用于推断第一次失败出现的时间。

pg_task_reset_interval(text, interval) 描述：修改某个同步任务的调度周期，第一个入参为任务的task_id，第二个入用于指定任务的调度周期，取值范围为5秒至24小时。函数返回被修改周期的任务的个数。该函数仅8.2.1.300及以上版本支持。 返回值类型：integer 示例： 1 2 3 4 5 select pg_task_reset_interval('64bfd69c-a016-0000-120e-1e802978fffe', '10 hours 30 minutes'); pg_task_reset_interval ------------------------ 1 (1 row)

hudi_set_sync_commit(text, text) 描述：设置Hudi自动同步任务下一次同步的起点时间戳，可以用于重复同步历史数据或者跳过某些数据。第一个参数为任务id，第二个参数为用户期望的下一次同步起点。该函数需要在提交同步任务后使用，并且使用前需要暂停任务。该函数仅8.2.1.210及以上版本支持。 返回值类型：text 示例： 1 2 3 4 5 6 7 select hudi_set_sync_commit('6524c8e3-aae9-0000-5a14-be8ec000fffe', '20230511114021573'); NOTICE: set sync commit successfully, the next synchronization will start from 20230511114021573 CONTEXT: referenced column: hudi_set_sync_commit hudi_set_sync_commit ---------------------- 20230511114021573 (1 row) 只有拥有目标任务权限的用户才能成功调用该函数。 调用该函数前，目标任务需要处于暂停状态，且至少成功执行过一次。

pg_task_pause(text) 描述：暂停某个自动调度任务，入参为该任务的task-id，函数返回被暂停任务的个数。 返回值类型：integer 示例： 1 2 3 4 5 SELECT pg_task_pause('64661705-8ada-0100-d07f-b57e89a0fffe'); pg_task_pause --------------- 1 (1 row)

hudi_sync_custom(regclass, regclass, text) 描述：存储过程，Hudi自动同步任务调用入口，支持用户自定义目标表和数据源表的字段同步对应关系。使用pg_catalog.hudi_sync_task_submit(regclass, regclass, text, text)提交的任务会执行该存储过程。其中text为json风格字符串，表示两张表字段间的同步对应关系。执行成功会提示同步的行数和时间戳。 返回值类型：text 示例： 1 2 3 4 5 6 7 CALL hudi_sync_custom('public.hudi_sync_i', 'public.hudi_mor_ft', '{"_hoodie_commit_time" : "_hoodie_commit_time", "col_bigint" : "col_bigint", "col_text" : "col_text"}'); NOTICE: execute full sync CONTEXT: PL/pgSQL function hudi_sync_custom(regclass,regclass,text) line 14 at RETURN hudi_sync_custom -------------------------------------- sync 1 rows up to 20230511114021573. (1 row)

hudi_sync_task_submit(regclass, regclass, text, text) 描述：功能与hudi_sync_task_submit(regclass, regclass)一致，不同之处在于，用户可以额外指定两个text入参，表示用户期望哪些字段被同步。字段之间使用','分隔，支持引号和转义字符的解析。两个text参数的字段数量和顺序应当一致，表示同步字段之间的对应关系。提交任务成功会返回任务的task-id。 返回值类型：text 同步目标表必须包含主键，且主键需要与hudi recordkey一致。 如果hudi表包含precombine字段，那么同步目标表也必须包含与之对应的字段。 如果同步目标表只包含主键（除了主键外没有其他字段），则无法正常提交同步任务。 用户需要有同步目标表的insert和update权限、HUDI外表的select权限，否则无法正常提交同步任务。 示例： 1 2 3 4 5 SELECT hudi_sync_task_submit('public.hudi_sync_i','public.hudi_mor_ft','_hoodie_commit_time, col_bigint, col_text', '_hoodie_commit_time, col_bigint, col_text'); hudi_sync_task_submit -------------------------------------- 646610bc-cdd1-0d00-d07d-b57e89a0fffe (1 row)

hudi_sync_task_submit(regclass, regclass, text, text, interval) 描述：功能与hudi_sync_task_submit(regclass, regclass, text, text)一致，不同之处在于，用户可以额外指定一个interval类型入参，用于指定任务的调度周期，取值范围为5秒至24小时。该函数仅8.2.1.300及以上版本支持。 返回值类型：text 同步目标表必须包含主键，且主键需要与hudi recordkey一致。 如果hudi表包含precombine字段，那么同步目标表也必须包含与之对应的字段。 如果同步目标表只包含主键（除了主键外没有其他字段），则无法正常提交同步任务。 用户需要有同步目标表的insert和update权限、HUDI外表的select权限，否则无法正常提交同步任务。 示例： 1 2 3 4 5 SELECT hudi_sync_task_submit('public.hudi_sync_i','public.hudi_mor_ft','_hoodie_commit_time, col_bigint, col_text', '_hoodie_commit_time, col_bigint, col_text', '10 minute 30second'); hudi_sync_task_submit -------------------------------------- 646610bc-cdd1-0d00-d07d-b57e89a0fffe (1 row)

hudi_sync_task_submit(regclass, regclass, interval) 描述：功能与hudi_sync_task_submit(regclass, regclass)一致。不同之处在于，用户可以额外指定一个interval类型入参，用于指定任务的调度周期，取值范围为5秒至24小时。提交任务成功会返回任务的task-id。该函数仅8.2.1.300及以上版本支持。 返回值类型：text 同步目标表必须包含主键，且主键需要与hudi recordkey一致。 如果hudi表包含precombine字段，那么同步目标表也必须包含与之对应的字段。 如果同步目标表只包含主键（除了主键外没有其他字段），则无法正常提交同步任务。 用户需要有同步目标表的insert和update权限、HUDI外表的select权限，否则无法正常提交同步任务。 示例： 1 2 3 4 5 SELECT hudi_sync_task_submit('public.hudi_sync_i','public.hudi_mor_ft','1 hour'); hudi_sync_task_submit -------------------------------------- 6465efe2-3ea1-0b00-dde5-b57dfb30fffe (1 row)