华为云用户手册

使用示例 gaussdb=# drop TABLE IF EXISTS "public".flashtest;NOTICE: table "flashtest" does not exist, skippingDROP TABLE--创建表gaussdb=# CREATE TABLE "public".flashtest (col1 INT,col2 TEXT) with(storage_type=ustore);NOTICE: The 'DISTRIBUTE BY' clause is not specified. Using 'col1' as the distribution column by default.HINT: Please use 'DISTRIBUTE BY' clause to specify suitable data distribution column.CREATE TABLE--查询csngaussdb=# select int8in(xidout(next_csn)) from gs_get_next_xid_csn(); int8in ---------- 79352065 79352065 79352065 79352065 79352065 79352065(6 rows)--查询当前的时间戳gaussdb=# select now(); now ------------------------------- 2023-09-13 19:46:34.102863+08(1 row)--查看表flashtestgaussdb=# SELECT * FROM flashtest; col1 | col2 ------+------(0 rows)--插入数据gaussdb=# INSERT INTO flashtest VALUES(1,'INSERT1'),(2,'INSERT2'),(3,'INSERT3'),(4,'INSERT4'),(5,'INSERT5'),(6,'INSERT6');INSERT 0 6gaussdb=# SELECT * FROM flashtest; col1 | col2 ------+--------- 3 | INSERT3 1 | INSERT1 2 | INSERT2 4 | INSERT4 5 | INSERT5 6 | INSERT6(6 rows)--闪回表至特定csngaussdb=# TIMECAPSULE TABLE flashtest TO CS N 79352065;TimeCapsule Tablegaussdb=# SELECT * FROM flashtest; col1 | col2 ------+------(0 rows)gaussdb=# select now(); now ------------------------------- 2023-09-13 19:52:21.551028+08(1 row)--插入数据gaussdb=# INSERT INTO flashtest VALUES(1,'INSERT1'),(2,'INSERT2'),(3,'INSERT3'),(4,'INSERT4'),(5,'INSERT5'),(6,'INSERT6');INSERT 0 6gaussdb=# SELECT * FROM flashtest; col1 | col2 ------+--------- 3 | INSERT3 6 | INSERT6 1 | INSERT1 2 | INSERT2 4 | INSERT4 5 | INSERT5(6 rows)--闪回表至特定的时间戳gaussdb=# TIMECAPSULE TABLE flashtest TO TIMESTAMP to_timestamp ('2023-09-13 19:52:21.551028', 'YYYY-MM-DD HH24:MI:SS.FF');TimeCapsule Tablegaussdb=# SELECT * FROM flashtest; col1 | col2 ------+------(0 rows)gaussdb=# select now(); now ------------------------------- 2023-09-13 19:54:00.641506+08(1 row)--插入数据gaussdb=# INSERT INTO flashtest VALUES(1,'INSERT1'),(2,'INSERT2'),(3,'INSERT3'),(4,'INSERT4'),(5,'INSERT5'),(6,'INSERT6');INSERT 0 6gaussdb=# SELECT * FROM flashtest; col1 | col2 ------+--------- 3 | INSERT3 6 | INSERT6 1 | INSERT1 2 | INSERT2 4 | INSERT4 5 | INSERT5(6 rows)--闪回表至特定的时间戳gaussdb=# TIMECAPSULE TABLE flashtest TO TIMESTAMP '2023-09-13 19:54:00.641506';TimeCapsule Tablegaussdb=# SELECT * FROM flashtest; col1 | col2 ------+------(0 rows)gaussdb=# drop TABLE IF EXISTS "public".flashtest;DROP TABLE

Heap空间管理 Ustore使用Free Space Map（FSM）文件记录了每个数据页的空闲空间，并且以树的结构组织起来。每当用户想要对某个表执行插入操作或者是非原位更新操作时，就会从该表对应的FSM中进行快速查找，查看当前FSM上记录的最大空闲空间是否可以满足插入所需的空间要求，如果满足则返回对应的blocknum用于执行插入操作，否则执行拓展页面逻辑。 每一个表或者分区对应的FSM结构存放在一个独立的FSM文件中，该FSM文件与表数据放在相同的目录下。例如，假设表t1对应的数据文件为32181，则其对应的FSM文件为32181_fsm。FSM内部同样是以数据块的格式存储，这里称为FSM block，FSM block之间的逻辑结构组成了一棵有三层节点的树，树的节点在逻辑上是大顶堆关系。每次在FSM上查找时从根节点进行，一直查找到叶子节点，然后在叶子节点内搜索到一个可用的页面并返回给业务用于执行后续操作。该结构不保证和数据页实际可用空间保持实时一致，会在DML的执行过程中进行维护。Ustore会在Auto Vacuum的过程中概率性对该FSM进行修复重建。 父主题： Relation

通用数据库服务层 从技术角度来看，存储引擎需要一些基础架构组件，主要包括： 并发：不同存储引擎选择正确的锁可以减少开销，从而提高整体性能。此外提供多版本并发控制或“快照”读取等功能。 事务：均需满足ACID的要求，提供事务状态查询等功能。 内存缓存：不同存储引擎在访问索引和数据时一般会对其进行缓存。缓存池允许直接从内存中处理经常使用的数据，从而加快了处理速度。 检查点：不同存储引擎一般都支持增量checkpoint/double write或全量checkpoint/full page write模式。应用可以根据不同条件进行选择增量或者全量，这个对存储引擎是透明的。 日志： GaussDB Kernel采用的是物理日志，其写入/传输/回放对存储引擎透明。 父主题： 存储引擎体系架构概述

示例 创建表 gaussdb=# CREATE TABLE web_returns_p2( ca_address_sk INTEGER NOT NULL , ca_address_id CHARACTER(16) NOT NULL , ca_street_number CHARACTER(10) , ca_street_name CHARACTER VARYING(60) , ca_street_type CHARACTER(15) , ca_suite_number CHARACTER(10) , ca_city CHARACTER VARYING(60) , ca_county CHARACTER VARYING(30) , ca_state CHARACTER(2) , ca_zip CHARACTER(10) , ca_country CHARACTER VARYING(20) , ca_gmt_offset NUMERIC(5,2) , ca_location_type CHARACTER(20))PARTITION BY RANGE (ca_address_sk)( PARTITION P1 VALUES LESS THAN(5000), PARTITION P2 VALUES LESS THAN(10000), PARTITION P3 VALUES LESS THAN(15000), PARTITION P4 VALUES LESS THAN(20000), PARTITION P5 VALUES LESS THAN(25000), PARTITION P6 VALUES LESS THAN(30000), PARTITION P7 VALUES LESS THAN(40000), PARTITION P8 VALUES LESS THAN(MAXVALUE))ENABLE ROW MOVEMENT; 创建索引 创建分区表LOCAL索引tpcds_web_returns_p2_index1，不指定索引分区的名称。 gaussdb=# CREATE INDEX tpcds_web_returns_p2_index1 ON web_returns_p2 (ca_address_id) LOCAL; 当结果显示为如下信息，则表示创建成功。 CREATE INDEX 创建分区表LOCAL索引tpcds_web_returns_p2_index2，并指定索引分区的名称。 gaussdb=# CREATE TABLESPACE example2 LOCATION '/home/omm/example2';gaussdb=# CREATE TABLESPACE example3 LOCATION '/home/omm/example3';gaussdb=# CREATE TABLESPACE example4 LOCATION '/home/omm/example4';gaussdb=# CREATE INDEX tpcds_web_returns_p2_index2 ON web_returns_p2 (ca_address_sk) LOCAL( PARTITION web_returns_p2_P1_index, PARTITION web_returns_p2_P2_index TABLESPACE example3, PARTITION web_returns_p2_P3_index TABLESPACE example4, PARTITION web_returns_p2_P4_index, PARTITION web_returns_p2_P5_index, PARTITION web_returns_p2_P6_index, PARTITION web_returns_p2_P7_index, PARTITION web_returns_p2_P8_index) TABLESPACE example2; 当结果显示为如下信息，则表示创建成功。 CREATE INDEX 创建分区表GLOBAL索引tpcds_web_returns_p2_global_index。 gaussdb=# CREATE INDEX tpcds_web_returns_p2_global_index ON web_returns_p2 (ca_street_number) GLOBAL; 当结果显示为如下信息，则表示创建成功。 CREATE INDEX 修改索引分区的表空间 修改索引分区web_returns_p2_P2_index的表空间为example1。 gaussdb=# ALTER INDEX tpcds_web_returns_p2_index2 MOVE PARTITION web_returns_p2_P2_index TABLESPACE example1; 当结果显示为如下信息，则表示修改成功。 ALTER INDEX –修改索引分区web_returns_p2_P3_index的表空间为example2。 gaussdb=# ALTER INDEX tpcds_web_returns_p2_index2 MOVE PARTITION web_returns_p2_P3_index TABLESPACE example2; 当结果显示为如下信息，则表示修改成功。 ALTER INDEX 重命名索引分区 执行如下命令对索引分区web_returns_p2_P8_index重命名web_returns_p2_P8_index_new。 gaussdb=# ALTER INDEX tpcds_web_returns_p2_index2 RENAME PARTITION web_returns_p2_P8_index TO web_returns_p2_P8_index_new; 当结果显示为如下信息，则表示重命名成功。 ALTER INDEX 查询索引 执行如下命令查询系统和用户定义的所有索引。 gaussdb=# SELECT RELNAME FROM PG_CLASS WHERE RELKIND='i' or RELKIND='I'; 执行如下命令查询指定索引的信息。 gaussdb=# \di+ tpcds_web_returns_p2_index2 删除索引 gaussdb=# DROP INDEX tpcds_web_returns_p2_index1; 当结果显示为如下信息，则表示删除成功。 DROP INDEX 清理示例 gaussdb=# DROP TABLE web_returns_p2;

创建分区表 由于SQL语言功能强大和灵活多样性，SQL语法树通常比复杂，分区表同样如此，分区表的创建可以理解成在原有非分区表的基础上新增表分区属性，因此分区表的语法接口可以看成是对原有非分区表CREATE TABLE语句进行扩展PARTITION BY语句部分，同时指定分区相关的三个核元素： 分区类型（partType）：描述分区表的分区策略，分别有RANGE/INTERVAL/LIST/HASH。 分区键（partKey）：描述分区表的分区列，目前RANGE/LIST分区支持多列（不超过16列）分区键，HASH分区只支持单列分区。 分区表达式（partExpr）：描述分区表的具体分区表方式，即键值与分区的对应映射关系。 这三部分重要元素在建表语句的Partition By Clause字句中体现，PARTITION BY partType (partKey) ( partExpr[,partExpr]…)。示例如下： CREATE TABLE [ IF NOT EXISTS ] partition_table_name( [ /* 该部分继承于普通表的Create Table */ { column_name data_type [ COLLATE collation ] [ column_constraint [ ... ] ] | table_constraint | LIKE source_table [ like_option [...] ] }[, ... ] ])[ WITH ( {storage_parameter = value} [, ... ] ) ][ COMPRESS | NOCOMPRESS ][ TABLESPACE tablespace_name ]/* 范围分区场景 */PARTITION BY RANGE (partKey) [ INTERVAL ('interval_expr') [ STORE IN (tablespace_name [, ... ] ) ] ] ( partition_start_end_item [, ... ] partition_less_then_item [, ... ])/* 列表分区场景 */PARTITION BY LIST (partKey)( PARTITION partition_name VALUES (list_values_clause) [ TABLESPACE tablespace_name [, ... ] ]...)/* 哈希分区场景 */PARTITION BY HASH (partKey) ( PARTITION partition_name [ TABLESPACE tablespace_name [, ... ] ]...)/* 开启/关闭分区表行迁移 */[ { ENABLE | DISABLE } ROW MOVEMENT ]; 规格约束： Range/List分区最大支持16个分区键，Hash分区只支持1个分区键。 除哈希分区外，分区键不能插入空值，否则DML语句会进行报错处理。唯一例外：Range分区表定义有MAXVALUE分区/List分区表定义有DEFAULT分区。 分区数最大值为1048575个，可以满足大部分业务场景的诉求。但分区数增加会导致系统中文件数增加，影响系统的性能，一般对于单个表而言不建议分区数超过200。

对列表分区表分割分区 使用ALTER TABLE SPLIT PARTITION可以对列表分区表分割分区。 例如，假设列表分区表list_sales的分区channel2定义范围为('6', '7', '8', '9')。可以指定分割点('6', '7'）将分区channel2分割为两个分区，并更新Global索引。 ALTER TABLE list_sales SPLIT PARTITION channel2 VALUES ('6', '7') INTO( PARTITION channel2_1, --第一个分区范围是('6', '7'） PARTITION channel2_2 --第二个分区范围是('8', '9'）) UPDATE GLOBAL INDEX; 或者，不指定分割点，将分区channel2分割为多个分区，并更新Global索引。 ALTER TABLE list_sales SPLIT PARTITION channel2 INTO( PARTITION channel2_1 VALUES ('6'), PARTITION channel2_2 VALUES ('8'), PARTITION channel2_3 --第三个分区范围是('7', '9'）)UPDATE GLOBAL INDEX; 又或者，通过指定分区值而不是指定分区名来分割分区。 ALTER TABLE list_sales SPLIT PARTITION FOR ('6') VALUES ('6', '7') INTO( PARTITION channel2_1, --第一个分区范围是('6', '7'） PARTITION channel2_2 --第二个分区范围是('8', '9'）) UPDATE GLOBAL INDEX; 若对DEFAULT分区进行分割，前面几个分区不能申明DEFAULT范围，最后一个分区会继承DEFAULT分区范围。 父主题： 分割分区

新增分区 用户可以在已建立的分区表中新增分区，来维护新业务的进行。当前各种分区表支持的分区上限为1048575，如果达到了上限则不能继续添加分区。同时需要考虑分区占用内存的开销，分区表使用内存大致为（分区数 * 3 / 1024）MB，分区占用内存不允许大于local_syscache_threshold的值，同时还需要预留部分空间以供其他功能使用。 新增分区不能作用于HASH分区上。 向范围分区表新增分区 向列表分区表新增分区 父主题： 分区表运维管理

分区表行迁移 用户可以使用ALTER TABLE ENABLE/DISABLE ROW MOVEMENT来开启/关闭分区表行迁移。 开启行迁移时，允许通过更新操作将一个分区中的数据迁移到另一个分区中；关闭行迁移时，如果出现这种更新行为，则业务报错。 如果业务明确不允许对分区键所在列进行更新操作，建议关闭分区表行迁移。 例如，创建列表分区表，并开启分区表行迁移，此时可以跨分区更新分区键所在列；关闭分区表行迁移后，对分区键所在列进行跨分区更新会业务报错。 CREATE TABLE list_sales( product_id INT4 NOT NULL, customer_id INT4 PRIMARY KEY, time_id DATE, channel_id CHAR(1), type_id INT4, quantity_sold NUMERIC(3), amount_sold NUMERIC(10,2))PARTITION BY LIST (channel_id)( PARTITION channel1 VALUES ('0', '1', '2'), PARTITION channel2 VALUES ('3', '4', '5'), PARTITION channel3 VALUES ('6', '7'), PARTITION channel4 VALUES ('8', '9')) ENABLE ROW MOVEMENT;INSERT INTO list_sales VALUES (153241,65143129,'2021-05-07','0',864134,89,34);--跨分区更新成功，数据从分区channel1迁移到分区channel2UPDATE list_sales SET channel_id = '3' WHERE channel_id = '0';--关闭分区表行迁移ALTER TABLE list_sales DISABLE ROW MOVEMENT;--跨分区更新失败，报错fail to update partitioned table "list_sales"UPDATE list_sales SET channel_id = '0' WHERE channel_id = '3';--分区内更新依然成功UPDATE list_sales SET channel_id = '4' WHERE channel_id = '3'; 父主题： 分区表运维管理

向列表分区表新增分区 使用ALTER TABLE ADD PARTITION可以在列表分区表中新增分区，新增分区的枚举值不能与已有的任一个分区的枚举值重复。 例如，对列表分区表list_sales新增一个分区。 ALTER TABLE list_sales ADD PARTITION channel5 VALUES ('X') TABLESPACE tb1; 当列表分区表有DEFAULT分区时，无法新增分区。可以使用ALTER TABLE SPLIT PARTITION命令分割分区。 父主题： 新增分区

静态编译架构 从整个数据库服务的组成构架来看，存储引擎向上对接SQL引擎，为SQL引擎提供或接收标准化的数据格式（元组或向量数组）；存储引擎向下对接存储介质，按照特定的数据组织方式，以页面、压缩单元（Compress Unit）或其他形式为单位，通过存储介质提供的特定接口，对存储介质中的数据完成读、写操作。GaussDB Kernel通过静态编译使数据库专业人员可以为特定的应用程序需求选择专用的存储引擎。为了减少对执行引擎的干扰，提供行存访问接口层TableAM，用来屏蔽底层行存引擎带来的差异，使得不同行存引擎可以分别独立演进。如下图所示。 在此基础之上，存储引擎通过日志系统提供数据的持久化和可靠性能力。通过并发控制（事务）系统保证同时执行的、多个读写操作之间的原子性、一致性和隔离性，通过索引系统提供对特定数据的加速寻址和查询能力，通过主备复制系统提供整个数据库服务的高可用能力。 行存引擎主要面向OLTP（OnLine Transaction Processing）类业务应用场景，适合高并发、小数据量的单点或小范围数据读写操作。行存引擎向上为SQL引擎提供元组形式的读写接口，向下以页面为单位通过可扩展的介质管理器对存储介质进行读写操作，并通过页面粒度的共享缓冲区来优化读写操作的效率。对于读写并发操作，采用多版本并发控制（MVCC，Multi-Version Concurrency Control）；对于写写并发操作，采用基于两阶段锁协议（2PL，Two-Phase Locking）的悲观并发控制（PCC，Pessimistic Concurrency Control）。当前，行存引擎默认的介质管理器采用磁盘文件系统接口，后续可扩展支持块设备等其他类型的存储介质。GaussDB Kernel行存引擎可以选择基于Append update 的Astore或基于In-place update的Ustore。 父主题： 存储引擎体系架构概述

安全地设置环境变量 环境变量HUAWEI_KMS_INFO中包含敏感信息，建议使用如下设置方式： 设置临时环境变量：使用密态数据库时，通过export命令设置环境变量；使用完，即通过unset命令清理环境变量。该方法中操作系统日志可能会记录敏感信息，建议使用进程级环境变量或使用JDBC接口对connection连接参数进行设置。 设置进程级环境变量：在应用程序代码中，通过编程接口设置环境变量，不同编程语言设置示例如下： C/C++：setenv(name, value)。 Go：os.Setenv(name, value)。 java暂不支持设置进程级环境变量，仅支持通过JDBC接口设置connection连接参数。

外部密钥服务的身份验证 当数据库驱动访问华为云密钥管理服务时，为避免攻击者伪装为密钥服务，在数据库驱动与密钥服务建立https连接的过程中，可通过CA证书验证密钥服务器的合法性。为此，需提前配置CA证书，如果未配置，将不会验证密钥服务的身份。配置方法如下： 华为云场景下，需在环境变量中增加如下参数： export HUAWEI_KMS_INFO='其他参数, iamCaCert=路径/ IAM 的CA证书文件, kmsCaCert=路径/KMS的CA证书文件' 大部分浏览器均会自动下载网站对应的CA证书，并提供证书导出功能。虽然，诸如https://www.ssleye.com/ssltool/certs_down.html等很多网站也提供自动下载CA证书的功能，但可能因本地环境中存在代理或网关，导致CA证书无法正常使用。所以，建议借助浏览器下载CA证书。下载方式如下： 由于我们使用restful接口访问密钥服务，当我们在浏览器输入接口对应的url时，可忽略下述2中的失败页面，因为即使在失败的情况下，浏览器早已提前自动下载CA证书。 输入 域名 ：打开浏览器，在华为云场景中，分别输入IAM服务的域名：iam.cn-north-4.myhuaweicloud.com/v3/auth/tokens与KMS的域名：kms.cn-north-4.myhuaweicloud.com/v1.0。 查找证书：在每次输入域名后，找到SSL连接相关信息，单击后会发现证书，继续单击可查看证书内容。 导出证书：在证书查看页面，可能会看到证书分为很多级，我们仅需要域名的上一级证书即可，选择该证书并单击导出，便可直接生成证书文件，即我们需要的证书文件。 上传证书：将导出的证书上传至应用端，并配置到上述参数中即可。

问题分析 在开启并行回放或串行回放的情况下（查询GUC参数recovery_parse_workers和recovery_max_workers均是1为串行回放；recovery_parse_workers是1，recovery_max_workers大于1为并行回放），备机的查询线程在做索引扫描时，会先对索引页面加读锁，每当扫到一个元组时会去判可见性，如果该元组对应的事务处于committing状态，需要等待该事务提交后再判断。而备机上的事务提交是依赖日志回放线程推进的，这个过程中会对索引页面进行修改，因此需要加锁。查询线程在等待过程中会释放索引页面的锁，否则会出现查询线程等待回放线程进行事务提交，而回放线程在等待查询线程释放锁。 该报错仅出现在查询与回放都需要访问同一个索引页面的场景下，查询线程在释放锁并等待事务结束过程中，访问的页面出现被修改的情况。 备机查询在扫到committing状态的元组时，需要等待事务提交是因为事务提交的顺序与产生日志的顺序可能是乱序的，例如主机上tx_1的事务比tx_2先提交，而备机上tx_1的commit日志在tx_2的commit日志之后回放，按照事务提交顺序来看tx_1对tx_2应当是可见的，所以需要等待事务提交。 备机查询在扫描索引页面时，发现页面元组数量（包含死元组）发生变化后不可重试，是因为在扫描时可能为正向或反向扫描，而举例来说页面发生分裂后一部分元组移动到右页面，在反向扫描的情况下即使重试只能向左扫描读取，无法再保证结果的正确性，并且由于无法分辨发生分裂或者插入，所以不可重试。 图1 问题分析

Ustore事务模型 GaussDB Kernel事务基础： 事务启动时不会自动分配XID，该事务中的第一条DML/DDL语句运行时才会真正为该事务分配XID。 事务结束时，会产生代表事务提交状态的C LOG （Commit Log），CLOG共有四种状态：事务运行中、事务提交、事务同步回滚、子事务提交。每个事务的 CLOG状态位为2 bits，CLOG页面上每个字节可以表示四个事务的提交状态。 事务结束时，还会产生代表事务提交顺序的CSN（Commit sequence number），CSN为实例级变量，每个XID都有自己对应的唯一CSN。CSN可以标记事务的以下状态：事务运行中、事务提交、事务同步回滚、事务正在提交、本事务为子事务、事务已冻结。 事务提交 事务回滚 父主题： Ustore存储引擎

范围分区 范围分区（Range Partition）根据为每个分区建立的分区键的值范围将数据映射到分区。范围分区是生产系统中最常见的分区类型，通常在以时间维度（Date、Time Stamp）描述数据场景中使用。范围分区有两种语法格式，示例如下： VALUES LESS THAN的语法格式 对于从句是VALUE LESS THAN的语法格式，范围分区策略的分区键最多支持16列。 单列分区键示例如下： gaussdb=# CREATE TABLE range_sales( product_id INT4 NOT NULL, customer_id INT4 NOT NULL, time DATE, channel_id CHAR(1), type_id INT4, quantity_sold NUMERIC(3), amount_sold NUMERIC(10,2))PARTITION BY RANGE (time)( PARTITION date_202001 VALUES LESS THAN ('2020-02-01'), PARTITION date_202002 VALUES LESS THAN ('2020-03-01'), PARTITION date_202003 VALUES LESS THAN ('2020-04-01'), PARTITION date_202004 VALUES LESS THAN ('2020-05-01'));--清理示例gaussdb=# DROP TABLE range_sales; 其中date_202002表示2020年2月的分区，将包含分区键值从2020年2月1日到2020年2月29日的数据。 每个分区都有一个VALUES LESS子句，用于指定分区的非包含上限。大于或等于该分区键的任何值都将添加到下一个分区。除第一个分区外，所有分区都具有由前一个分区的VALUES LESS子句指定的隐式下限。可以为最高分区定义MAXVALUE关键字，MAXVALUE表示一个虚拟无限值，其排序高于分区键的任何其他可能值，包括空值。 多列分区键示例如下： gaussdb=# CREATE TABLE range_sales_with_multiple_keys( c1 INT4 NOT NULL, c2 INT4 NOT NULL, c3 CHAR(1))PARTITION BY RANGE (c1,c2)( PARTITION p1 VALUES LESS THAN (10,10), PARTITION p2 VALUES LESS THAN (10,20), PARTITION p3 VALUES LESS THAN (20,10));gaussdb=# INSERT INTO range_sales_with_multiple_keys VALUES(9,5,'a');gaussdb=# INSERT INTO range_sales_with_multiple_keys VALUES(9,20,'a');gaussdb=# INSERT INTO range_sales_with_multiple_keys VALUES(9,21,'a');gaussdb=# INSERT INTO range_sales_with_multiple_keys VALUES(10,5,'a');gaussdb=# INSERT INTO range_sales_with_multiple_keys VALUES(10,15,'a');gaussdb=# INSERT INTO range_sales_with_multiple_keys VALUES(10,20,'a');gaussdb=# INSERT INTO range_sales_with_multiple_keys VALUES(10,21,'a');gaussdb=# INSERT INTO range_sales_with_multiple_keys VALUES(11,5,'a');gaussdb=# INSERT INTO range_sales_with_multiple_keys VALUES(11,20,'a');gaussdb=# INSERT INTO range_sales_with_multiple_keys VALUES(11,21,'a');gaussdb=# SELECT * FROM range_sales_with_multiple_keys PARTITION (p1); c1 | c2 | c3----+----+---- 9 | 5 | a 9 | 20 | a 9 | 21 | a 10 | 5 | a(4 rows)gaussdb=# SELECT * FROM range_sales_with_multiple_keys PARTITION (p2); c1 | c2 | c3----+----+---- 10 | 15 | a(1 row)gaussdb=# SELECT * FROM range_sales_with_multiple_keys PARTITION (p3); c1 | c2 | c3----+----+---- 10 | 20 | a 10 | 21 | a 11 | 5 | a 11 | 20 | a 11 | 21 | a(5 rows)--清理示例gaussdb=# DROP TABLE range_sales_with_multiple_keys; 多列分区的分区规则如下： 从第一列开始比较。 如果插入的值当前列小于分区当前列边界值，则直接插入。 如果插入的当前列等于分区当前列的边界值，则比较插入值的下一列与分区下一列边界值的大小。 如果插入的当前列大于分区当前列的边界值，则换下一个分区进行比较。 START END语法格式 对于从句是START END语法格式，范围分区策略的分区键最多支持1列。 示例如下： -- 创建表空间gaussdb=# CREATE TABLESPACE startend_tbs1 LOCATION '/home/omm/startend_tbs1';gaussdb=# CREATE TABLESPACE startend_tbs2 LOCATION '/home/omm/startend_tbs2';gaussdb=# CREATE TABLESPACE startend_tbs3 LOCATION '/home/omm/startend_tbs3';gaussdb=# CREATE TABLESPACE startend_tbs4 LOCATION '/home/omm/startend_tbs4';-- 创建临时schemagaussdb=# CREATE SCHEMA tpcds;gaussdb=# SET CURRENT_SCHEMA TO tpcds;-- 创建分区表，分区键是integer类型gaussdb=# CREATE TABLE tpcds.startend_pt (c1 INT, c2 INT)TABLESPACE startend_tbs1PARTITION BY RANGE (c2) ( PARTITION p1 START(1) END(1000) EVERY(200) TABLESPACE startend_tbs2, PARTITION p2 END(2000), PARTITION p3 START(2000) END(2500) TABLESPACE startend_tbs3, PARTITION p4 START(2500), PARTITION p5 START(3000) END(5000) EVERY(1000) TABLESPACE startend_tbs4)ENABLE ROW MOVEMENT;-- 查看分区表信息gaussdb=# SELECT relname, boundaries, spcname FROM pg_partition p JOIN pg_tablespace t ON p.reltablespace=t.oid and p.parentid='tpcds.startend_pt'::regclass ORDER BY 1;relname | boundaries | spcname-------------+------------+---------------p1_0 | {1} | startend_tbs2p1_1 | {201} | startend_tbs2p1_2 | {401} | startend_tbs2p1_3 | {601} | startend_tbs2p1_4 | {801} | startend_tbs2p1_5 | {1000} | startend_tbs2p2 | {2000} | startend_tbs1p3 | {2500} | startend_tbs3p4 | {3000} | startend_tbs1p5_1 | {4000} | startend_tbs4p5_2 | {5000} | startend_tbs4startend_pt | | startend_tbs1(12 rows)-- 清理示例gaussdb=# DROP TABLE tpcds.startend_pt;DROP TABLEgaussdb=# DROP SCHEMA tpcds;DROP SCHEMA 父主题： 分区策略

删除分区 用户可以使用删除分区的命令来移除不需要的分区。删除分区可以通过指定分区名或者分区值来进行。 删除分区不能作用于HASH分区上。 执行删除分区命令会使得Global索引失效，可以通过UPDATE GLOBAL INDEX子句来同步更新Global索引，或者用户自行重建Global索引。 使用ALTER TABLE DROP PARTITION可以删除指定分区表的任何一个分区，这个行为可以作用在范围分区表、列表分区表上。 例如，通过指定分区名删除范围分区表range_sales的分区date_202005，并更新Global索引。 ALTER TABLE range_sales DROP PARTITION date_202005 UPDATE GLOBAL INDEX; 或者，通过指定分区值来删除范围分区表range_sales中'2020-05-08'所对应的分区。由于不带UPDATE GLOBAL INDEX子句，执行该命令后Global索引会失效。 ALTER TABLE range_sales DROP PARTITION FOR ('2020-05-08'); 当分区表只有一个分区时，不支持通过ALTER TABLE DROP PARTITION命令删除分区。 当分区表为哈希分区表时，不支持通过ALTER TABLE DROP PARTITION命令删除分区。 父主题： 分区表运维管理

合并分区 用户可以使用合并分区的命令来将多个分区合并为一个分区。合并分区只能通过指定分区名来进行，不支持指定分区值的写法。 合并分区不能作用于哈希分区上。 执行合并分区命令会使得Global索引失效，可以通过UPDATE GLOBAL INDEX子句来同步更新Global索引，或者用户自行重建Global索引。 合并后的新分区，对于范围分区，可以与最后一个源分区名字相同，比如将p1,p2合并为p2；对于列表分区，可以与任一源分区名字相同，比如将p1,p2合并为p1。 如果新分区与源分区名字相同，数据库会将新分区视为对源分区的继承。 使用ALTER TABLE MERGE PARTITIONS可以将多个分区合并为一个分区。 例如，将范围分区表range_sales的分区date_202001和date_202002合并为一个新的分区，并更新Global索引。 ALTER TABLE range_sales MERGE PARTITIONS date_202001, date_202002 INTO PARTITION date_2020_old UPDATE GLOBAL INDEX; 父主题： 分区表运维管理

分区表动态剪枝 对于检索条件中存在带有变量的分区表查询语句，由于优化器阶段无法获取用户的绑定参数，因此优化器阶段仅能完成indexscan、bitmapindexscan、indexonlyscan等算子检索条件的解析，后续会在执行器阶段获得绑定参数后，完成分区筛选。算子包含的检索条件中需要至少包含一个分区键字段，对于含有多个分区键的分区表，包含任意分区键子集即可。目前分区表动态剪枝仅支持PBE（Prepare/Bind/Execute）场景和参数化路径场景。 PBE动态剪枝 参数化路径动态剪枝 父主题： 分区剪枝

整体流程 在使用全密态数据库的过程中，主要流程包括如下五个阶段，本节介绍整体流程，使用gsql操作密态数据库、使用JDBC操作密态数据库章节介绍详细使用流程。 一、生成主密钥阶段：首先，需在华为云密钥服务中，生成主密钥，并准备用于访问主密钥的参数，比如密钥ID、密钥服务账号等。 二、配置阶段：在数据库驱动侧，设置用于访问主密钥的参数。 三、执行DDL阶段：在本阶段，用户可使用密态数据库的密钥语法依次定义主密钥和列密钥，然后定义表并指定表中某列为加密列。定义主密钥和列密钥的过程中，需访问上一阶段生成的主密钥。 四、执行DML阶段：在创建加密表后，用户可直接执行包含但不限于INSERT、SELECT、UPDATE、DELETE等语法，数据库驱动会自动根据上一阶段的加密定义自动对加密列中的数据进行加解密。 五、清理阶段：依次删除加密表、列密钥和主密钥。

配置阶段 配置访问外部密钥的参数 华为云场景 通过环境变量配置如下信息： export HUAWEI_KMS_INFO='iamUrl=https://iam.{项目}.myhuaweicloud.com/v3/auth/tokens, iamUser={IAM用户名}, iamPassword={IAM用户密钥}, iamDomain={账号名}, kmsProject={项目}' 在华为云控制台中，点击右上角用户名，并进入“我的凭证”，可看到下图所示页面，该页面可获取上述所需参数：项目、IAM用户名、账号名。另外，请记住本页面的项目ID，在后续执行DDL阶段中创建主密钥语法时，需使用该项目ID。 图1 华为云参数获取页面 # 示例export HUAWEI_KMS_INFO='iamUrl=https://iam.cn-north-4.myhuaweicloud.com/v3/auth/tokens, iamUser=test_user, iamPassword=**********, iamDomain=test_account, kmsProject=cn-north-4'

生成主密钥阶段 首次使用密态数据库需要执行准备阶段步骤，后续跳过该阶段即可。 密态数据库支持使用不同的外部密钥来管理主密钥，根据场景选择其中一种即可。 华为云场景 用户需先在打开华为云官网，注册账号，登录账号。 在华为云中搜索“ 统一身份认证 服务”，进入该服务，如图所示选择“用户”功能，并创建一个IAM用户，为IAM用户设置IAM密码，并为新的IAM用户设置使用“ 数据加密 服务”的权限。 接下来，请重新回到登录页面，登录方式选择为“IAM用户”，使用新创建的IAM用户进行登录。后续操作均由该IAM用户完成。 在华为云中搜索“数据加密服务”，进入该服务，如下图所示选择“密钥管理”功能，并通过“创建密钥”按钮创建密钥，密钥创建成功后，可看到每个密钥都具有1个密钥ID。请记住该密钥ID，在后续执行DDL阶段中创建主密钥语法时，需使用该密钥ID。 本步生成的密钥即密态数据库中使用的主密钥，该密钥将由华为云密钥管理服务存储。以后执行与加解密相关的SQL语句时，数据库驱动会通过华为云的restful接口自动访问该密钥。

哈希分区 哈希分区（Hash Partition）基于对分区键使用哈希算法将数据映射到分区。使用的哈希算法为GaussDB内置哈希算法，在分区键取值范围不倾斜（no data skew）场景下，哈希算法在分区之间均匀分布行，使分区大小大致相同。因此哈希分区是实现分区间均匀分布数据的理想方法。哈希分区也是范围分区的一种易于使用的替代方法，尤其是当要分区的数据不是历史数据或没有明显的分区键时，示例如下： gaussdb=# CREATE TABLE bmsql_order_line ( ol_w_id INTEGER NOT NULL, ol_d_id INTEGER NOT NULL, ol_o_id INTEGER NOT NULL, ol_number INTEGER NOT NULL, ol_i_id INTEGER NOT NULL, ol_delivery_d TIMESTAMP, ol_amount DECIMAL(6,2), ol_supply_w_id INTEGER, ol_quantity INTEGER, ol_dist_info CHAR(24))--预先定义100个分区PARTITION BY HASH(ol_d_id)( PARTITION p0, PARTITION p1, PARTITION p2, … PARTITION p99); 上述例子中，bmsql_order_line表的ol_d_id进行了分区，ol_d_id列是一个identifier性质的属性列，本身并不带有时间或者某一个特定维度上的区分。使用哈希分区策略来对其进行分表处理则是一个较为理想的选择，相比其他分区类型，除了预先确保分区键没有过多数据倾斜（某一、某几个值重复度高），只需要指定分区键和分区数即可创建分区，同时还能够确保每个分区的数据均匀，提升了分区表的易用性。 父主题： 分区策略

加密模型 全密态数据库使用多级加密模型，加密模型中涉及3个对象：数据、列密钥和主密钥，以下是对3个对象的介绍： 数据： 指SQL语法中包含的数据，比如INSERT...VALUES ('data')语法中包含'data'。 指从数据库服务端返回的查询结果，比如执行SELECT...语法返回的查询结果。 密态数据库会在驱动中对SQL语法中属于加密列的数据进行加密，对数据库服务端返回的属于加密列的查询结果进行解密。 列密钥：数据由列密钥进行加密，列密钥由数据库驱动生成或由用户手动导入，列密钥密文存储在数据库服务端。 主密钥：列密钥由主密钥加密，主密钥由外部密钥管理者生成并存储。数据库驱动会自动访问外部密钥管理者，以实现对列密钥进行加解密。

数据分区运维管理 分区表技术为数据生命周期管理（Data Life Cycle Management，DLM）提供了灵活性的支持，数据生命周期管理是一组用于在数据的整个使用寿命中管理数据的过程和策略。其中一个重要组成部分是确定在数据生命周期的任何时间点存储数据的最合适和最经济高效的介质：日常操作中使用的较新数据存储在最快、可用性最高的存储层上，而不经常访问的较旧数据可能存储在成本较低、效率较低的存储层。较旧的数据也可能更新的频率较低，因此将数据压缩并存储为只读是有意义的。 分区表为实施DLM解决方案提供了理想的环境，通过不同分区使用不同表空间，最大限度在确保易用性的同时，实现了有效的数据生命周期的成本优化。这部分的设置由数据库运维人员在服务端设置操作完成，实际用户并不感知这一层面的优化设置，对用户而言逻辑上仍然是对同一张表的查询操作。此外不同分区可以分别实施备份、恢复、索引重建等运维性质的操作，能够对单个数据集不同子类进行分治操作，满足用户业务场景的差异化需求。 父主题： 大容量数据库

GaussDB Kernel R2版本 - Ustore增加新的基于原位更新的行存储引擎Ustore，首次实现新、旧版本的记录的分离存储。 - Ustore增加回滚段模块。 - Ustore增加回滚过程，支持同步/异步/页内模式。 - Ustore增加支持事务的增强版本B-tree。 - Astore增加闪回功能，支持闪回表/闪回查询/闪回Drop/闪回Truncate。 - Ustore不支持的特性包括：分布式/并行查询/Table Sampling/Global Temp Table/在线创建/重建索引/极致RTO/Vacuum Full/列约束DEFERRABLE以及INITIALLY DEFERRED。 父主题： 存储引擎更新说明

GaussDB Kernel 503版本 - Ustore适配分布式/并行查询/Global Temp Table/Vacuum full/列约束DEFERRABLE以及INITIALLY DEFERRED。 - Ustore增加在线重建索引。 - Ustore增加增强版本B-tree空页面估算，提升优化器代价估算准确度。 - Ustore增加存储引擎可靠性验证框架，Dignose Page/Page Verify。 - Ustore增强存储引擎相关的解析/检测/修复视图。 - Ustore增强基于WAL日志的定位能力，新增gs_redo_upage系统视图，支持对单页面的不断重放，获取并打印该页面的任何一个历史版本，加速页面损坏类问题的定位。 - Ustore扩展事务槽TD物理格式，为事务内空间复用做好铺垫。 - Ustore增加在线创建索引。 - Ustore适配闪回功能（for Ustore）/极致RTO。 父主题： 存储引擎更新说明

分区表介绍 分区表（Partitioned Table）指在单节点内对表数据内容按照分区键、以及围绕分区键的分区策略对表进行逻辑切分。从数据分区的角度来看是一种水平分区（horizontal partition）分区策略方式。分区表增强了数据库应用程序的性能、可管理性和可用性，并有助于降低存储大量数据的总体拥有成本。分区允许将表、索引和索引组织的表细分为更小的部分，使这些数据库对象能够在更精细的粒度级别上进行管理和访问。GaussDB提供了丰富的分区策略和扩展，以满足不同业务场景的需求。由于分区策略的实现完全由数据库内部实现，对用户是完全透明的，因此它几乎可以在实施分区表优化策略以后做平滑迁移，无需潜在耗费人力物力的应用程序更改。本章围绕GaussDB分区表的基本概念从以下几个方面展开介绍： 分区表基本概念：从表分区的基本概念出发，介绍分区表的catalog存储方式以及内部对应原理。 分区策略：从分区表所支持的基本类型出发，介绍各种分区模式下对应的特性以及能够达到的优化特点和效果。 基本概念 分区策略 分区基本使用 父主题： 分区表

工具函数示例 pg_get_tabledef获取分区表的定义，入参可以为表的oid或者表名。 SELECT pg_get_tabledef('test_range_pt'); pg_get_tabledef -------------------------------------------------------------------- SET search_path = public; + CREATE TABLE test_range_pt ( + a integer, + b integer, + c integer + ) + WITH (orientation=row, compression=no) + PARTITION BY RANGE (a) + ( + PARTITION p1 VALUES LESS THAN (2000) TABLESPACE pg_default, + PARTITION p2 VALUES LESS THAN (3000) TABLESPACE pg_default, + PARTITION p3 VALUES LESS THAN (4000) TABLESPACE pg_default, + PARTITION p4 VALUES LESS THAN (5000) TABLESPACE pg_default, + PARTITION p5 VALUES LESS THAN (MAXVALUE) TABLESPACE pg_default+ ) + ENABLE ROW MOVEMENT;(1 row) pg_stat_get_partition_tuples_hot_updated返回给定分区id的分区热更新元组数的统计。 在分区p1中插入10条数据并更新，统计分区p1的热更新元组数。 INSERT INTO test_range_pt VALUES(generate_series(1,10),1,1);INSERT 0 10SELECT pg_stat_get_partition_tuples_hot_updated(49294);pg_stat_get_partition_tuples_hot_updated------------------------------------------0(1 row)UPDATE test_range_pt SET b = 2;UPDATE 10SELECT pg_stat_get_partition_tuples_hot_updated(49294);pg_stat_get_partition_tuples_hot_updated------------------------------------------10(1 row)

使用Ustore进行测试 创建Ustore表 使用CREATE TABLE语句创建Ustore表。 gaussdb=# CREATE TABLE ustore_table(a INT PRIMARY KEY, b CHAR (20)) WITH (STORAGE_TYPE=USTORE);NOTICE: CREATE TABLE / PRIMARY KEY will create implicit index "ustore_table_pkey" for table "ustore_table"CREATE TABLEgaussdb=# \d+ ustore_tableTable "public.ustore_table"Column | Type | Modifiers | Storage | Stats target | Description--------+---------------+-----------+----------+--------------+-------------a | integer | not null | plain | |b | character(20) | | extended | |Indexes:"ustore_table_pkey" PRIMARY KEY, ubtree (a) WITH (storage_type=USTORE) TABLESPACE pg_defaultHas OIDs: noOptions: orientation=row, storage_type=ustore, compression=no 为Ustore表创建索引 Ustore当前仅支持B-tree类型的多版本索引，在一些场景中，为了区别于Astore的B-tree索引，也会将Ustore表的多版本B-tree索引称为UB-tree（Ustore B-tree，UB-tree介绍详见Index章节）。用户可以参照以下方式使用CREATE INDEX语句为Ustore表的 “a” 属性创建一个UB-tree索引。 Ustore表不指定创建索引类型，默认创建的是UB-tree索引： gaussdb=# CREATE INDEX UB-tree_index ON ustore_table(a);CREATE INDEXgaussdb=# \d+ ustore_tableTable "public.ustore_table"Column | Type | Modifiers | Storage | Stats target | Description--------+---------------+-----------+----------+--------------+-------------a | integer | not null | plain | |b | character(20) | | extended | |Indexes:"ustore_table_pkey" PRIMARY KEY, ubtree (a) WITH (storage_type=USTORE) TABLESPACE pg_default"ubtree_index" ubtree (a) WITH (storage_type=USTORE) TABLESPACE pg_defaultHas OIDs: noOptions: orientation=row, storage_type=ustore, compression=no 父主题： Ustore简介

前置建表相关信息 前置建表： CREATE TABLE test_range_pt (a INT, b INT, c INT)PARTITION BY RANGE (a)( PARTITION p1 VALUES LESS THAN (2000), PARTITION p2 VALUES LESS THAN (3000), partition p3 VALUES LESS THAN (4000), partition p4 VALUES LESS THAN (5000), partition p5 VALUES LESS THAN (MAXVALUE))ENABLE ROW MOVEMENT; 查看分区表oid SELECT oid FROM pg_class WHERE relname = 'test_range_pt';oid-------49290(1 row) 查看分区信息 SELECT oid,relname,parttype,parentid,boundaries FROM pg_partition WHERE parentid = 49290;oid | relname | parttype | parentid | boundaries-------+---------------+----------+----------+------------49293 | test_range_pt | r | 49290 |49294 | p1 | p | 49290 | {2000}49295 | p2 | p | 49290 | {3000}49296 | p3 | p | 49290 | {4000}49297 | p4 | p | 49290 | {5000}49298 | p5 | p | 49290 | {NULL}(6 rows) 创建索引 CREATE INDEX idx_range_a ON test_range_pt(a) LOCAL;CREATE INDEX--查看分区索引oidSELECT oid FROM pg_class WHERE relname = 'idx_range_a';oid-------90250(1 row) 查看索引分区信息 SELECT oid,relname,parttype,parentid,boundaries,indextblid FROM pg_partition WHERE parentid = 90250;oid | relname | parttype | parentid | boundaries | indextblid-------+----------+----------+----------+------------+------------90255 | p5_a_idx | x | 90250 | | 4929890254 | p4_a_idx | x | 90250 | | 4929790253 | p3_a_idx | x | 90250 | | 4929690252 | p2_a_idx | x | 90250 | | 4929590251 | p1_a_idx | x | 90250 | | 49294(5 rows)