数据仓库服务 GAUSSDB(DWS)-9.0.x版本说明(云原生3.0):9.0.2版本

时间:2024-05-08 15:29:53

9.0.2版本

新增功能

表2 9.0.2版本新增功能

场景

特性

描述

参考文档

湖仓一体

一键湖仓

通过create external schema直接对接HiveMetaStore元数据,避免复杂的create foreign table操作。

跨集群访问HiveMetaStore

外表analyze支持并行

通过enable_parallel_analyze参数控制,默认打开,显著提升analyze统计信息收集的速度。

注:外表不具备auto analyze能力,建议导数之后手动做analyze收集统计信息。

enable_parallel_analyze

外表支持parquet/orc格式读写

支持覆盖写、追加写,支持多级分区读写。

CREATE FOREIGN TABLE (SQL on OBS or Hadoop)

disk cache加速外表读

外表支持使用本地disk cache进行读加速。

-

外表支持datamasking,支持行级访问控制

外表支持datamasking,支持行级访问控制

-

存算分离

计算、存储分离

列存表通过指定COLVERSION=3.0创建为OBS存算分离表,用户数据存储在OBS存储,按需收费。

CREATE TABLE

OBS存算分离表数据支持异步读、异步写

OBS存算分离表数据支持异步读、异步写。

-

OBS存算分离表支持并行analyze

OBS存算分离表支持并行analyze,通过GUC参数enable_parallel_analyze控制,默认打开。

enable_parallel_analyze

备份恢复

OBS存算分离表只支持全量备份恢复。

-

支持弹性VW

弹性VW(Virtual Warehouse,逻辑集群)支持读写加速,弹性VW启动固定耗时12min,与系统当前的节点规模、对象数、数据量无关,可通过增加弹性VW提升系统的读写能力、并发能力、资源隔离能力。

定时增删DWS 3.0逻辑集群

支持弹性扩容和经典扩容

弹性扩容不会对OBS上的数据进行重分布,经典扩容会重分布所有数据,系统会根据table_buckets/总dn数的值是否超出[min_table_buckets_per_dn, max_table_buckets_per_dn]区间,自动决定采用何种扩容方式。

扩容对系统的影响

新增OBS监控视图

新增OBS监控视图PGXC_OBS_IO_SCHEDULER_PERIODIC_STATS。

PGXC_OBS_IO_SCHEDULER_PERIODIC_STATS

新增磁盘缓存视图

新增磁盘缓存视图PGXC_DISK_CACHE_STATS、PGXC_DISK_CACHE_ALL_STATS。

PGXC_DISK_CACHE_STATS

PGXC_DISK_CACHE_ALL_STATS

残留文件清理

新增残留文件检测、清理函数pgxc_scan_residualfiles、pgxc_rm_scan_residualfiles_archive

pgxc_scan_residualfiles()

pgxc_rm_scan_residualfiles_archive()

性能优化

优化sort内存排序性能

优化sort内存排序性能。

-

【行为变更】

support.huaweicloud.com/bulletin-dws/dws_12_0009.html