创建和管理GaussDB(DWS)分区表 分区表就是把逻辑上的一张表根据分区策略分成几张物理块库进行存储,这张逻辑上的表称之为分区表,物理块称之为分区。分区表是一张逻辑表,不存储数据,数据实际是存储在分区上的。当进行条件查询时,系统只会扫描满足条件的分区,避免全表扫描,从而提升查询性能
创建外部服务器 仅Hive对接OBS场景执行,Hive对接HDFS场景跳过。 连接已创建好的DWS集群。 执行以下语句,创建外部服务器。{AK值}、{SK值}由准备环境获取。
PG_OBJECT PG_OBJECT系统表存储限定类型对象(object_type中存在的类型)的创建用户、创建时间、最后修改时间和最后analyze时间。 表1 PG_OBJECT字段 名称 类型 描述 object_oid oid 对象标识符。 object_type "char
PG_OBJECT PG_OBJECT系统表存储限定类型对象(object_type中存在的类型)的创建用户、创建时间、最后修改时间和最后analyze时间。 表1 PG_OBJECT字段 名称 类型 描述 object_oid oid 对象标识符。 object_type "char
在MRS集群上创建了Spark Hudi表,且表数据已经存储到该表对应的OBS路径上。 如果您已经完成上述准备,则可以跳过本章节。 为方便起见,以在MRS集群上创建Spark Hudi表作为示例,完成上述准备工作。 在MRS集群上创建Spark Hudi表 创建了MRS集群。
导出数据 导出数据到OBS 导出ORC和PARQUET数据到MRS 使用GDS导出数据到远端服务器
数据迁移 DWS的OBS外表与GDS外表支持的数据格式有什么区别? 数据如何存储到DWS? DWS可以存储多少业务数据? 如何使用DWS的\copy导入导出? 如何实现DWS不同编码库之间数据容错导入 DWS导入性能都和哪些因素有关联?
在冷热切换时,需要将数据迁移至OBS表空间中。其中HPN为整型,范围为[0,1600]。其中HPN为0时,表示不保留热分区,在进行冷热切换时,将所有有数据的分区都转为冷分区并存储在OBS上。
语法一览表 ALTER BLOCK RULE ALTER DATABASE ALTER EXCEPT RULE ALTER EXTERNAL SCHEMA ALTER FOREIGN TABLE (GDS导入导出) ALTER FOREIGN TABLE (For HDFS or OBS
如果服务器要求密码认证并且密码没有通过其它形式给出,则连接尝试将会失败。 该选项在批量工作和不存在用户输入密码的脚本中很有帮助。 -W, --password 指定用户连接的密码。
语法一览表 ALTER BLOCK RULE ALTER DATABASE ALTER EXCEPT RULE ALTER EXTERNAL SCHEMA ALTER FOREIGN TABLE (GDS导入导出) ALTER FOREIGN TABLE (For HDFS or OBS
自定义DWS外部函数(pgSQL/Java)使用规则 【关注】Java UDF可以实现一些java逻辑计算,禁止在Java UDF中封装业务。 【关注】禁止在Java函数中使用任何方式连接数据库,包括但不限于JDBC。 【关注】只能选择下表中的数据类型,不支持自定义类型、复杂数据类型
VARCHAR(n)存储中文字符,提示value too long for type character varying? 问题现象 VARCHAR(18)的字段,存储8个中文字符长度不够,报如下所示的错误: 1 org.postgresql.util.PSQLException:
导入数据 从OBS并行导入数据 使用GDS从远端服务器导入数据 从MRS导入数据到集群 使用LakeFormation数据源导入数据 基于GDS的跨集群互联互通 使用gsql元命令\COPY导入数据 使用COPY FROM STDIN导入数据 跨集群访问Hive Metastore
K-O K 快照 快照是对一个数据仓库集群的一次全量数据备份,快照存储在OBS存储空间中。 快照恢复 创建好的快照支持在原有规格的新集群中进行恢复,当前仅支持在新创建的集群中进行恢复。 L 联机分析处理 使用多维结构为分析提供对数据的快速访问的技术。
图解数据仓库服务
SQL on Anywhere SQL on hudi OBS / HDFS / DLI
单击企业项目名称,可进入企业项目服务的Console页面对企业项目进行查看和编辑。
该处记录的语句状态应为数据库服务端执行状态,当服务器端执行成功,结果集返回时报错,该语句应为finished。 abort_info text 语句执行结束状态为aborted时显示异常信息。 resource_pool text 用户使用的资源池。
该处记录的语句状态应为数据库服务端执行状态,当服务器端执行成功,结果集返回时报错,该语句应为finished。 abort_info text 语句执行结束状态为aborted时显示异常信息。 resource_pool text 用户使用的资源池。