GaussDB(DWS) JDBC配置规则 目前,GaussDB(DWS)相关的第三方工具可以通过JDBC进行连接的,此部分将介绍工具配置时的注意事项。 连接参数 【关注】第三方工具通过JDBC连接GaussDB(DWS)时,JDBC向GaussDB(DWS)发起连接请求,会默认添加以下配置参数
GaussDB(DWS) SQL编写规则 DDL 【建议】在GaussDB(DWS)中,建议DDL(建表、comments等)操作统一执行,在批处理作业中尽量避免DDL操作。避免大量并发事务对性能的影响。 【建议】在非日志表(unlogged table)使用完后,立即执行数据清理
创建和管理DWS分区表 分区表就是把逻辑上的一张表根据分区策略分成几张物理块库进行存储,这张逻辑上的表称之为分区表,物理块称之为分区。分区表是一张逻辑表,不存储数据,数据实际是存储在分区上的。当进行条件查询时,系统只会扫描满足条件的分区,避免全表扫描,从而提升查询性能。 分区表的优势
创建和管理DWS数据库 数据库(Database)是表、索引、视图、存储过程、操作符等对象的集合。DWS支持创建多个数据库,但是客户端程序一次只能连接并访问一个数据库,无法跨数据库进行查询。 模板和默认数据 DWS提供了两个模板数据库template0、template1,以及一个默认的数据库
在“服务列表”中,选择“大数据 > 数据仓库服务 DWS”。 左侧导航栏单击“专属集群 > 集群列表”,进入页面后,单击右上角的“创建数据仓库集群”按钮。 参见表2进行基础配置。 表2 基础配置 参数名称 配置方式 区域 选择“中国-香港”。
导入OBS桶数据到DWS集群及从DWS导出数据到OBS桶 将样例数据上传OBS,并通过OBS外表访问OBS桶内的数据或导入数据到DWS,同时也支持将DWS的某张表数据导出到OBS桶。 使用GDS从远端服务器上导入表数据到DWS集群 使用GDS工具将远端服务器上的数据导入DWS。
参数表示客户端和服务端密码哈希迭代次数。 父主题: 8.1.3版本说明
导入导出 导入数据到DWS最佳实践 导入OBS桶数据到DWS集群及从DWS导出数据到OBS桶 使用GDS从远端服务器上导入表数据到DWS集群 从MRS Hive导入表数据到DWS集群 使用EXTERNAL SCHEMA跨集群访问HiveMetaStore元数据 从DLI导入表数据到
创建和管理GaussDB(DWS) Schema Schema又称作模式,从逻辑上组织一个数据库中的对象和数据。通过管理Schema,允许多个用户使用同一数据库而不相互干扰,同时便于将第三方应用添加到相应的Schema下而不引起冲突。 相同的数据库对象名称可以应用在同一数据库的不同
创建和管理GaussDB(DWS)视图 视图允许用户保存常用的或者复杂的查询。视图在磁盘上并没有被物理存储,当用户访问视图时查询会作为一个子查询运行。数据库中仅存放视图的定义,而不存放视图对应的数据,这些数据仍存放在原来的基本表中。若基本表中的数据发生变化,从视图中查询出的数据也随之改变
PG_LARGEOBJECT PG_LARGEOBJECT系统表保存那些标记着“大对象”的数据。一个大对象是使用其创建时分配的OID标识的。每个大对象都分解成足够小的小段或者“页面”以便以行的形式存储在PG_LARGEOBJECT里。每页的数据定义为LOBLKSIZE。 需要有系统管理员权限才可以访问此系统表
PG_LARGEOBJECT PG_LARGEOBJECT系统表保存那些标记着“大对象”的数据。一个大对象是使用其创建时分配的OID标识的。每个大对象都分解成足够小的小段或者“页面”以便以行的形式存储在PG_LARGEOBJECT里。每页的数据定义为LOBLKSIZE。 需要有系统管理员权限才可以访问此系统表
500 服务内部错误。 503 服务不可用。 父主题: 集群管理
如果DWS建表时没有指定分布列,数据会怎么存储? 8.1.2及以上集群版本,可通过GUC参数default_distribution_mode来查询和设置表的默认分布方式。 如果建表时没有指定分布列,数据会以下几种场景来存储: 场景一 若建表时包含主键/唯一约束,则选取HASH分布
空间数据类型 概述 MySQL具有对应于OpenGIS类的空间数据类型。DSC工具支持以下列出类型转换。 类型对照 表1 空间数据类型对照表 MySQL空间数据类型 MySQL INPUT GaussDB(DWS) OUTPUT GEOMETRY GEOMETRY GEOMETRY
配置DWS数据库的Schema存储空间 功能介绍 存储资源无节制的使用可能导致磁盘满,进而导致集群异常、业务中断。磁盘满问题具有业务恢复难度大、恢复时间长的特点,通过引入数据库只读,极大概率降低了磁盘满问题的发生,但是数据库只读同样会导致业务中断,影响业务连续性。为解决数据库只读问题
创建外部服务器 仅Hive对接OBS场景执行,Hive对接HDFS场景跳过。 连接已创建好的DWS集群。 执行以下语句,创建外部服务器。{AK值}、{SK值}由准备环境获取。
DWS 已预先将样例数据上传到OBS桶的“retail-data”文件夹中,并给所有华为云用户赋予了该OBS桶的只读访问权限。
PG_OBJECT PG_OBJECT系统表存储限定类型对象(object_type中存在的类型)的创建用户、创建时间、最后修改时间和最后analyze时间。 表1 PG_OBJECT字段 名称 类型 描述 object_oid oid 对象标识符。 object_type "char
PG_OBJECT PG_OBJECT系统表存储限定类型对象(object_type中存在的类型)的创建用户、创建时间、最后修改时间和最后analyze时间。 表1 PG_OBJECT字段 名称 类型 描述 object_oid oid 对象标识符。 object_type "char