1 chown -R gdsuser:gdsgrp /output_data 父主题: 使用GDS导出数据到远端服务器
创建弹性云服务器ECS 参考《弹性云服务器用户指南》创建弹性云服务器,创建的规格可参见下表。 由于TPC-DS、TPC-H数据集占用空间较大,以TPC-DS 1000X和TPC-H 1000X为例,分别占用930GB和1100GB。
工具简介 本手册介绍数据仓库服务的工具使用,提供了客户端工具和服务端工具,客户端工具如表1所示,服务端工具如表2所示。 客户端工具:参见工具下载获取。 服务端工具:位于安装数据库服务器的$GPHOME/script和$GAUSSHOME/bin路径下。
工具简介 本手册介绍数据仓库服务的工具使用,提供了客户端工具和服务端工具,客户端工具如表1所示,服务端工具如表2所示。 客户端工具:参见工具下载获取。 服务端工具:位于安装数据库服务器的$GPHOME/script和$GAUSSHOME/bin路径下。
工具简介 本手册介绍数据仓库服务的工具使用,提供了客户端工具和服务端工具,客户端工具如表1所示,服务端工具如表2所示。 客户端工具:参见工具下载获取。 服务端工具:位于安装数据库服务器的$GPHOME/script和$GAUSSHOME/bin路径下。
最新动态(html) 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。
None 操作指导 快速入门 03:19 数据仓库服务快速创建DWS集群并进行表创建,数据插入和简单查询。 集群管理 02:27 数据仓库服务扩容、重启、查看集群监控指标等在华为云管理控制台上的常用操作。
GDS导出示例 Remote模式导出 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,导出数据文件格式为CSV,所以规划的并行导出模式为Remote模式。
前提条件 GDS服务器和DWS集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与DWS集群应处于同一区域、同一虚拟私有云和子网。 操作步骤 在DWS中创建目标表,用于存储导入的数据。建表语句请参见CREATE TABLE。
创建GDS外表 外表中配置了数据源格式信息、GDS服务的访问信息,从而DWS最终可以通过外表将数据服务器上的数据引流进数据库实表中。 操作步骤 收集数据源格式信息、GDS服务的访问信息。
其中设置的导出模式信息如下所示: 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,待导出的数据文件格式为CSV,选择并行导出模式为Remote模式。
执行导出数据 前提条件 需要确保每一个CN和DN所在服务器到GDS服务器的IP和端口是互通的。
主服务器 enable_data_replicate 参数说明:当数据库在数据导入行存表时,主机与备机的数据同步方式可以进行选择。 参数类型:USERSET 取值范围:布尔型 on表示导入数据行存表时主备数据采用数据页的方式进行同步。
数据服务器:数据源文件所在的服务器称为数据服务器。基于安全考虑,建议数据服务器和DWS集群处于同一内网。 外表Foreign Table:用于识别数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。是关联数据文件与数据库实表(目标表)的对象。
支持多个GDS服务并发导出,但1个GDS在同一时刻,只能为1个集群提供导出服务。 配置与集群节点处于统一内网的GDS服务,导出速率受网络带宽影响,推荐的网络配置为10GE。 支持数据文件格式:TEXT、CSV和FIXED。单行数据大小需<1GB。
主服务器 enable_data_replicate 参数说明:当数据库在数据导入行存表时,主机与备机的数据同步方式可以进行选择。 参数类型:USERSET 取值范围:布尔型 on表示导入数据行存表时主备数据采用数据页的方式进行同步。
服务器信号函数 服务器信号函数向其他服务器进程发送控制信号。只有系统管理员才能使用这些函数。 pg_cancel_backend(pid int) 描述:取消一个后端的当前查询。
服务器信号函数 服务器信号函数向其他服务器进程发送控制信号。只有系统管理员才能使用这些函数。 pg_cancel_backend(pid int) 描述:取消一个后端的当前查询。
GDS工具包需要安装在数据源文件所在的服务器上,数据源文件所在的服务器称为数据服务器,也叫GDS服务器。 本教程仅用于测试环境演示,如果您在实际业务导入场景,应综合考虑GDS服务器与DWS集群之间的网络、GDS服务器配置等,参见了解更多:GDS导入数据调优实践。
DWS添加云监控服务的告警规则时会话数阈值如何设置? 连接数据库后,执行以下SQL语句可以查看当前全局最大并发会话数。 1 show max_active_statements; 进入到云监控界面,根据查出的全局最大并发会话数,取70%-80%为阈值即可。