检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FROM retail_obs_data.SALES_OBS; 导入数据需要一些时间,请耐心等待。
在“服务列表”中,选择“大数据 > 数据仓库服务 GaussDB(DWS)”。 左侧导航栏单击“专属集群 > 集群列表”,进入页面后,单击右上角的“创建数据仓库集群”按钮。 参见表2进行基础配置。 表2 基础配置 参数名称 配置方式 区域 选择“中国-香港”。
由于云上DWS是全托管服务,用户无法登录后台,无法使用copy进行导入导出文件,所以云上将copy语法禁掉。云上推荐将数据文件放到obs上,使用obs外表进行入库,如果需要使用copy导入导出数据,可以参考如下方法: 将数据文件放到客户端的机器上。 使用gsql连接集群。
背景介绍 当前存算分离架构为了降低存储成本会将用户数据存储到obs,这样会导致用户每次查询数据时都要发生网络IO去obs取数据,因此当前存算分离架构提供了磁盘缓存的能力,将用户预查询的数据缓存到本地磁盘,当实际查询数据流程时,数据已经缓存在本地,从而提升查询速度,在降低用户存储成本的同时尽可能的降低性能损耗
背景介绍 当前存算分离架构为了降低存储成本会将用户数据存储到obs,这样会导致用户每次查询数据时都要发生网络IO去obs取数据,因此当前存算分离架构提供了磁盘缓存的能力,将用户预查询的数据缓存到本地磁盘,当实际查询数据流程时,数据已经缓存在本地,从而提升查询速度,在降低用户存储成本的同时尽可能的降低性能损耗
数据存储:集群本地、OBS等。 数据导入的方式选择等。 父主题: 数据迁移
OPTIONS 用于指定外部服务器的各类参数。 支持的各类参数参见表2。 表2 OPTIONS参数说明 参数 描述 取值范围 address 指定的OBS服务终端节点或HDFS集群的IP地址。 OBS:OBS服务的终端节点(Endpoint)。
SERVER dfs_server 外表的外部服务器名称,这个server必须存在。外表通过设置外部服务器连接OBS/HDFS读取数据。 此处应参考创建外部服务器中创建的外部服务器名称填写。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。
CREATE TABLE OBS存算分离表数据支持异步读、异步写 OBS存算分离表数据支持异步读、异步写。 - OBS存算分离表支持并行analyze OBS存算分离表支持并行analyze,通过GUC参数enable_parallel_analyze控制,默认打开。
FOREIGN TABLE (SQL on OBS or Hadoop) 父主题: DDL语法
TABLE (GDS导入导出),CREATE FOREIGN TABLE (SQL on OBS or Hadoop) 父主题: DDL语法
创建外部服务器 仅Hive对接OBS场景执行,Hive对接HDFS场景跳过。 连接已创建好的DWS集群。 执行以下语句,创建外部服务器。{AK值}、{SK值}由准备环境获取。
在MRS集群上创建了Spark Hudi表,且表数据已经存储到该表对应的OBS路径上。 如果您已经完成上述准备,则可以跳过本章节。 为方便起见,以在MRS集群上创建Spark Hudi表作为示例,完成上述准备工作。 在MRS集群上创建Spark Hudi表 创建了MRS集群。
创建外部服务器 仅Hive对接OBS场景执行,Hive对接HDFS场景跳过。 使用Data Studio连接已创建好的DWS集群。 执行以下语句,创建外部服务器。
本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、数据湖探索 DLI、对象存储服务 OBS和数据仓库服务 GaussDB(DWS),基本流程如下: 准备工作 步骤一:准备DLI源端数据 步骤二:创建GaussDB(DWS)集群 步骤三:获取GaussDB(DWS
存算分离:计算节点本地盘仅做数据缓存和存储元数据,用户数据存储在OBS对象存储上。 存储类型 SSD云盘 SSD云盘:使用SSD类型的EVS作为数据存储介质,存储容量更加灵活,支持磁盘扩容。
本实践预计时长90分钟,实践用到的云服务包括虚拟私有云 VPC及子网、云数据库 RDS、数据湖探索 DLI、对象存储服务 OBS和数据仓库服务 GaussDB(DWS),基本流程如下: 准备工作:注册账号,准备网络等。
pgxc_group_add_subscription(src_vw_name, target_vw_name) 描述:存算分离架构下,逻辑集群(Virtual Warehouse,以下简称VW)之间建立KV订阅关系,建立了订阅关系之后,消费者VW的KVcahce会定期的从生产者的obs
pgxc_group_add_subscription(src_vw_name, target_vw_name) 描述:存算分离架构下,逻辑集群(Virtual Warehouse,以下简称VW)之间建立KV订阅关系,建立了订阅关系之后,消费者VW的KVcahce会定期的从生产者的obs
分析表 ANALYZE支持的表类型有行/列存表、HDFS表、ORC/CARBONDATA格式的OBS外表。ANALYZE同时也支持对本地表的指定列进行信息统计。