pgxc_group_add_subscription(src_vw_name, target_vw_name) 描述:存算分离架构下,逻辑集群(Virtual Warehouse,以下简称VW)之间建立KV订阅关系,建立了订阅关系之后,消费者VW的KVcahce会定期的从生产者的obs
pgxc_group_add_subscription(src_vw_name, target_vw_name) 描述:存算分离架构下,逻辑集群(Virtual Warehouse,以下简称VW)之间建立KV订阅关系,建立了订阅关系之后,消费者VW的KVcahce会定期的从生产者的obs
创建外部服务器 仅Hive对接OBS场景执行,Hive对接HDFS场景跳过。 使用Data Studio连接已创建好的DWS集群。 执行以下语句,创建外部服务器。
分析表 ANALYZE支持的表类型有行/列存表、HDFS表、ORC/CARBONDATA格式的OBS外表。ANALYZE同时也支持对本地表的指定列进行信息统计。
冷数据存储将不更新,偶尔被查询,对访问的响应时间要求不高的冷数据存储在OBS中。
全量导出:将查询SQL的所有结果导出到指定的OBS桶下的路径中,默认为csv文件。 具体操作请参见导出数据。
本实践预计时长90分钟,实践用到的云服务包括虚拟私有云 VPC及子网、云数据库 RDS、数据湖探索 DLI、对象存储服务 OBS和数据仓库服务 DWS,基本流程如下: 准备工作:注册账号,准备网络等。 步骤一:准备MySQL数据:购买云服务RDS,并创建源表和插入数据。
Jar包首先需要放置到OBS服务器中,放置方法具体请参见《对象存储服务控制台指南》的上传文件章节。接着创建访问密钥AK/SK,获取访问密钥的具体步骤,请参见创建访问密钥(AK和SK)章节。
SQL on Hudi支持读取存储在MRS上的hudi表,在使用上仅创建数据源与OBS不同,其他无差异。
SQL on Hudi支持读取存储在MRS上的hudi表,在使用上仅创建数据源与OBS不同,其他无差异。
手动创建外部服务器 创建外表语法(CREATE FOREIGN TABLE (SQL on Hadoop or OBS))中,需指定一个与MRS数据源连接相关联的外部服务器。
Jar包首先需要放置到OBS服务器中,放置方法具体请参见《对象存储服务控制台指南》的上传文件章节。接着创建访问密钥AK/SK,获取访问密钥的具体步骤,请参见创建访问密钥(AK和SK)章节。
如果没有可选择的OBS桶,可以单击“查看OBS桶”进入OBS管理控制台创建新的OBS桶,具体操作请参见《对象存储服务控制台指南》中的“管理桶 > 创建桶”章节。
本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、数据湖探索 DLI、对象存储服务 OBS和数据仓库服务 DWS,基本流程如下: 准备工作 步骤一:准备DLI源端数据 步骤二:创建DWS集群 步骤三:获取DWS外部服务器所需鉴权信息。
数据开发设置 操作步骤 编辑器提供基础的设置,包含操作栏、快捷键和存储设置,如果没有对应的OBS桶,可以跳转去创建,具体操作请参见《对象存储服务控制台指南》中的“管理桶 > 创建桶”章节。 登录DWS管理控制台。 在左侧导航栏中,选择“数据 > SQL编辑器”。
注意,以下语句中的<obs_bucket_name>代表OBS桶名,仅支持部分区域,当前支持的区域和对应的OBS桶名请参见表1。DWS集群不支持跨区域访问OBS桶数据。 外表字段需与即将注入数据的普通表字段保持一致。
OBS路径的残留文件该项为0。 inode bigint 残留文件stat信息中的Inode。OBS路径的残留文件该项为0。 atime timestamptz 残留文件stat信息中的Access time。OBS路径的残留文件该项为空。
OBS路径的残留文件该项为0。 inode bigint 残留文件stat信息中的Inode。OBS路径的残留文件该项为0。 atime timestamptz 残留文件stat信息中的Access time。OBS路径的残留文件该项为空。
折扣套餐 GaussDB(DWS) 提供折扣套餐的计费模式,根据服务购买时长,一次性支付费用。最短时长为1个月,最长时长为3年。
约束与限制 手动创建的快照支持备份到OBS服务、NFS介质。 待创建集群粒度快照的集群状态必须为“可用”、“待重启”或“非均衡”中的任意一种,当集群版本低于8.1.3.101时,“只读”状态的集群也可创建集群粒度的快照。