该参数受enable_aio_scheduler和obs_worker_pool_size的前置控制;只有在enable_aio_scheduler=on以及obs_worker_pool_size>=4的前提下,此参数为on才会生效。
500 服务内部错误。 503 服务不可用。 父主题: 数据源
业务数据安全 数据仓库服务构建在公有云的基础软件设施之上,包括云主机弹性云服务器和对象存储服务OBS。弹性云服务器和OBS服务2017年双双通过了中国数据中心联盟的可信云认证 。
READ_SEGMENT_TYPE:合并多个OBS读请求的实体。 SHARED_OBS_HANDLE_TYPE:用于连接OBS服务的OBS Handler资源。
READ_SEGMENT_TYPE:合并多个OBS读请求的实体。 SHARED_OBS_HANDLE_TYPE:用于连接OBS服务的OBS Handler资源。
冷热表用户函数 pg_obs_cold_refresh_time(table_name, time) 描述:用来修改冷热表的冷数据切换至OBS上的时间,默认为每日0点。 table_name为冷热表的表名,类型为name,time为数据切换任务调度时间,类型为Time。
冷热表用户函数 pg_obs_cold_refresh_time(table_name, time) 描述:用来修改冷热表的冷数据切换至OBS上的时间,默认为每日0点。 table_name为冷热表的表名,类型为name,time为数据切换任务调度时间,类型为Time。
由于云上DWS是全托管服务,用户无法登录后台,无法使用copy进行导入导出文件,所以云上将copy语法禁掉。云上推荐将数据文件放到obs上,使用obs外表进行入库,如果需要使用copy导入导出数据,可以参考如下方法: 将数据文件放到客户端的机器上。 使用gsql连接集群。
背景介绍 当前存算分离架构为了降低存储成本会将用户数据存储到obs,这样会导致用户每次查询数据时都要发生网络IO去obs取数据,因此当前存算分离架构提供了磁盘缓存的能力,将用户预查询的数据缓存到本地磁盘,当实际查询数据流程时,数据已经缓存在本地,从而提升查询速度,在降低用户存储成本的同时尽可能的降低性能损耗
背景介绍 当前存算分离架构为了降低存储成本会将用户数据存储到obs,这样会导致用户每次查询数据时都要发生网络IO去obs取数据,因此当前存算分离架构提供了磁盘缓存的能力,将用户预查询的数据缓存到本地磁盘,当实际查询数据流程时,数据已经缓存在本地,从而提升查询速度,在降低用户存储成本的同时尽可能的降低性能损耗
DWS 已预先将样例数据上传到OBS桶的“retail-data”文件夹中,并给所有华为云用户赋予了该OBS桶的只读访问权限。
存算分离:计算节点本地盘仅做数据缓存和存储元数据,用户数据存储在OBS对象存储上。 存储类型 SSD云盘 SSD云盘:使用SSD类型的EVS作为数据存储介质,存储容量更加灵活,支持磁盘扩容。
在“服务列表”中,选择“大数据 > 数据仓库服务 DWS”。 左侧导航栏单击“专属集群 > 集群列表”,进入页面后,单击右上角的“创建数据仓库集群”按钮。 参见表2进行基础配置。 表2 基础配置 参数名称 配置方式 区域 选择“中国-香港”。
数据存储:集群本地、OBS等。 数据导入的方式选择等。 父主题: 数据迁移
SERVER dfs_server 外表的外部服务器名称,这个server必须存在。外表通过设置外部服务器连接OBS/HDFS读取数据。 此处应参考创建外部服务器中创建的外部服务器名称填写。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。
CREATE TABLE OBS存算分离表数据支持异步读、异步写 OBS存算分离表数据支持异步读、异步写。 - OBS存算分离表支持并行analyze OBS存算分离表支持并行analyze,通过GUC参数enable_parallel_analyze控制,默认打开。
TABLE (GDS导入导出),CREATE FOREIGN TABLE (SQL on OBS or Hadoop) 父主题: DDL语法
FOREIGN TABLE (SQL on OBS or Hadoop) 父主题: DDL语法
创建外部服务器 仅Hive对接OBS场景执行,Hive对接HDFS场景跳过。 连接已创建好的DWS集群。 执行以下语句,创建外部服务器。{AK值}、{SK值}由准备环境获取。
在MRS集群上创建了Spark Hudi表,且表数据已经存储到该表对应的OBS路径上。 如果您已经完成上述准备,则可以跳过本章节。 为方便起见,以在MRS集群上创建Spark Hudi表作为示例,完成上述准备工作。 在MRS集群上创建Spark Hudi表 创建了MRS集群。