图1 数据迁移示意图 CDM、OBS、MRS、DLI为云服务。 GDS、DSC、gs_restore、gs_dump为内部工具。
在冷热切换时,需要将数据迁移至OBS表空间中。其中HPN为整型,范围为[0,1600]。其中HPN为0时,表示不保留热分区,在进行冷热切换时,将所有有数据的分区都转为冷分区并存储在OBS上。
当快照数据存储空间超过免费空间大小时,超出部分按照OBS的计费规则进行计费,计费详情参见OBS价格详情。 快照服务依赖及部署说明: 快照管理功能依赖于OBS、NFS的备份介质。 备份设备为NFS的备份介质时,使用挂载盘的方式,依赖高性能弹性文件服务 SFS-Turbo。
了解更多存算分离知识,请参见什么是数据仓库服务。 本文档主要描述存算分离版本特有的性能优化和注意事项。 集群购买 EVS磁盘空间 9.1.0.x版本只是实现了将列存用户数据存储到OBS上,其它数据仍然保存在本地盘。
本实践预计时长90分钟,实践用到的云服务包括虚拟私有云VPC及子网、弹性负载均衡ELB、弹性云服务器ECS、对象存储服务OBS、分布式消息服务Kafka、数据湖探索DLI和数据仓库服务DWS 调优表 调优表实践 在本实践中,您将学习如何优化表的设计。
' ); 创建external schema,SOURCE为hive,表关联的服务器为obs/hdfs server。
语法一览表 ALTER BLOCK RULE ALTER DATABASE ALTER EXCEPT RULE ALTER EXTERNAL SCHEMA ALTER FOREIGN TABLE (GDS导入导出) ALTER FOREIGN TABLE (For HDFS or OBS
OBS桶:存储脚本文件的OBS桶名称。如果没有可选择的OBS桶,可以单击“创建OBS桶”进入OBS管理控制台创建新的OBS桶,具体操作请参见《对象存储服务控制台指南》中的“管理桶 > 创建桶”章节。 路径:在OBS中存储脚本文件的自定义目录。多级目录可用“/”进行分隔。
解决办法:请检查使用中的gds、hdfs外表以及roach、obs设置是否正确。若否,请联系技术支持工程师提供技术支持。
系统表 GS_BLOCKLIST_QUERY GS_BLOCKLIST_SQL GS_OBSSCANINFO GS_RESPOOL_RESOURCE_HISTORY GS_WLM_INSTANCE_HISTORY GS_WLM_OPERATOR_INFO GS_WLM_SESSION_INFO
语法一览表 ALTER BLOCK RULE ALTER DATABASE ALTER EXCEPT RULE ALTER EXTERNAL SCHEMA ALTER FOREIGN TABLE (GDS导入导出) ALTER FOREIGN TABLE (For HDFS or OBS
用户可以将海量业务数据,存储在MRS的分析集群,即使用Hive/Spark组件保存,Hive/Spark的数据文件则保存在OBS中。然后使用DWS通过LakeFormation服务来读取MRS集群上的数据。
表4 快照介质 快照介质 说明 OBS 策略中配置备份设备为:OBS,则创建出的快照为OBS快照,备份数据保存在OBS服务器上。 NFS 策略中配置备份设备为:NFS,则创建出的快照为NFS快照,备份数据保存在NFS服务器上。 快照级别如表5所示。
GS_OBS_WRITE_TRAFFIC GS_INSTR_UNIQUE_SQL GS_NODE_STAT_RESET_TIME GS_OBS_LATENCY GS_QUERY_MONITOR GS_QUERY_RESOURCE_INFO GS_REL_IOSTAT GS_RESPOOL_RUNTIME_INFO
系统表 GS_BLOCKLIST_QUERY GS_BLOCKLIST_SQL GS_OBSSCANINFO GS_RESPOOL_RESOURCE_HISTORY GS_WLM_INSTANCE_HISTORY GS_WLM_OPERATOR_INFO GS_WLM_SESSION_INFO
单击企业项目名称,可进入企业项目服务的Console页面对企业项目进行查看和编辑。
导入OBS桶数据到DWS集群及从DWS导出数据到OBS桶 将样例数据上传OBS,并通过OBS外表访问OBS桶内的数据或导入数据到DWS,同时也支持将DWS的某张表数据导出到OBS桶。 使用GDS从远端服务器上导入表数据到DWS集群 使用GDS工具将远端服务器上的数据导入DWS。
//bucket01/obs.example.com accesskey=xxxxx secretkey=xxxxx region=ap-southeast-1' ); 设置文本搜索配置ts_conf,修改某些类型的token对应的词典列表。
//bucket01/obs.example.com accesskey=xxxxx secretkey=xxxxx region=ap-southeast-1' ); 设置文本搜索配置ts_conf,修改某些类型的token对应的词典列表。
//bucket01/obs.example.com accesskey=xxxxx secretkey=xxxxx region=ap-southeast-1'。