//bucket01/obs.example.com accesskey=xxxxx secretkey=xxxxx region=ap-southeast-1'。
SQL on Anywhere SQL on hudi OBS / HDFS / DLI
SQL语法参考>DDL语法>CREATE SERVER SQL语法参考>DDL语法>CREATE FOREIGN TABLE (OBS导入导出) OBS读写性能监控 新增视图GS_OBS_LATENCY,记录OBS的平均延迟信息。
' ); 创建external schema,SOURCE为hive,表关联的服务器为obs/hdfs server。
导出数据 导出数据到OBS 导出ORC和PARQUET数据到MRS 使用GDS导出数据到远端服务器
报告设置 单击右上角“报告设置”按钮,在弹窗中设置报告记录保存时间以及OBS相关配置,OBS配置请参见表2。 父主题: 在监控面板(DMS)查看DWS集群监控
当快照数据存储空间超过免费空间大小时,超出部分按照对象存储服务(OBS)的计费规则进行计费,参见OBS价格详情。 免费空间大小是您的集群的总存储空间大小,即单节点存储空间大小 * 节点数。
数据仓库类型 产品类型概述 存算一体:面向数据分析场景,为用户提供高性能、高扩展、高可靠、高安全、低时延、易运维的企业级数仓服务,支持2048节点、20PB级超大规模数据分析能力,适用于“库、仓、市、湖”一体化的融合分析业务。
DWSAccessOBS OBS Administrator 审计日志转储,上报审计日志数据到OBS桶。 DWSAccessKMS KMS Administrator KMS加密集群,查询和轮转密钥。
管理数据源 管理MRS数据源 管理OBS数据源 管理LakeFormation数据源 父主题: 迁移业务数据至GaussDB(DWS)集群
CLOB)); 输入:DBMS_LOB.APPEND 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 CREATE OR REPLACE PROCEDURE append_example IS clobSrc
pg_obs_file_size(regclass) 描述:指定列存V3版本表OID或者表名字,获取其在OBS上存储的CU文件大小、文件名、bucket号。该函数仅9.1.0及以上集群版本支持。 参数:入参可以是表的OID或者表名。
导入数据 从OBS并行导入数据 使用GDS从远端服务器导入数据 从MRS导入数据到集群 使用LakeFormation数据源导入数据 基于GDS的跨集群互联互通 使用gsql元命令\COPY导入数据 使用COPY FROM STDIN导入数据 跨集群访问Hive Metastore
数据迁移 DWS的OBS外表与GDS外表支持的数据格式有什么区别? 数据如何存储到DWS? DWS可以存储多少业务数据? 如何使用DWS的\copy导入导出? 如何实现DWS不同编码库之间数据容错导入 DWS导入性能都和哪些因素有关联?
GS_OBS_WRITE_TRAFFIC GS_INSTR_UNIQUE_SQL GS_NODE_STAT_RESET_TIME GS_OBS_LATENCY GS_QUERY_MONITOR GS_QUERY_RESOURCE_INFO GS_REL_IOSTAT GS_RESPOOL_RUNTIME_INFO
解决办法:请检查使用中的gds、hdfs外表以及roach、obs设置是否正确。
pg_obs_file_size(regclass) 描述:指定列存V3版本表OID或者表名字,获取其在OBS上存储的CU文件大小、文件名、bucket号。该函数仅9.1.0及以上集群版本支持。 参数:入参可以是表的OID或者表名。
500 服务内部错误。 503 服务不可用。 父主题: 节点变更
OBS数据的区域如表1所示。
审计日志转储OBS使用新机制,避免极端场景部分丢失的问题。 【湖仓一体】 外表Analyze统计信息对接完善,支持date类型等。 外表查询分区剪枝能力增强,支持目录剪枝、元数据服务剪枝、分区信息剪枝三种方式。