华为云计算 云知识 数据仓库服务架构
数据仓库服务架构

DWS基于Shared-nothing分布式架构,具备MPP大规模并行处理引擎,由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。

图1产品架构

数据仓库服务架构

应用层

数据加载工具、ETL(Extract-Transform-Load)工具、以及商业智能BI工具、数据挖掘和分析工具,均可以通过标准接口与DWS集成。DWS兼容PostgreSQL生态,且SQL语法进行了兼容MySQL、Oracle和Teradata的处理。应用只需做少量改动即可向DWS平滑迁移。

接口

支持应用程序通过标准JDBC 4.0和ODBC 3.5连接DWS。

DWS(MPP大规模并行处理集群)

一个DWS集群由多个在相同子网中的相同规格的节点组成,共同提供服务。集群的每个DN负责存储数据,其存储介质是磁盘。协调节点(Coordinator Node)负责接收来自应用的访问请求,并向客户端返回执行结果,此外,协调节点还负责分解任务,并调度任务分片在各DN上并行执行。

自动数据备份

支持将集群快照自动备份到EB级 对象存储服务 OBS( Object Storage Service )中,方便利用业务空闲期对集群做周期备份以保证集群异常后的数据恢复。

快照是DWS集群在某一时间点的完整备份,记录了这一时刻指定集群的所有配置数据和业务数据。

工具链

提供了数据并行加载工具GDS(General Data Service)、SQL语法迁移工具 DSC 、SQL开发工具Data Studio,并支持通过控制台对集群进行运维监控。


上一篇:青海域名个人备案管局政策 下一篇:华为云数据迁移服务使用教程

数据仓库服务 GaussDB(DWS)

GaussDB(DWS)是一款具备分析及混合负载能力的分布式数据库,支持x86和Kunpeng硬件架构,支持行存储与列存储,提供GB~PB级数据分析能力、多模分析和实时处理能力,用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景,广泛应用于汽车、制造、零售、物流、互联网、金融、政府、电信等行业分析决策系统

费用低至每节点¥2.49/小时 起