数据仓库服务架构

时间:2020-09-25 08:20:41

DWS基于Shared-nothing分布式架构,具备MPP大规模并行处理引擎,由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。

图1产品架构

数据仓库服务架构

应用层

数据加载工具、ETL(Extract-Transform-Load)工具、以及商业智能BI工具、数据挖掘和分析工具,均可以通过标准接口与DWS集成。DWS兼容PostgreSQL生态,且SQL语法进行了兼容MySQL、Oracle和Teradata的处理。应用只需做少量改动即可向DWS平滑迁移。

接口

支持应用程序通过标准JDBC 4.0和ODBC 3.5连接DWS。

DWS(MPP大规模并行处理集群)

一个DWS集群由多个在相同子网中的相同规格的节点组成,共同提供服务。集群的每个DN负责存储数据,其存储介质是磁盘。协调节点(Coordinator Node)负责接收来自应用的访问请求,并向客户端返回执行结果,此外,协调节点还负责分解任务,并调度任务分片在各DN上并行执行。

自动数据备份

支持将集群快照自动备份到EB级对象存储服务OBS(Object Storage Service)中,方便利用业务空闲期对集群做周期备份以保证集群异常后的数据恢复。

快照是DWS集群在某一时间点的完整备份,记录了这一时刻指定集群的所有配置数据和业务数据。

工具链

提供了数据并行加载工具GDS(General Data Service)、SQL语法迁移工具DSC、SQL开发工具Data Studio,并支持通过控制台对集群进行运维监控。


猜你喜欢