数据仓库服务 GaussDB(DWS)兼容性

GaussDB(DWS)采用开放性的设计理念,不但支持标准数仓功能,还致力于融合大数据平台、与云原生服务互联互通。

无缝对接Hadoop

      GaussDB(DWS)可以无缝对接HDFS存储,通过外表机制,能够交互式查询分析Hadoop平台的数据,支持ORC/txt/csv/Parquet等文件格式,提供大数据分析能力。

      基于Shared-nothing/MPP的对等并行计算模型可以充分利用CPU/IO/Mem等资源,获得极致的运算性能和线性的可扩展性,从而支持PB级数据规模。

      1.兼容标准SQL

        SQL兼容SQL92/99/2003标准,支持存储过程,降低应用开发成本和迁移成本。

      2.完备的事务支持

        支持HDFS平台通用的ORC格式数据增删改,提供大数据平台互联互通能力。基于MVCC、两阶段提交分布式事务管理技术,支持ACID全事务能力。采用Smart Insert行列存混合存储引擎,支持数据智能分配存储,支持高速数据更新。

      3.交互式的性能体验

        基于MPP全并行异步Pipeline分布式执行框架,向量化执行引擎,谓词下推智能过滤扫描,LLVM等关键技术,实现内核引擎极致性能,支持高性能交互式查询分析。

跨数据中心协同分析

      随着数据量的不断增加,在单数据中心存储计算能力有限情况下,不可能把所有数据都统一汇总到单个数据中心。而在进行数据挖掘、碰撞分析时,又需要涉及更多更全面的数据,此时,一个统计查询业务就可能涉及到多个数据中心。

      GaussDB(DWS)支持直接跨库访问GaussDB(DWS)、Oracle、MySQL、Hadoop等数据库,实现不同数据库之间的协同分析,拓展了计算的边界。

图5-1 跨数据中心协同分析

对象存储

      GaussDB(DWS)支持华为OBS对象存储,通过Express集群加速技术,可以高速访问OBS上的数据,方便地进行历史数据归档和冷热数据分离,实现与云原生的融合。

      图5-2给出了在平安城市项目中,结合OBS存储和GaussDB(DWS)提供的多维数据碰撞分析特性,应用AI算法模型实现人脸识别和车辆检索的原理示意图。

图5-2 结合AI技术和云原生实现高效图像识别