云数据库GaussDB底层硬件

云数据库GaussDB底层硬件

  • 数据库系统硬件到底是什么?

    在了解云数据库GaussDB底层硬件之前,先了解一下数据库的硬件组成。

    数据库系统(Database System,DBS),包括:数据库(Database,DB)和数据库管理系统(Database Management System,DBMS)。

    数据库系统由软件和硬件共同构成。

    软件部分主要包括数据库管理系统、支持数据库管理系统运行的操作系统,以及支持多种语言进行应用开发的访问技术等。

    硬件,主要用于存储数据库中的数据,包括计算机的主机、键盘、显示器和外围设备(例如打印机、光盘机、磁带机等)

    由于一般数据库系统所存放和处理的数据量很大,加之DBMS丰富的功能软件,使得自身所占用的存储空间很大,因此整个数据库系统对硬件资源提出了较高的要求。

    这些要求是:

    ①有足够大的内存以存放操作系统、DBMS的核心模块、数据缓冲区和应用程序;

    ②有足够大的直接存取设备存放数据(如磁盘),有足够的存储设备来进行数据备份;

    ③要求计算机有较高的数据传输能力,以提高数据传送率。

    因此,数据库的性能非常大程度上受硬件资源的影响。

  • 数据库的性能具体都都哪些呢?

    多个性能因素会影响数据库性能,了解这些因素可以帮助定位和分析性能问题。

    系统资源

    数据库性能在很大程度上依赖于磁盘的I/O和内存使用情况。为了准确设置性能指标,用户需要了解数据库部署硬件的基本性能。CPU,硬盘,磁盘控制器,内存和网络接口等这些硬件性能将显著影响数据库的运行速度。

    负载

    负载等于数据库系统的需求总量,它会随着时间变化。总体负载包含用户查询,应用程序,并行作业,事务以及数据库随时传递的系统命令。比如:多用户在执行多个查询时会提高负载。负载会显著地影响数据库的性能。了解工作负载高峰期可以帮助用户更合理地利用系统资源,更有效地完成系统任务。

    吞吐量

    使用系统的吞吐量来定义处理数据的整体能力。数据库的吞吐量以每秒的查询次数、每秒的处理事务数量或平均响应时间来测量。数据库的处理能力与底层系统(磁盘I/O,CPU速度,存储器带宽等)有密切的关系,所以当设置数据库吞吐量目标时,需要提前了解硬件的性能。

    竞争

    竞争是指两组或多组负载组件尝试使用冲突的方式使用系统的情况。比如,多条查询视图同一时间更新相同的数据,或者多个大量的负载争夺系统资源。随着竞争的增加,吞吐量下降。

    优化

    数据库优化可以影响到整个系统的性能。在执行SQL制定、数据库配置参数、表设计、数据分布等操作时,启用数据库查询优化器打造最有效的执行计划。

  • 如何快速确定数据库的调优范围?

    性能调优主要通过查看数据库节点的CPU、内存、I/O和网络这些硬件资源的使用情况,确认这些资源是否已被充分利用,是否存在瓶颈点,然后针对性调优。

    如果某个资源已达瓶颈,则:

    检查关键的操作系统参数和数据库参数是否合理设置。

    通过查询最耗时的SQL语句、跑不出来的SQL语句,找出耗资源的SQL,进行SQL调优指南。

    如果所有资源均未达瓶颈,则表明性能仍有提升潜力。可以查询最耗时的SQL语句,或者跑不出来的SQL语句,进行针对性的SQL调优指南。

云数据库 GaussDB案例:调整I/O相关参数降低日志膨胀率

调整参数前的参数值:

  1. pagewriter_sleep=2000ms
  2. bgwriter_delay=2000ms
  3. max_io_capacity=500MB

调整参数后的参数值:

  1. pagewriter_sleep=100ms
  2. bgwriter_delay=1s
  3. max_io_capacity=300MB

说明:

1. 将max_io_capacity调整小是因为,IO不会利用到之前参数的最大值,调整该值,是为了限制后端写进程IO的占用上限。

2. 当日志量达到一定量时,日志才会触发回收,该值的计算方式是:wal_keep_segments + checkpoint_segments * 2 + 1 ,假设 checkpoint_segments 设置128,wal_keep_segments 设置128,日志量就是 (128 + 128 * 2 + 1) * 16MB = 6GB。

3. 调整参数前,tpcc导数阶段,不同的数据量xlog有不同程度的膨胀,基本会导致GB级别的日志膨胀,主要是因为脏页未刷盘,recovery点不能推进,日志不能及时回收。调整参数后,日志膨胀明显降低。

4. 以2000仓为例,调整参数前,导数阶段,日志膨胀10GB,调整参数后,日志基本没有膨胀,维持在设置的参数计算出的xlog最低量的范围内。

云数据库GaussDB优势

GaussDB数据库具有高性能、高可用、高安全、低成本的特点

云数据库GaussDB优势

GaussDB数据库具有高性能、高可用、高安全、低成本的特点

#

优势详情

  • 1

    高安全

    GaussDB拥有TOP级的商业数据库安全特性:数据动态脱敏,TDE透明加密,行级访问控制,密态计算。

    能够满足政企&金融级客户的核心安全诉求。

  • 2

    健全的工具与服务化能力

    GaussDB已经拥有华为云,商用服务化部署能力,同时支持DAS、UGO、DRS等生态工具。

    有效保障用户开发、运维、优化、监控、迁移等日常工作需要。

  • 3

    全栈自研


    GaussDB基于鲲鹏生态,是当前国内唯一能够做到全栈自主可控的国产品牌。

    同时GaussDB能够基于硬件优势在底层不断进行优化,提升产品综合性能。

  • 4

    开源生态

    GaussDB已经支持开源社区,并提供主备版版本下载。