数据仓库服务 GAUSSDB(DWS)-冷热数据管理优秀实践:场景介绍

时间:2024-05-11 08:28:19

场景介绍

海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。针对数据使用的一些场景,可以将数据按照时间分为:热数据、冷数据。

冷热数据主要从数据访问频率、更新频率进行划分。

  • Hot(热数据):访问、更新频率较高,对访问的响应时间要求很高的数据。
  • Cold(冷数据):不允许更新或更新访问频率较低,对访问的响应时间要求不高的数据。

用户可以定义冷热管理表,将符合规则的冷数据切换至OBS上进行存储,可以按照分区自动进行冷热数据的判断和迁移。

图1 冷热数据管理

冷热切换的策略名称支持LMT(last modify time)和HPN(hot partition number),LMT指按分区的最后更新时间切换,HPN指保留热分区的个数切换。

  • LMT:表示切换[day]时间前修改的热分区数据为冷分区,将该数据迁至OBS表空间中。其中[day]为整型,范围[0, 36500],单位为天。
  • HPN:表示保留HPN个有数据的分区为热分区。在冷热切换时,需要将数据迁移至OBS表空间中。其中HPN为整型,范围为[0,1600]。
support.huaweicloud.com/qs-dws/dws_01_0104.html