云服务器内容精选

  • 请求示例 查询可用于备份恢复的实例列表。 GET https://gaussdb-opengauss.cn-north-1.myhuaweicloud.com/v3/0611f1bd8b00d5d32f17c017f15b599f/restorable-instances?source_instance_id=88efb3753dc844829c380edff7798eecin14&backup_id=d3f223e9c35d450ea0692bdbff686e45br14
  • 响应示例 查询可用于备份恢复的实例列表成功。 { "instances" : [ { "instance_name" : "gaussdb_hzx", "instance_id" : "3ea6d6463c9a4baf9a47c5b74464307cin14", "volume_type" : "ULTRAHIGH", "data_volume_size" : 500, "version" : 1.3, "mode" : "Ha", "instance_mode" : "enterprise" } ], "total_count" : 1 }
  • URI GET https://{Endpoint}/v3/{project_id}/restorable-instances 表1 参数说明 名称 是否必选 说明 project_id 是 租户在某一Region下的项目ID。 获取方法请参见获取项目ID。 source_instance_id 是 源实例ID,需要恢复的实例ID。 backup_id 否 实例备份信息ID,根据备份ID查询实例拓扑信息,过滤查询出来的实例,包含节点数,副本数等。参数为空时,根据restore_time查询。 restore_time 否 恢复点,当备份ID为空时,通过此参数查询实例拓扑信息,过滤实例列表。 offset 否 索引位置,偏移量。从第一条数据偏移offset条数据后开始查询,默认为0(偏移0条数据,表示从第一条数据开始查询),必须为数字,不能为负数。 limit 否 查询记录数。默认为100,不能为负数,最小值为1,最大值为100。
  • 响应参数 表2 参数说明 名称 参数类型 说明 instances Array of Objects 返回可用于备份恢复的实例列表。 详情请参见instances参数数据结构说明。 total_count Integer 查询出来的实例总数。 表3 instances参数数据结构说明 名称 参数类型 说明 instance_name String 实例名称。 instance_id String 实例ID。 volume_type String 存储类型。 data_volume_size Number 磁盘大小,单位:GB。 version String 实例版本信息。 mode String 部署形态。 Ha:主备版。 Independent:独立部署。 instance_mode String 实例模型。 enterprise:企业版。 standard:标准版。 basic:基础版。
  • 操作步骤 登录分布式缓存服务管理控制台。 在管理控制台左上角单击,选择实例所在的区域。 单击左侧菜单栏的“缓存管理”,进入实例信息页面。 “缓存管理”支持通过筛选来查询对应的缓存实例。支持的筛选条件有“名称”、“规格”、“ID”、“IP地址”、“可用区”、“状态”、“实例类型”、“缓存类型”等。 在需要备份的DCS缓存实例左侧,单击实例名称,进入实例的基本信息页面。 单击“备份与恢复”页签,进入备份与恢复管理页面。 单击“手动备份”,弹出手动备份窗口。 选择备份格式,支持选择RDB格式或AOF格式。 Redis 4.0、5.0、6.0基础版和企业版高性能型实例支持选择RDB或AOF备份格式,企业版存储型实例仅支持RDB格式,Redis 3.0实例仅支持RDB格式。 AOF格式的备份会优先在从节点备份,从节点AOF会被重写。 单击“确定”,开始执行手工备份任务。 备注说明最长不能超过128个字节。 实例备份需耗时10~15分钟,备份期间发生的数据新增或修改记录,将不会保存到备份数据中。
  • URI GET https://{Endpoint}/v3/{project_id}/instance-snapshot?instance_id={instance_id}&restore_time={restore_time}&backup_id={backup_id} 表1 参数说明 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的项目ID。 获取方法请参见获取项目ID。 instance_id 否 String 原实例ID。 restore_time 否 String 根据时间点查看实例的备份信息时,需要填写restore_time。 UNIX时间戳格式,单位是毫秒,时区是UTC,某时间点实例的信息。 backup_id 否 String 备份ID。 根据备份ID恢复实例时,需要填写该参数。
  • 响应参数 表2 参数说明 参数 参数类型 描述 cluster_mode String 实例部署形态。 枚举值: Ha:主备版。 Independent:独立部署。 Combined:混合部署。 instance_mode String 实例模型。 枚举值: basic:基础版。 standard:标准版。 enterprise:企业版。 data_volume_size String 磁盘大小,单位:GB。 solution String 解决方案模板类型。 枚举值: single:单节点。 double:1主1备2节点部署。 triset:1主2备。 logger:1主1备1日志。 loggerdorado:1主1备1日志(共享存储)。 quadruset:1主3备。 hws:分布式(独立部署)。 node_num Integer 节点数量。 coordinator_num Integer 协调节点数量。 sharding_num Integer 分片数量。 replica_num Integer 副本数量。 engine_version String 引擎版本。
  • 响应示例 { "cluster_mode" : "Ha", "instance_mode" : "enterprise", "data_volume_size" : "200", "solution" : "triset", "node_num" : 3, "coordinator_num" : 0, "sharding_num" : 3, "replica_num" : 3, "engine_version" : "2.2.90" }
  • 原理 任务 在进行备份恢复之前,需要先创建备份恢复任务,并指定任务的参数,例如任务名称、备份数据源和备份文件保存的目录类型等等。通过执行备份恢复任务,用户可完成数据的备份恢复需求。在使用Manager执行恢复HDFS、HBase、Hive和NameNode数据时,无法访问集群。 每个备份任务可同时备份不同的数据源,每个数据源将生成独立的备份文件,每次备份的所有备份文件组成一个备份文件集,可用于恢复任务。备份任务支持将备份文件保存在Linux本地磁盘、本集群HDFS与备集群HDFS中。 备份任务提供全量备份或增量备份的策略,云数据备份任务不支持增量备份策略。如果备份的路径类型是NFS或CIFS,不建议使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时,每次增量备份都会刷新最近一次全量备份的备份数据,所以不会产生新的恢复点。 任务运行规则: 某个任务已经处于执行状态,则当前任务无法重复执行,其他任务也无法启动。 周期任务自动执行时,距离该任务上次执行的时间间隔需要在120秒以上,否则任务推迟到下个周期启动。手动启动任务无时间间隔限制。 周期任务自动执行时,当前时间不得晚于任务开始时间120秒以上,否则任务推迟到下个周期启动。 周期任务锁定时无法自动执行,需要手动解锁。 OMS、DBService、Kafka和NameNode备份任务开始执行前,若主管理节点“LocalBackup”分区可用空间小于20GB,则无法开始执行。 管理员在规划备份恢复任务时,请严格根据业务逻辑、数据存储结构、数据库或表关联关系,选择需要备份或者恢复的数据。系统默认创建间隔为1小时的周期备份任务“default-oms”、“default-集群ID”,支持全量备份OMS及集群的DBService、NameNode等元数据到本地磁盘。 快照 系统通过快照技术,快速备份数据。快照包含HBase快照、HDFS快照。 HBase快照 HBase快照是HBase表在特定时间的一个备份,该备份文件不复制业务数据,不影响RegionServer。HBase快照主要复制表的元数据,包含table descriptor,region info和HFile的引用信息。通过这些元数据信息可以恢复快照时间点之前的数据。 HDFS快照 HDFS快照是HDFS文件系统在特定时间点的只读备份副本,主要用于数据备份、用户误操作保护和灾难恢复的场景。 任意HDFS目录均可以配置启用快照功能并创建对应的快照文件,为目录创建快照前系统会自动启用此目录的快照功能。创建快照不会对正常的HDFS操作有任何影响。每个HDFS目录最多可创建65536个快照。 如果一个HDFS目录已创建快照,那么在快照完全删除以前,此目录无法删除或修改名称。该目录的上级目录或子目录也无法再创建快照。 DistCp DistCp(distributed copy)是一个用于在本集群HDFS中或不同集群HDFS间进行大量数据复制的工具。在HBase、HDFS或Hive元数据的备份恢复任务中,如果选择将数据备份在备集群HDFS中,系统将调用DistCp完成操作。主备集群请选择安装相同版本的MRS软件版本并安装集群系统。 DistCp使用Mapreduce来影响数据的分布、异常处理及恢复和报告,此工具会把指定列表中包含的多个源文件和目录输入不同的Map任务,每个Map任务将复制列表中指定文件对应分区的数据。 使用DistCp在两个集群的HDFS间进行数据复制,集群双方需要分别配置互信(同一个FusionInsight Manager管理下的集群不需要配置互信)和启用集群间拷贝功能。集群数据备份到另一个集群的HDFS时,需要安装Yarn组件,否则备份失败。 本地快速恢复 使用DistCp将本集群HBase、HDFS和Hive数据备份在备集群HDFS中以后,本集群HDFS保留了备份数据的快照。用户可以通过创建本地快速恢复任务,直接从本集群HDFS的快照文件中恢复数据。 NAS NAS(Network Attached Storage)是一种特殊的专用数据存储服务器,包括存储器件和内嵌系统软件,可提供跨平台文件共享功能。利用NFS(支持NFSv3、NFSv4)和CIFS(支持SMBv2、SMBv3)协议,用户可以连通MRS的业务平面与NAS服务器,将数据备份至NAS或从NAS恢复数据。 数据备份至NAS前,系统会自动将NAS共享地址挂载为备份任务执行节点的本地分区。在备份结束后,系统会卸载备份任务执行节点的NAS共享分区。 为防止备份恢复失败,数据备份及恢复期间,请勿访问NAS服务器挂载至本地的共享地址,如:“/srv/BigData/LocalBackup/nas”。 业务数据备份至NAS时,会使用DistCp。
  • 概述 FusionInsight Manager提供对集群内的用户数据及系统数据的备份恢复能力,备份功能按组件提供。系统支持备份Manager的数据、组件元数据及业务数据。 备份功能支持将数据备份至本地磁盘(LocalDir)、本端HDFS(LocalHDFS)、远端HDFS(RemoteHDFS)、NAS(NFS/CIFS)、SFTP服务器(SFTP)、OBS,具体操作请参考备份数据。 对于支持多服务的组件,支持同服务多个实例的备份恢复功能且备份恢复操作与自身服务实例一致。 MRS 3.1.0及之后版本才支持备份数据到OBS。 备份恢复任务的使用场景如下: 用于日常备份,确保系统及组件的数据安全。 当系统故障导致无法工作时,使用已备份的数据完成恢复操作。 当主集群完全故障,需要创建一个与主集群完全相同的镜像集群,可以使用已备份的数据完成恢复操作。 表1 根据业务需要备份Manager配置数据 备份类型 备份内容 备份目录类型 OMS 默认备份集群管理系统中的数据库数据(不包含告警数据)以及配置数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS SFTP OBS 表2 根据业务需要备份组件元数据或其他数据 备份类型 备份内容 备份目录类型 DBService 备份DBService管理的组件(Loader、Hive、Spark、Oozie、Hue、CDL)的元数据。对于安装了多服务的集群,包含多个Hive和Spark服务实例的元数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS SFTP OBS Flink (适用于MRS 3.2.0及以后版本) Flink的元数据。 LocalDir LocalHDFS RemoteHDFS Kafka Kafka的元数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS OBS NameNode 备份HDFS元数据。添加多个NameService后,支持不同NameService的备份恢复功能且备份恢复操作与默认实例“hacluster”一致。 LocalDir RemoteHDFS NFS CIFS SFTP OBS Yarn 备份Yarn服务资源池相关信息。 HBase HBase系统表的tableinfo文件和数据文件。 IoTDB IoTDB的元数据。 LocalDir NFS RemoteHDFS CIFS SFTP ClickHouse ClickHouse的元数据。 LocalDir RemoteHDFS 表3 根据业务需要备份特定组件业务数据 备份类型 备份内容 备份目录类型 HBase 备份表级别的用户数据。对于安装了多服务的集群,支持多个HBase服务实例的备份恢复功能且备份恢复操作与HBase服务实例一致。 RemoteHDFS NFS CIFS SFTP HDFS 备份用户业务对应的目录或文件。 说明: 加密目录不支持备份恢复。 Hive 备份表级别的用户数据。对于安装了多服务的集群,支持多个Hive服务实例的备份恢复功能且备份恢复操作与Hive服务实例一致。 IoTDB 备份IoTDB业务数据。 RemoteHDFS ClickHouse 备份表级别的用户数据。 RemoteHDFS 需要特别说明的是,部分组件不提供单独的数据备份与恢复功能: Kafka支持副本特性,在创建主题时可指定多个副本来备份数据。 CDL的数据存储在DBService与Kafka服务中,系统管理员可以通过创建备份DBService和Kafka的任务来备份数据。 Mapreduce和Yarn的数据存放在HDFS上,故其依赖HDFS提供备份与恢复即可。 ZooKeeper中存储的业务数据,其备份恢复能力由各上层组件按需独立实现。