云服务器内容精选

  • 响应消息 正常响应要素说明 表3 要素说明 名称 参数类型 说明 database_limit Integer 单个实例支持恢复的库数量上限。如果单个实例在可恢复时间点查询到的库超过上限,响应中只返回上限数量的库。 table_limit Integer 单个实例支持恢复的所有库中包含的总的表数量上限。如果数据库在可恢复时间点查询到的表数量超过上限,响应中只返回总表数不超出上限的库。 instances Array of objects 实例信息。详细说明请参见表4。 表4 instances字段数据结构说明 参数 参数类型 描述 id String 实例ID。 name String 实例名称。 total_tables Integer 该实例中所有可恢复库中包含表的总个数。最大不超过table_limit。 databases Array of objects 数据库信息。详细说明请参见表5。 表5 databases字段数据结构说明 参数 参数类型 描述 name String 数据库名。当前不支持库名含中文的库恢复,可恢复库查询会过滤库名含中文的库。 total_tables Integer 该数据库中包含表的总个数。最大不超过table_limit。 正常响应样例 RDS for MySQL实例指定时间点查询可恢复的库: { "instances": [ { "id": "5d742eda6e574ff3a003191638ef8c51in01", "name": "AUTO-GENERATED-INSTANCE-57-HA-LOCALSSD", "databases": [ { "name": "dbtest", "total_tables": 1 }, { "name": "dbtest_restore", "total_tables": 1 } ], "total_tables": 2 } ], "database_limit": 2000, "table_limit": 20000 } 异常响应 请参见异常请求结果。
  • 请求示例 查询RDS for MySQL实例指定时间点可恢复的库。 POST http://rds.cn-north-1.myhuaweicloud.com/v3/54623db08b174c858ba779d2aa7923a3/mysql/instances/history/databases { "instance_ids" : [ "5d742eda6e574ff3a003191638ef8c51in01" ], "restore_time" : 1688554422000, "database_name_like" : "", "instance_name_like" : "" }
  • 注意事项 集群快照会导致CPU、磁盘IO上升等影响,建议在业务低峰期进行操作。 快照存储在OBS桶中需要额外收费,具体收费以对象存储服务为准。 如果OBS桶已经存储了快照,OBS无法变更,您可以使用这个方法修改:首先关闭快照功能,然后再开启快照功能,指定新的OBS桶。一旦关闭快照功能,之前创建的快照将无法用于恢复集群。 当集群处于“不可用”状态时,快照功能中,除了恢复快照功能外,其他快照信息或功能只能查看,无法进行编辑。 备份与恢复过程中,支持集群扩容、访问Kibana、查看监控、删除其他快照的操作。不支持重启此集群、删除此集群、删除正在创建或恢复的快照、再次创建或恢复快照的操作。补充说明,当此集群正在进行创建快照或者恢复快照时,此时,自动创建快照任务将被取消。 快照在恢复过程中不可查询集群数据。 CSS集群快照恢复到另一个集群会覆盖标集群中的同名索引,不同名的索引不会覆盖。如果两个集群的shard不一样,则同名的索引不会被覆盖。 用于恢复的目的集群版本不得低于源端集群,一般保持版本一致即可。
  • URI URI格式 GET https://{Endpoint}/v3/{project_id}/backups/download-file?instance_id={instance_id}&backup_id={backup_id} URI样例 https://dds.cn-north-1.myhuaweicloud.com/v3/97b026aa9cc4417888c14c84a1ad9860/backups/download-file?instance_id=befb1cfe1f96403780396b0c54f85d11in02&backup_id=bd062e1af2d248b3bb4cd3dbb4183888br02 backup_id可以通过查询备份列表获取。
  • 请求消息 参数说明 表1 请求参数 名称 类型 IN 是否必选 描述 X-Auth-Token String header 是 从IAM服务获取的用户Token。请参考认证鉴权。 X-Language String header 否 语言。 project_id String path 是 项目ID。请参考获取项目ID章节获取项目编号。 instance_id String path 是 实例ID,可以调用“查询实例列表和详情”接口获取。如果未申请实例,可以调用“创建实例”接口创建。 backup_id String query 是 备份ID。
  • 响应消息 参数说明 表2 参数说明 名称 参数类型 是否必选 说明 files Array of objects 是 备份包含的文件列表。 详情请参见表3。 bucket String 是 文件所在的桶名。 表3 files字段数据结构说明 名称 参数类型 是否必选 说明 name String 是 文件名。 size Long 是 文件大小,单位:KB。 download_link String 是 文件下载链接。 link_expired_time String 是 下载链接过期时间,格式为“yyyy-mm-ddThh:mm:ssZ”。其中,T指某个时间的开始,Z指时区偏移量,例如UTC时间偏移显示为+0000。 响应示例 { "files": [ { "name": "43e4feaab48f11e89039fa163ebaa7e4br02.xxx", "size": 2803, "download_link":"https://obs.domainname.com/rdsbucket.username.1/xxxxxx", "link_expired_time":"2018-08-016T10:15:14+0000" } ], "bucket": "rdsbucket.bucketname" }
  • DDS的备份是如何收费的 文档数据库服务所有的全量备份和增量备份都存储在对象存储服务上,不占用用户购买实例的存储空间,DDS提供了和实例磁盘大小相同的部分免费存储空间,用于存放您的备份数据。 自动备份的生命周期和实例的生命周期相同。如果实例删除,那么自动备份也会同时被删除,如果您有手动备份,手动备份不会自动删除,具体请参见删除手动备份。 举个例子,假如用户购买实例时,存储空间选择了200GB,那么所有的备份空间合计,只有超过200GB才开始计费,前200GB是免费的。对于超过免费容量的存储空间,目前仅支持按需计费,用多少收取多少费用,具体收费请参见计费说明。 免费的存储空间是在收取了数据盘的存储空间费用后赠送的,数据盘存储空间冻结以后不再收费,因此不再享受备份赠送空间。 用户实例冻结后,将没有免费的存储空间,会导致实例原有备份收费。 如果选择解冻实例,将恢复免费的存储空间。 如果直接删除冻结的实例,原有的自动备份将会同时被删除,原有的手动备份需要手动删除,删除后备份空间不会继续收费。 父主题: 备份与恢复
  • GaussDB(for MySQL)的备份是如何收费的 云数据库GaussDB(for MySQL)的备份文件存储在对象存储服务上,不占用实例的存储空间,GaussDB(for MySQL)提供了和实例磁盘大小相同的免费存储空间,用于存放您的备份数据。 自动备份的生命周期和实例的生命周期相同。如果实例删除,那么自动备份也会同时被删除,如果您有手动备份,手动备份不会自动删除,详情请参见删除手动备份。 举个例子,假如用户创建实例时,存储空间选择了200GB,那么所有的备份空间合计,只有超过200GB才开始计费,前200GB是免费的。对于超过免费容量的存储空间,目前仅支持按需计费,用多少收取多少费用,具体收费请参见计费说明。 免费的存储空间是在收取了数据盘的存储空间费用后赠送的,数据盘存储空间冻结以后不再收费,因此不再享受备份赠送空间。 用户实例冻结后,将没有免费的存储空间,会导致实例原有自动备份收费。 如果选择解冻实例,将恢复免费的存储空间。 如果直接删除冻结的实例,原有的自动备份将会同时被删除,备份空间不会继续收费。 父主题: 备份与恢复
  • 前提条件 已购云桌面。 管理员账号已具备云备份服务操作权限。 自主注册的华为账号默认拥有华为云所有服务的操作权限,如果您使用的是此类账号,无需再进行确认。 华为账号下新建的IAM账号,需要加入“admin”内置用户组,或者拥有云备份服务操作权限的用户组,才可使用云备份服务。可进入“统一身份认证服务”中查看是否属于“admin”内置用户组。如果非“admin”内置用户组,请参见云备份服务授权赋予IAM账号使用云备份服务的权限。
  • RDS的备份是如何收费的 云数据库RDS所有的全量备份和binlog备份都存储在对象存储服务上,不占用用户购买实例的存储空间,RDS提供了和实例磁盘大小相同的部分免费存储空间,用于存放您的备份数据。 自动备份的生命周期和实例的生命周期相同。如果实例删除,那么自动备份也会同时被删除,如果您有手动备份,手动备份不会自动删除,具体请参见删除手动备份。 举个例子,假如用户购买实例时,存储空间选择了200GB,那么所有的备份空间合计,只有超过200GB才开始计费,前200GB是免费的。对于超过免费容量的存储空间,目前仅支持按需计费,用多少收取多少费用,具体收费请参见云数据库备份空间计费规则。 免费的存储空间是在收取了数据盘的存储空间费用后赠送的,数据盘存储空间冻结以后不再收费,因此不再享受备份赠送空间。 用户实例冻结后,将没有免费的存储空间,会导致实例原有备份收费。 如果选择解冻实例,将恢复免费的存储空间。 如果直接删除冻结的实例,原有的自动备份将会同时被删除,原有的手动备份需要手动删除,删除后备份空间不会继续收费。 父主题: 备份与恢复
  • 备份与恢复概述 为避免数据丢失,您可以将集群的索引数据进行备份,当数据发生丢失或者想找回某一时间段数据时,您可以通过恢复索引操作快速获得数据。索引的备份是通过创建集群快照实现。第一次备份时,建议将所有索引数据进行备份。 管理自动创建快照:自动创建快照指按照设置的规则,每天在指定时间自动创建快照。您可以开启自动创建功能、设置自动创建的策略、和关闭自动创建功能。 手动创建快照:在任意时间,您通过手动创建快照的方式,针对当时的数据或某几个索引创建快照进行备份。 恢复数据:将已有的快照,通过恢复快照功能,将备份的索引数据恢复到指定的集群中。 删除快照:对于已失效的快照,建议删除以释放存储资源。 父主题: 备份与恢复索引
  • Snapshots 对表执行snapshot操作生成快照,既可以作为原表的备份,当原表出现问题的时候可以回滚恢复,也可以作为跨集群的数据备份工具。执行快照会在当前HBase上的根目录(默认为/hbase)生成“ .hbase-snapshot”目录,里面有每个快照的详细信息。当执行ExportSnapshot导出快照时,会在本地提交MR任务,将快照信息以及表的HFile分别拷贝到备集群的/hbase/.hbase-snapshot和/hbase/archive中。详情请参考http://hbase.apache.org/2.2/book.html#ops.snapshots。 该方式数据备份的优点: 单表备份效率高,在线数据本地/远程备份,不中断主集群和备集群业务,可以灵活配置map的个数和限制流量,MapReduce的执行节点可不在主备集群(不占资源)。 该方式数据备份的缺点和限制: 只能单表操作,备份的表名在snapshot中已经指定无法更改,且无法增量备份,运行MR需要占用本地集群资源。 在主集群执行如下操作: 对表创建快照。例如对表member创建快照member_snapshot。 snapshot 'member','member_snapshot' 将快照拷贝到备集群上。 hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot member_snapshot -copy-to hdfs://备集群HDFS服务主NameNode节点IP:端口号/hbase -mappers 3 备集群的数据目录必须为HBASE根目录(/hbase) mappers表示MR任务需要提交的map个数 在备集群执行如下操作: 使用restore命令在备集群自动新建表,以及与archive里的HFile建立link。 restore_snapshot 'member_snapshot' 如果只是备份表数据的话,建议使用此种方式备份,SnapshotExport会在本地提交MR任务,将Snapshot和HFile拷贝到备集群,之后可以在备集群直接加载数据,效率比其他方式高很多。
  • CopyTable 拷贝表功能与导出功能类似,拷贝表也使用HBase API创建了一个MapReduce任务,以便从源表读取数据。不同的地方是拷贝表的输出是hbase中的另一张表,这张表可以在本地集群,也可以在远程集群。详情请参考http://hbase.apache.org/2.2/book.html#copy.table。 该方式数据备份的优点: 操作简单,在线拷贝不中断业务,可以指定备份数据的startrow/endrow/timestamp。 该方式数据备份的缺点和限制: 只能单表操作,远程拷贝数据量大时效率较低,MapReduce需要占用本地资源,MapReduce的map个数以表region的个数划分。 在备集群执行如下操作: 执行create命令在备集群上新建与主集群相同结构的表,例如member_copy。 在主集群执行如下操作: 执行CopyTable的命令拷贝表。 hbase org.apache.hadoop.hbase.mapreduce.CopyTable [--starttime=xxxxxx] [--endtime=xxxxxx] --new.name=member_copy --peer.adr=server1,server2,server3:2181:/hbase [--families=myOldCf:myNewCf,cf2,cf3] TestTable starttime/endtime为待拷贝数据的时间戳。 new.name为备集群中目的表的表名,默认为和原来表名相同。 peer.adr为备集群zookeeper节点的信息,格式为quorumer:port:/hbase。 families为待拷贝的表的family列。 如果是拷贝数据到远端集群,此种方式导入数据会在主机群上提交MapReduce任务,读取原始表的全量/部分数据之后采用put的方式写入远端集群,所以如果表的数据量很大(远程拷贝不支持bulkload),则效率会比较低。
  • Offline backup of HDFS data 离线备份HDFS数据,即关闭HBase服务并手工在HDFS上拷贝数据。 该方式数据备份的优点: 可以把主集群上所有数据(包含元数据)整个复制到备集群。 由于是通过Distcp直接拷贝的,所以数据备份的效率相对较高。 实际操作时可以根据具体的需求灵活拷贝,可以只拷贝其中一个表的数据,也可以拷贝region中的其中一个HFile等。 该方式数据备份的缺点和限制: 此操作会覆盖备集群上的HDFS的数据目录。 如果主备集群间的HBase版本不同,HDFS目录直接拷贝可能会出现问题,例如MRS上的hbase1.3版本新增了系统表index,如果使用老版本的HDFS目录直接覆盖,会找不到该数据表。所以此种方案在执行前需要慎重考虑。 此操作对用户使用HBase的能力有一定的要求,如出现异常情况需要根据实际情况执行恢复。 在主集群执行如下操作: 执行如下命令将当前集群内存中的数据持久化到HDFS中。 flush 'tableName' 停止HBase服务。 使用distcp命令拷贝当前集群HDFS上的数据到备集群上。 hadoop distcp -i /hbase/data hdfs://备集群HDFS服务主NameNode节点IP:端口号/hbase hadoop distcp -update -append -delete /hbase/ hdfs://备集群HDFS服务主NameNode节点IP:端口号/hbase/ 第二条命令为增量拷贝除了data目录以外的文件,例如archive里面的数据可能还有被数据目录所引用。 在备集群执行如下操作: 重启HBase服务,使数据迁移生效。在启动过程中,HBase会加载当前HDFS上的数据并重新生成元数据。 启动完成后,在Master节点客户端执行如下命令加载HBase表数据。 $HBase_Home/bin/hbase hbck -fixMeta -fixAssignments 命令执行完成后,重复执行如下命令查看HBase集群健康状态直至正常。 hbase hbck 当用户使用了HBase协处理器,自定义jar包放在主集群的regionserver/hmaster上时,在备集群重启HBase之前,需要把这些自定义jar包也拷贝过来。
  • Replication Replication备份是在HBase上建立主备集群的容灾关系,当数据写入主集群,主集群通过WAL来主动push数据到备集群上,从而达到主备集群的实时同步。详情请参考http://hbase.apache.org/2.2/book.html#_cluster_replication。 该方式数据备份的优点: 使用replication有别于其他几种数据备份导入方式,当配置了集群间的主备关系后,数据可以实时同步(无需人为操作)。 相对而言,“备份”的动作占用集群的资源较少,对集群的性能影响小。 数据同步可靠性较高,如果备集群停止一段时间后再恢复,这中间主机群的数据依然会同步到备集群。 该方式数据备份的缺点和限制: 如果客户端写入的数据设置不写WAL,则数据无法备份到备集群。 由于占用的资源少,后台是通过异步的方式同步数据,实际数据没有实时同步。 对于开启表replication同步之前,主集群就已经存在的数据无法同步,需要借助其他方式导入的备集群。 bulkload方式写入到主集群的数据无法同步(MRS上的HBase对replication做了增强,支持bulkload on replication)。 具体的使用和配置方法请参考配置HBase备份和使用ReplicationSyncUp工具来进行备份数据。