数据备份与恢复-华为云

MAPREDUCE服务 MRS-HDFS数据:打通数据传输通道

打通数据传输通道当源集群与目标集群部署在同一区域的不同VPC时，请创建两个VPC之间的网络连接，打通网络层面的数据传输通道。请参见VPC对等连接。当源集群与目标集群部署在同一VPC但属于不同安全组时，在VPC管理控制台，为每个安全组分别添加安全组规则。规则的“协议”为“ANY”，“方向”为“入方向”，“源地址”为“安全组”且是对端集群的安全组。为源集群的安全组添加入方向规则，源地址选择目标集群的安全组。为目标集群的安全组添加入方向规则，源地址选择源集群的安全组。当源集群与目标集群部署在同一VPC同一安全组且两个集群都开启了Kerberos认证，需为两个集群配置互信。

MAPREDUCE服务 MRS 数据备份与恢复

云桌面 WORKSPACE-备份桌面数据:前提条件

前提条件已购云桌面。管理员账号已具备云备份服务操作权限。自主注册的华为账号默认拥有华为云所有服务的操作权限，如果您使用的是此类账号，无需再进行确认。华为账号下新建的IAM账号，需要加入“admin”内置用户组，或者拥有云备份服务操作权限的用户组，才可使用云备份服务。可进入“统一身份认证服务”中查看是否属于“admin”内置用户组。如果非“admin”内置用户组，请参见云备份服务授权赋予IAM账号使用云备份服务的权限。

云桌面 WORKSPACE 数据备份与恢复

MAPREDUCE服务 MRS-HBase数据:Snapshots

Snapshots 对表执行snapshot操作生成快照，既可以作为原表的备份，当原表出现问题的时候可以回滚恢复，也可以作为跨集群的数据备份工具。执行快照会在当前HBase上的根目录（默认为/hbase）生成“ .hbase-snapshot”目录，里面有每个快照的详细信息。当执行ExportSnapshot导出快照时，会在本地提交MR任务，将快照信息以及表的HFile分别拷贝到备集群的/hbase/.hbase-snapshot和/hbase/archive中。详情请参考http://hbase.apache.org/2.2/book.html#ops.snapshots。该方式数据备份的优点：单表备份效率高，在线数据本地/远程备份，不中断主集群和备集群业务，可以灵活配置map的个数和限制流量，MapReduce的执行节点可不在主备集群（不占资源）。该方式数据备份的缺点和限制：只能单表操作，备份的表名在snapshot中已经指定无法更改，且无法增量备份，运行MR需要占用本地集群资源。在主集群执行如下操作：对表创建快照。例如对表member创建快照member_snapshot。 snapshot 'member','member_snapshot' 将快照拷贝到备集群上。 hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot member_snapshot -copy-to hdfs://备集群HDFS服务主NameNode节点IP:端口号/hbase -mappers 3 备集群的数据目录必须为HBASE根目录（/hbase） mappers表示MR任务需要提交的map个数在备集群执行如下操作：使用restore命令在备集群自动新建表，以及与archive里的HFile建立link。 restore_snapshot 'member_snapshot' 如果只是备份表数据的话，建议使用此种方式备份，SnapshotExport会在本地提交MR任务，将Snapshot和HFile拷贝到备集群，之后可以在备集群直接加载数据，效率比其他方式高很多。

MAPREDUCE服务 MRS 数据备份与恢复

MAPREDUCE服务 MRS-HBase数据:CopyTable

CopyTable 拷贝表功能与导出功能类似，拷贝表也使用HBase API创建了一个MapReduce任务，以便从源表读取数据。不同的地方是拷贝表的输出是hbase中的另一张表，这张表可以在本地集群，也可以在远程集群。详情请参考http://hbase.apache.org/2.2/book.html#copy.table。该方式数据备份的优点：操作简单，在线拷贝不中断业务，可以指定备份数据的startrow/endrow/timestamp。该方式数据备份的缺点和限制：只能单表操作，远程拷贝数据量大时效率较低，MapReduce需要占用本地资源，MapReduce的map个数以表region的个数划分。在备集群执行如下操作：执行create命令在备集群上新建与主集群相同结构的表，例如member_copy。在主集群执行如下操作：执行CopyTable的命令拷贝表。 hbase org.apache.hadoop.hbase.mapreduce.CopyTable [--starttime=xxxxxx] [--endtime=xxxxxx] --new.name=member_copy --peer.adr=server1,server2,server3:2181:/hbase [--families=myOldCf:myNewCf,cf2,cf3] TestTable starttime/endtime为待拷贝数据的时间戳。 new.name为备集群中目的表的表名，默认为和原来表名相同。 peer.adr为备集群zookeeper节点的信息，格式为quorumer:port:/hbase。 families为待拷贝的表的family列。如果是拷贝数据到远端集群，此种方式导入数据会在主机群上提交MapReduce任务，读取原始表的全量/部分数据之后采用put的方式写入远端集群，所以如果表的数据量很大（远程拷贝不支持bulkload），则效率会比较低。

MAPREDUCE服务 MRS 数据备份与恢复

MAPREDUCE服务 MRS-HBase数据:Offline backup of HDFS data

Offline backup of HDFS data 离线备份HDFS数据，即关闭HBase服务并手工在HDFS上拷贝数据。该方式数据备份的优点：可以把主集群上所有数据（包含元数据）整个复制到备集群。由于是通过Distcp直接拷贝的，所以数据备份的效率相对较高。实际操作时可以根据具体的需求灵活拷贝，可以只拷贝其中一个表的数据，也可以拷贝region中的其中一个HFile等。该方式数据备份的缺点和限制：此操作会覆盖备集群上的HDFS的数据目录。如果主备集群间的HBase版本不同，HDFS目录直接拷贝可能会出现问题，例如MRS上的hbase1.3版本新增了系统表index，如果使用老版本的HDFS目录直接覆盖，会找不到该数据表。所以此种方案在执行前需要慎重考虑。此操作对用户使用HBase的能力有一定的要求，如出现异常情况需要根据实际情况执行恢复。在主集群执行如下操作：执行如下命令将当前集群内存中的数据持久化到HDFS中。 flush 'tableName' 停止HBase服务。使用distcp命令拷贝当前集群HDFS上的数据到备集群上。 hadoop distcp -i /hbase/data hdfs://备集群HDFS服务主NameNode节点IP:端口号/hbase hadoop distcp -update -append -delete /hbase/ hdfs://备集群HDFS服务主NameNode节点IP:端口号/hbase/ 第二条命令为增量拷贝除了data目录以外的文件，例如archive里面的数据可能还有被数据目录所引用。在备集群执行如下操作：重启HBase服务，使数据迁移生效。在启动过程中，HBase会加载当前HDFS上的数据并重新生成元数据。启动完成后，在Master节点客户端执行如下命令加载HBase表数据。 $HBase_Home/bin/hbase hbck -fixMeta -fixAssignments 命令执行完成后，重复执行如下命令查看HBase集群健康状态直至正常。 hbase hbck 当用户使用了HBase协处理器，自定义jar包放在主集群的regionserver/hmaster上时，在备集群重启HBase之前，需要把这些自定义jar包也拷贝过来。

MAPREDUCE服务 MRS 数据备份与恢复

MAPREDUCE服务 MRS-HBase数据:Replication

Replication Replication备份是在HBase上建立主备集群的容灾关系，当数据写入主集群，主集群通过WAL来主动push数据到备集群上，从而达到主备集群的实时同步。详情请参考http://hbase.apache.org/2.2/book.html#_cluster_replication。该方式数据备份的优点：使用replication有别于其他几种数据备份导入方式，当配置了集群间的主备关系后，数据可以实时同步（无需人为操作）。相对而言，“备份”的动作占用集群的资源较少，对集群的性能影响小。数据同步可靠性较高，如果备集群停止一段时间后再恢复，这中间主机群的数据依然会同步到备集群。该方式数据备份的缺点和限制：如果客户端写入的数据设置不写WAL，则数据无法备份到备集群。由于占用的资源少，后台是通过异步的方式同步数据，实际数据没有实时同步。对于开启表replication同步之前，主集群就已经存在的数据无法同步，需要借助其他方式导入的备集群。 bulkload方式写入到主集群的数据无法同步（MRS上的HBase对replication做了增强，支持bulkload on replication）。具体的使用和配置方法请参考配置HBase备份和使用ReplicationSyncUp工具来进行备份数据。

MAPREDUCE服务 MRS 数据备份与恢复

云服务器内容精选

数据备份与恢复

7*24

备案

专业服务

退订

建议反馈

售前咨询热线