集群-华为云

数据仓库服务 GAUSSDB(DWS)-创建容灾:创建Region内集群级容灾

创建Region内集群级容灾前提条件集群处于可用状态或者非均衡状态才可进行创建容灾操作。操作步骤登录GaussDB(DWS)管理控制台。在左侧导航栏中，单击“容灾管理”。在“容灾管理”页面，单击“创建容灾”。选择“容灾类型”。 “容灾类型”：选择“Region内容灾”类型。 “容灾名称”：容灾名称在4位到64位之间，不区分大小写，必须以字母开头，可以包含字母、数字、中划线或者下划线，不能包含其他的特殊字符。选择生产集群信息。 “集群名称”：提供下拉列表选择已创建的生产集群。 “可用分区”：生产集群的可用区，用户在选择生产集群后自动显示其对应的可用区信息。选择灾备集群信息。 “可用分区”：选择灾备集群工作区域下的关联可用分区。灾备集群可用分区支持与生产集群可用分区相同，3AZ集群在其中的任一AZ都可以作为灾备集群选中。 “集群名称”：用户选择灾备集群可用分区后，会自动过滤出符合逻辑同构要求的灾备集群列表，如果没有符合条件的灾备集群，可单击“创建灾备集群”创建与生产集群配置相同的集群作为灾备集群。设置高级配置。选择“自定义”时，可以设置以下高级配置参数，若选择“默认配置”，以下参数将使用它们的默认值。 “容灾同步周期”：容灾同步周期决定了生产集群间隔多长时间向灾备集群同步增量数据，请结合实际业务数据量设置合理值。容灾同步周期默认值为30分钟。单击“确定”，开始为集群创建容灾。此时容灾的“容灾状态”显示为“创建中”，创建需要时间请耐心等待。创建成功后“容灾状态”显示为“未启动”。

数据仓库服务 GAUSSDB(DWS) 集群容灾

数据仓库服务 GAUSSDB(DWS)-升级集群:集群升级

集群升级前提条件 8.1.1及以上集群版本支持用户自助通过console下发集群升级操作。操作步骤登录GaussDB(DWS)管理控制台。在集群列表中单击指定集群名称。进入“集群详情”页面，切换至“升级管理”页签。根据想要升级的操作，在“类型”一栏中选择升级或热补丁。在升级管理页面，通过目标版本下拉菜单选择集群要升级的版本。图2 升级集群在升级操作前如果集群满足巡检条件，需单击“巡检”按钮先完成一次巡检，并保证巡检检查通过，通过后可进行下一步变更操作，详情请参见查看巡检。集群安装热补丁后无法建立容灾。单击“升级”按钮，根据提示单击“确定”按钮，下发升级操作。查看集群是否升级成功：如果集群升级成功：8.1.3及以上集群版本，集群升级任务完成后进入业务观察期，若用户验证业务无问题，通过升级管理页面单击“提交”按钮，完成集群升级；如果用户验证集群使用性能等有影响，可通过集群升级页面单击“回滚”按钮，下发升级回退操作。 8.1.3以前集群版本下发升级任务后，完成集群升级前不支持回滚或提交操作。用户下发升级任务成功后，如果没有进行提交操作，则在未提交版本期间会产生wlm线程占用系统存储空间并对性能有一定影响。图3 集群升级成功如果集群升级失败：可单击“回滚”操作，回退到原集群版本；或单击“重试”按钮重复下发升级操作。图4 集群升级失败

数据仓库服务 GAUSSDB(DWS) 集群管理

数据仓库服务 GAUSSDB(DWS)-升级集群:升级版本说明

升级版本说明集群版本说明如下图所示：图1 版本说明服务补丁升级：表示集群版本X.X.X最后一位数字的升级更新，例如，集群版本从1.1.0升级到1.1.1。持续时间：整个升级过程将花费不到10分钟。业务影响：在此期间，如果升级源版本至8.1.3及以上版本，则支持在线补丁，补丁升级期间不要求用户停止业务，业务存在秒级闪断。如果在8.1.3以下版本业务会中断1至3分钟，建议在业务低峰期进行。服务升级：表示集群版本X.X.X前面两位数字的升级更新，例如，集群版本从1.1.0升级到1.2.0。持续时间：整个升级过程将花费不到30分钟。业务影响：在此期间，如果升级源版本至8.1.1及以上版本，则支持在线升级，升级期间不要求用户停止业务，业务存在秒级闪断，建议在业务低峰期进行。热补丁升级：表示在当前集群版本的基础上扩展一位版本号（格式为0001-9999）进行升级操作。持续时间：单个热补丁升级过程中花费不到10分钟。业务影响：热补丁升级过程中不影响业务，卸载热补丁后当前热补丁修复的问题可能再次出现。

数据仓库服务 GAUSSDB(DWS) 集群管理

MAPREDUCE服务 MRS-MRS集群数据备份与恢复

MRS集群数据备份与恢复 MRS集群提供对集群内的用户数据及系统数据的备份恢复能力，备份功能按组件提供。 MRS 3.x版本支持将数据备份至本地磁盘（LocalDir）、本端HDFS（LocalHDFS）、远端HDFS（RemoteHDFS）、NAS（NFS/CIFS）、SFTP服务器（SFTP）、OBS。对于支持多服务的组件，支持同服务多个实例的备份恢复功能且备份恢复操作与自身服务实例一致。备份恢复任务的使用场景如下：用于日常备份，确保系统及组件的数据安全。当系统故障导致无法工作时，使用已备份的数据完成恢复操作。当主集群完全故障，需要创建一个与主集群完全相同的镜像集群，可以使用已备份的数据完成恢复操作。表1 根据业务需要备份元数据（MRS 2.x及之前版本）备份类型备份内容 OMS 默认备份集群管理系统中的数据库数据（不包含告警数据）以及配置数据。 LdapServer 备份用户信息，包括用户名、密码、密钥、密码策略、组信息。 DBService 备份DBService管理的组件（Hive）的元数据。 NameNode 备份HDFS元数据。表2 根据业务需要备份Manager配置数据（MRS 3.x版本）备份类型备份内容备份目录类型 OMS 默认备份集群管理系统中的数据库数据（不包含告警数据）以及配置数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS SFTP OBS 表3 根据业务需要备份组件元数据或其他数据（MRS 3.x版本）备份类型备份内容备份目录类型 DBService 备份DBService管理的组件（Loader、Hive、Spark、Oozie、Hue、CDL）的元数据。对于安装了多服务的集群，包含多个Hive和Spark服务实例的元数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS SFTP OBS Flink （适用于MRS 3.2.0及以后版本） Flink的元数据。 LocalDir LocalHDFS RemoteHDFS Kafka Kafka的元数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS OBS NameNode 备份HDFS元数据。添加多个NameService后，支持不同NameService的备份恢复功能且备份恢复操作与默认实例“hacluster”一致。 LocalDir RemoteHDFS NFS CIFS SFTP OBS Yarn 备份Yarn服务资源池相关信息。 HBase HBase系统表的tableinfo文件和数据文件。 IoTDB IoTDB的元数据。 LocalDir NFS RemoteHDFS CIFS SFTP ClickHouse ClickHouse的元数据。 LocalDir RemoteHDFS 表4 根据业务需要备份特定组件业务数据（MRS 3.x版本）备份类型备份内容备份目录类型 HBase 备份表级别的用户数据。对于安装了多服务的集群，支持多个HBase服务实例的备份恢复功能且备份恢复操作与HBase服务实例一致。 RemoteHDFS NFS CIFS SFTP HDFS 备份用户业务对应的目录或文件。说明：加密目录不支持备份恢复。 Hive 备份表级别的用户数据。对于安装了多服务的集群，支持多个Hive服务实例的备份恢复功能且备份恢复操作与Hive服务实例一致。 IoTDB 备份IoTDB业务数据。 RemoteHDFS ClickHouse 备份表级别的用户数据。 RemoteHDFS 需要特别说明的是，部分组件不提供单独的数据备份与恢复功能： Kafka支持副本特性，在创建主题时可指定多个副本来备份数据。 CDL的数据存储在DBService与Kafka服务中，系统管理员可以通过创建备份DBService和Kafka的任务来备份数据。 Mapreduce和Yarn的数据存放在HDFS上，故其依赖HDFS提供备份与恢复即可。 ZooKeeper中存储的业务数据，其备份恢复能力由各上层组件按需独立实现。父主题： MRS集群管理

MAPREDUCE服务 MRS MRS集群管理

MAPREDUCE服务 MRS-提交Spark任务到新增Task节点:使用spark-submit提交任务

使用spark-submit提交任务使用root用户登录客户端节点，执行如下命令： cd 客户端安装目录 source bigdata_env source Spark2x/component_env 安全集群（开启kerberos认证）执行命令kinit spark_test，普通模式（关闭kerberos认证）无需执行。输入密码，完成认证（第一次登录需要修改密码）。 cd Spark2x/spark/bin sh spark-submit --queue tenant_spark --class org.apache.spark.examples.SparkPi --master yarn-client ../examples/jars/spark-examples_*.jar

MAPREDUCE服务 MRS MRS集群管理

MAPREDUCE服务 MRS-提交Spark任务到新增Task节点:添加租户

添加租户在集群详情页，单击“租户管理”。单击“添加租户”，打开添加租户的配置页面，参见以下表格内容为租户配置属性（以MRS 3.x版本集群为例）。表2 租户参数一览表参数名描述名称例如：tenant_spark 租户类型选择“叶子租户”。当选中“叶子租户”时表示当前租户为叶子租户，无法再添加子租户。当选中“非叶子租户”时表示当前租户可以再添加子租户。计算资源选择“Yarn”，系统将自动在Yarn中以租户名称创建任务队列。计算资源不选择“Yarn”时，系统不会自动创建任务队列。配置模式计算资源选择“Yarn”时，“配置模式”可选“基础”或“高级”。基础：需配置“默认资源池容量 (%)”，配置当前租户在“default”资源池中使用的计算资源百分比。高级：需配置如下参数。权重：资源分配权重，取值范围从0到100。租户资源占比=租户权重/同级别租户总权重之和。最小资源：保证租户能获得的资源（有抢占支持）。取值可以是父租户资源的百分比或绝对值。当租户作业量比较少时，资源会自动借给其他租户，当租户能使用的资源不满足最小资源时，可以通过抢占来要回之前借出的资源。最大资源：租户最多能使用的资源，租户不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。预留资源：租户最多能使用的资源，租户不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。默认资源池容量 (%) 配置当前租户在“default”资源池中使用的计算资源百分比，例如“20%”。储存资源选择“HDFS”，第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。存储资源不选择“HDFS”时，系统不会在HDFS中创建存储目录。文件/目录数上限例如：100000000000 存储空间配额配置当前租户使用的HDFS存储空间配额。最小值为“1”，最大值为父租户的全部存储配额。单位为MB或GB。例如：50000，单位为MB。此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。说明：为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”，则实际只能保存约500/2=250MB大小的文件。存储路径例如：“tenant/spark_test”，系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“spark_test”，默认HDFS存储目录为“tenant/spark_test”。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。服务配置当前租户关联使用的其他服务资源，支持HBase。单击“关联服务”，在“服务”选择“HBase”。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。描述配置当前租户的描述信息。单击“确定”保存，完成租户添加。保存配置需要等待一段时间，界面右上角弹出提示“租户创建成功。”，租户成功添加。创建租户时将自动创建租户对应的角色、计算资源和存储资源。新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制，不支持通过“角色管理”进行手动管理。使用此租户时，请创建一个系统用户，并分配Manager_tenant角色以及租户对应的角色。

MAPREDUCE服务 MRS MRS集群管理

MAPREDUCE服务 MRS-提交Spark任务到新增Task节点:添加Task节点

添加Task节点在MRS自定义类型集群的集群详情页面，选择“节点管理”页签，单击“新增节点组”，进入“新增节点组”页面。根据需求配置参数。表1 新增节点组参数说明参数名称描述节点规格选择节点组内主机的规格类型。节点数量设置新增节点组内的节点数量。系统盘设置新增节点的系统盘的规格与容量。数据盘/数据盘数量设置新增节点的数据盘的规格与容量及数量。部署角色添加“NodeManager”角色。单击“确定”。

MAPREDUCE服务 MRS MRS集群管理

MAPREDUCE服务 MRS-配置HBase主备集群容灾:使用约束

使用约束尽管容灾提供了实时的数据复制功能，但实际的数据同步进展，由多方面的因素决定的，例如，当前主集群业务的繁忙程度，备集群进程的健康状态等。因此，在正常情形下，备集群不应该接管业务。极端情形下是否可以接管业务，可由系统维护人员以及决策人员根据当前的数据同步指标来决定。容灾功能当前仅支持一主一备。通常情况下，不允许对备集群的灾备表进行表级别的操作，例如修改表属性、删除表等，一旦误操作备集群后会造成主集群数据同步失败、备集群对应表的数据丢失。主集群的HBase表已启用容灾功能同步数据，用户每次修改表的结构时，需要手动修改备集群的灾备表结构，保持与主集群表结构一致。

MAPREDUCE服务 MRS HBase集群容灾高可用

MAPREDUCE服务 MRS-配置HBase主备集群容灾:前提条件

前提条件主备集群都已经安装并启动成功，且获取集群的管理员权限。必须保证主备集群间的网络畅通和端口的使用。如果主集群部署为安全模式且不由一个FusionInsight Manager管理，主备集群必须已配置跨集群互信。如果主集群部署为普通模式，不需要配置跨集群互信。主备集群必须已配置跨集群拷贝。主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。必须在主备集群的所有节点的hosts文件中，配置主备集群所有机器的机器名与业务IP地址的对应关系。如果主集群的客户端安装在集群外的节点上，也需在该节点的hosts文件中配置主备集群所有机器的机器名与业务IP地址的对应关系。主备集群间的网络带宽需要根据业务流量而定，不应少于最大的可能业务流量。主备集群安装的MRS版本需要保持一致。备集群规模不小于主集群规模。

MAPREDUCE服务 MRS HBase集群容灾高可用

华为云UCS-注册附着集群（私网接入）:步骤四：接入集群

步骤四：接入集群登录UCS控制台，在“等待接入”状态下的目标集群栏中单击“私网接入”。选择项目，再选择步骤三：购买终端节点中创建的终端节点。图5 选择终端节点将2中的agent配置文件上传至节点。单击“安装集群代理agent配置”，在待接入集群中执行如下命令，可单击右侧直接复制命令。图6 安装集群代理agent配置私网接入的集群无法通过私网下载SWR镜像仓库中的镜像，请确保工作负载运行的节点可访问公网。拉取proxy-agent容器镜像要求集群需要具备公网访问能力，或将proxy-agent镜像上传至集群可访问的镜像仓库，否则将导致proxy-agent部署失败。前往UCS控制台刷新集群状态，集群处于“运行中”。

华为云UCS 附着集群

华为云UCS-注册附着集群（私网接入）:步骤二：注册集群

步骤二：注册集群登录UCS控制台。在左侧导航栏中选择“容器舰队”，单击附着集群选项卡中的“注册集群”按钮。参考表1填写待添加集群的基础信息，其中带“*”的参数为必填参数。表1 注册集群基础信息配置参数参数说明集群名称* 输入集群的自定义名称，需以小写字母开头，由小写字母、数字、中划线（-）组成，且不能以中划线（-）结尾。集群服务商* 选择一个集群服务商。所属区域* 选择集群所在的区域。集群标签非必填项，以键值对的形式为集群添加标签，可以通过标签实现集群的分类。键值对可自定义，以字母或者数字开头和结尾，由字母、数字、连接符（-）、下划线（_）、点号（.）组成，且63个字符之内。上传KubeConfig* 上传kubectl的配置文件来完成集群认证，支持JSON或YAML格式。获取KubeConfig文件的操作步骤因厂商而异，请参见KubeConfig。选择Context* 选择对应的Context。在完成KubeConfig文件上传后，选项列表将自动获取文件中的“contexts”字段。默认值为KubeConfig文件中“current-context”字段指定的Context，若文件中无此字段则需要从列表中手动选择。容器舰队选择集群所属的舰队。舰队用于权限精细化管理，一个集群只能加入一个舰队。若不选择舰队，集群注册成功后将显示在“未加入舰队的集群”页签下，后续还可以再添加至舰队中。不支持在注册集群阶段选择已开通集群联邦能力的舰队，如果一定要加入这个舰队，请在集群注册成功后，再添加到该舰队中。关于集群联邦的介绍，请参见开通集群联邦章节。如需新建舰队，请参见管理容器舰队。单击“确定”，集群注册成功后如图2所示，请在30分钟内接入网络。您可选择集群的接入方式或单击右上角按钮查看详细的网络接入流程。如您未在30分钟内接入网络，将会导致集群注册失败，可单击右上角按钮重新注册集群。如果已经接入但数据未采集上来，请等待2分钟后刷新集群。图2 集群等待接入状态

华为云UCS 附着集群

华为云UCS-注册附着集群（私网接入）:前提条件

前提条件已创建一个准备接入UCS的集群，并且集群状态正常。在UCS提供服务的区域中创建一个VPC，具体操作请参见创建虚拟私有云和子网。当前仅支持“华北-北京四”区域。该VPC子网网段不能与IDC或第三方云中已使用的网络网段重叠，否则将无法接入集群。例如，IDC中已使用的VPC子网为192.168.1.0/24，那么华为云VPC中不能使用192.168.1.0/24这个子网。已获取待添加集群的KubeConfig文件，具体操作步骤因厂商而异，请参见KubeConfig。关于KubeConfig文件的更多说明请参考使用kubeconfig文件组织集群访问。

华为云UCS 附着集群

华为云UCS-注册附着集群（私网接入）:步骤三：购买终端节点

步骤三：购买终端节点登录UCS控制台，单击待接入集群栏的“单击接入”进入集群接入界面，单击“私网接入”。查看“创建终端节点”中的服务名称，单击，记录服务名称。图3 创建终端节点登录VPC终端节点控制台，单击“创建终端节点”，创建连接不同服务的终端节点。选择终端节点的区域。选择“按名称查找服务”，输入所记录的服务名称，并单击“验证”。图4 购买终端节点选择步骤一：准备网络环境中与集群网络连通的虚拟私有云以及对应的子网。根据需求选择终端节点的“节点IP”为“自动分配”或“手动分配”。配置完其他参数后，单击“立即购买”，并进行规格确认。规格确认无误，单击“提交”，任务提交成功。参数信息配置有误，需要修改，单击“上一步”，修改参数，然后单击“提交”。

华为云UCS 附着集群

华为云UCS-注册附着集群（私网接入）:约束与限制

约束与限制华为云账号用户需具备UCS FullAccess和VPCEndpoint Administrator权限。若集群地域位于境外，应确保您的行为符合所适用的法律法规要求。请确保注册的集群为通过CNCF一致性认证，且版本在1.19至1.28之间的Kubernetes集群。附着集群通过私网接入时，由于网络限制，镜像仓库功能的使用可能受限：私网接入的集群无法通过私网下载SWR镜像仓库中的镜像，请确保工作负载运行的节点可访问公网。

华为云UCS 附着集群

华为云UCS-备份与恢复:集群备份

集群备份本地备份创建备份文件压缩包存放的目录。执行备份命令： ./ucs-ctl backup 集群名 --path 备份路径 --type local 示例如下： ./ucs-ctl backup gpu-test --path /home/ggz/gpu-test --type local 执行成功后，会在指定的备份路径下产生名为：集群名-backup-时间戳.tar.gz这样一个备份压缩文件。备份压缩文件存在ha.yaml、etcd-snapshot目录、crt目录，etcd-snapshot包含etcd备份数据，crt包含证书与加解密材料。远端备份

华为云UCS 管理本地集群

云服务器内容精选

集群

7*24

备案

专业服务

退订

建议反馈

售前咨询热线