华为云用户手册

通过管理控制台配置队列容量策略 登录 MRS 管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在集群详情页，单击“租户管理”。 单击“资源分布策略”页签。 在“资源池”选择指定的资源池。 “可用资源配额”：表示每个资源池默认所有资源都可分配给队列。 在“资源分配”列表指定队列的“操作”列，单击“修改”。 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。 “资源容量 (%)”：表示当前租户计算资源使用的资源百分比。 “最大资源容量 (%)”：表示当前租户计算资源使用的最大资源百分比。 单击“确定”保存配置。

下载MRS集群日志（MRS 3.x之前版本） 用户已经获取账号对应的Access Key ID（AK）和Secret Access Key（SK）。 用户已经在账号的 对象存储服务 （OBS）中创建了并行文件系统。 在MRS Manager，单击“系统设置”。 单击“维护”下方的“日志导出”。 “服务”选择服务，“主机”填写服务所部署主机的IP，“开始时间”与“结束时间”选择对应的开始与结束时间。 在“导出类型”选择一个日志保存的位置。只有启用了Kerberos认证的集群支持选择。 “下载到本地”：表示将日志保存到用户当前的本地环境。然后执行8。 “上传到OBS”：表示将日志保存到OBS中。默认值。然后执行5。 在“OBS路径”填写服务日志在OBS保存的路径。 需要填写完整路径且不能以“/”开头，路径可以不存在，系统将自动创建。OBS的完整路径最大支持900个字节。 在“桶名”输入已创建的OBS文件系统名称。 在“AK”和“SK”输入用户的Access Key ID和Secret Access Key。 单击“确定”完成日志下载。

MRS集群节点类型说明 MRS集群由多个弹性云服务器节点组成，根据节点的不同规格，系统以节点组的方式进行管理，不同的节点组一般选用不同的云服务器规格。 根据节点上部署的组件角色的不同，集群内的节点类型可分为Master节点、Core节点、Task节点。 表1 集群节点分类 节点类型 功能 Master节点 MRS集群管理节点，节点上部署 OMS Server负责管理和监控集群。 在MRS集群创建成功后，集群内的节点名称中包含“master1”的节点为Master1节点，名称中包含“master2”的节点为Master2节点。 Master节点可以通过弹性云服务器界面的VNC方式登录，也可以通过SSH方式登录，并且Master节点可以免密码登录到其他节点。 系统自动将Master节点标记为主备管理节点，并支持MRS集群管理的高可用特性。如果主管理节点无法提供服务，则备管理节点会自动切换为主管理节点并继续提供服务。 查看Master1节点是否为主管理节点，请参见查看MRS集群主备管理节点。 Core节点 MRS集群工作节点，负责处理和分析数据，并存储过程数据。 在MRS集群详情的“节点管理”页面，节点类型包含“Core”的节点组所包含的节点为Core节点。 Task节点 计算节点，集群计算资源不足时通过配置弹性伸缩策略实现自动扩缩容。 在MRS集群详情的“节点管理”页面，节点类型为“Task”的节点组所包含的节点为Task节点。 如果数据节点组内除基础必选角色外仅部署了NodeManager（Yarn）角色或Supervisor（Storm）角色，则该节点组为Task类型节点组。 MRS集群节点支持用户远程登录，远程登录包含界面登录和SSH登录两种方式： 界面登录：直接通过弹性云服务器管理控制台提供的远程登录功能，登录到集群节点的Linux命令行操作界面。 SSH登录：仅适用于Linux弹性云服务器，您可以使用远程登录工具（例如PuTTY）登录弹性云服务器，此时需要该弹性云服务器绑定弹性IP地址。 集群节点申请和绑定弹性IP，请参见申请EIP并绑定至E CS 。 可以使用密钥方式也可以使用密码方式登录Linux弹性云服务器，详情请参见登录MRS集群节点。 父主题： 业务选型

通过管理控制台管理资源池 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在集群详情页，单击“租户管理”。 单击“资源池”页签。 在资源池列表指定资源池所在行的“操作”列，单击“修改”。 修改资源池主机。 增加主机：在界面左边主机列表，勾选指定的主机名称加入资源池。 删除主机：在界面右边主机列表，单击指定主机后的将选中的主机移出资源池。资源池中的主机列表可以为空。 单击“确定”保存。 如需删除资源池，可以在“资源池”页签，单击资源池列表指定资源池所在行的“操作”列的“删除”。在弹出窗口中单击“确定”。

添加Task节点 MRS集群创建成功之后，如果需要规划Task类型的节点组进行弹性伸缩，可通过手动添加节点组的方式进行配置。 “自定义”类型集群添加Task节点操作步骤： 在集群详情页面，选择“节点管理”页签，单击“新增节点组”，进入“新增节点组”页面。 节点类型选择“Task”，“部署角色”参数默认选择“NM”部署NodeManager角色，则新增节点组为Task节点组，其他参数根据需要配置。 图1 添加Task节点组 非“自定义”类型集群添加Task节点操作步骤： 在集群详情页面，选择“节点管理”页签，单击“配置Task节点”，进入“配置Task节点”页面。 配置“节点类型”、“节点规格”、“节点数量”、“系统盘”，如开启“添加数据盘”后，还需要配置数据盘的存储类型、大小和数量。 单击“确定”。

约束条件 对于已安装HBase组件的节点组扩容时： 如果集群没有开启节点自动注册DNS，扩容该节点组时需选择不启动组件，之后请参考服务端配置过期后更新MRS集群客户端更新完HBase客户端配置后再启动扩容节点上的HBase组件实例。 以下版本默认开启了集群自动注册DNS，也可以请通过查询对应版本元数据查询返回体中features字段是否包含register_dns_server这个值来判断是否支持DNS特性。 MRS 1.9.3、MRS 3.1.0、MRS 3.1.2-LTS、MRS 3.1.5以及MRS 3.2.0-LTS。 扩容后，集群内节点已安装的客户端无需更新，集群外节点安装的客户端请参考服务端配置过期后更新MRS集群客户端进行更新。 扩容后，如需对HDFS数据进行均衡操作，请参考配置DataNode容量均衡。如需对Kafka数据进行均衡操作，请参考Kafka均衡工具使用说明。

前提条件 如果通过MRS管理控制台操作，需要已完成 IAM 用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 如果通过Manager界面操作，需要已登录MRS集群Manager界面，详情请参考访问MRS集群Manager。 如果需要删除资源池，需满足以下要求： 集群中任何一个队列不能使用待删除资源池为默认资源池，删除资源池前需要先取消默认资源池，请参见配置MRS租户队列。 集群中任何一个队列不能在待删除资源池中配置过资源分布策略，删除资源池前需要先清除策略，请参见清除MRS租户队列配置。

扩容按需集群 登录MRS管理控制台。 选择“现有集群” ，选中一个运行中的集群并单击集群名称，进入集群信息页面。 选择“节点管理”页签，在需要扩容的节点组的“操作”列单击“扩容”，进入扩容集群页面。 只有运行中的集群才能进行扩容操作。 设置“系统盘”和“数据盘”的类型、“扩容节点数量”、“启动组件”和“执行引导操作”参数，并单击“确定”。“启动组件”和“执行引导操作”参数部分版本的集群可能不支持，请以界面实际参数为准。 若集群中没有Task节点组，请参考相关任务配置Task节点。 如果创建集群时添加了引导操作，则“执行引导操作”参数有效，开启该功能时扩容的节点会把创建集群时添加的引导操作脚本都执行一遍。 如果“新节点规格”参数有效，则表示与原有节点相同的规格已售罄或已下架，新扩容的节点将按照“新节点规格”增加。 扩容集群前需要检查集群安全组是否配置正确，要确保集群入方向安全组规则中有一条全部协议，全部端口，源地址为可信任的IP访问范围的规则。 进入“扩容节点”窗口，单击“确认”。 页面右上角弹出扩容节点提交成功提示框。 集群扩容过程说明如下： 扩容中：集群正在扩容时集群状态为“扩容中”。已提交的作业会继续执行，也可以提交新的作业，但不允许继续扩容和删除集群，也不建议重启集群和修改集群配置。 扩容成功：集群扩容成功后集群状态为“运行中”，计费会按照新增节点加上已有节点使用的资源计算。 扩容失败：集群扩容失败时集群状态为“运行中”。用户可以执行作业，也可以重新进行扩容操作。 扩容成功后，可以在集群详情的“节点管理”页签查看集群的节点信息。

为集群增加标签 创建集群时为集群增加标签 登录MRS管理控制台。 单击“购买集群”，进入购买集群页面。 在购买集群页面，选择“自定义购买”。 参考自定义购买MRS集群配置集群软件配置和硬件配置信息。 勾选“高级配置”右侧的“现在配置”，在标签栏输入新添加标签的键和值。 图1 添加标签 为已有集群增加集群标签 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 选择“标签管理”页签，进入标签管理界面。 单击“添加/编辑标签”（若首次添加标签则为单击“添加标签”），在弹出的对话框输入新添加标签的键和值，单击“添加”。 图2 添加/编辑标签 用户也可以通过启用默认标签为集群增加集群标签。默认标签会为集群和每个节点添加默认标签，并占用2个标签配额。 单击“确定”添加标签。

为节点增加标签 为集群增加默认标签时自动增加节点标签，请参见•为已有集群增加集群标签。 弹性伸缩方式为节点自动增加节点标签 配置弹性伸缩策略时添加标签，MRS会自动为新扩容的节点加上该标签，并将标签同步至云服务器和云硬盘。 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 选择“弹性伸缩”页签，进入配置弹性伸缩界面。 在已有弹性伸缩策略右边单击“编辑”按钮，在弹出的对话框输入新添加标签的键和值，单击“添加”。 需要先开启弹性伸缩策略且配置扩容规则，否则通过弹性伸缩设置的节点标签将不会生效。 如果当前标签配额不足时，请删除集群标签或者修改弹性策略已有的标签，然后再开启弹性伸缩策略。 资源池维度的弹性伸缩不支持添加标签。 单击“确定”添加标签。

管理标签 在现有集群的标签页，执行标签的增、删、查操作。 登录MRS管理控制台。 在现有集群列表中，单击待管理标签的集群名称。 系统跳转至该集群详情页面。 选择“标签管理”页签，对集群的标签执行增、删、查。 查看 在“标签”页，可以查看当前集群的标签详情，包括标签个数，以及每个标签的键和值。 添加 单击左上角的“添加/编辑标签”（若首次添加标签则为单击“添加标签”），在弹出的“添加/编辑标签”窗口，输入新添加标签的键和值，并单击“确定”。 删除 单击标签所在行“操作”列下的“删除”，如果确认删除，在弹出的“删除标签”窗口，输入“DELETE”，单击“确定”。

前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 如果通过Manager界面操作，需要已登录MRS集群Manager界面，详情请参考访问MRS集群Manager。 检查待删除的租户是否存在子租户，如果存在，需要先删除全部子租户，否则无法删除当前租户。 待删除租户的角色，不能与任何一个用户或者用户组存在关联关系。

通过Manager删除租户 MRS 3.x及之后版本： 登录Manager，单击“租户资源”。 在左侧租户列表，选择待删除的租户，单击。 根据业务需求，需要保留租户已有的数据时请同时勾选“保留该租户资源的数据。”，否则将自动删除租户对应的存储空间。 如果使用不属于supergroup组的用户执行删除租户操作，并且不保留租户数据，需要使用属于supergroup组的用户登录HDFS客户端，手动清理租户对应的存储空间，以免数据残留。 如果确认删除，在弹出的“删除租户”窗口中输入“DELETE ”，单击“确定”，删除租户。 保存配置需要等待一段时间，租户成功删除。租户对应的角色、存储空间将删除。 租户删除后，Yarn中对应的租户任务队列不会被删除。同时Yarn角色管理中，此租户任务队列不再显示。 MRS 2.x及之前版本： 在MRS Manager，单击“租户管理”。 在左侧租户列表，将光标移动到需要删除的租户节点上，单击“删除”。 界面显示删除租户对话框。根据业务需求，需要保留租户已有的数据时请同时勾选“保留该租户的数据”，否则将自动删除租户对应的存储空间。 单击“是”，删除租户。 保存配置需要等待一段时间，租户成功删除。租户对应的角色、存储空间将删除。 租户删除后，Yarn中对应的租户任务队列不会被删除。 删除父租户时选择不保留数据，如果存在子租户且子租户使用了存储资源，则子租户的数据也会被删除。

通过管理控制台删除租户 在集群详情页，单击“租户管理”。 在左侧租户列表，将光标移动到需要删除的租户节点上，单击“删除”。 界面显示删除租户对话框。根据业务需求，需要保留租户已有的数据时请同时勾选“保留该租户的数据”，否则将自动删除租户对应的存储空间。 单击“是”，删除租户。 保存配置需要等待一段时间，租户成功删除。租户对应的角色、存储空间将删除。 租户删除后，Yarn中对应的租户任务队列不会被删除。 删除父租户时选择不保留数据，如果存在子租户且子租户使用了存储资源，则子租户的数据也会被删除。

管理租户目录 进入租户管理页面。 通过MRS管理控制台操作：在MRS管理控制台单击待操作的集群，在集群详情页，单击“租户管理”。 通过Manager操作（MRS 3.x及之后版本集群）：在Manager页面单击“租户资源”。 通过Manager操作（MRS 2.x及之前版本集群）：在Manager页面单击“租户管理”。 在左侧租户列表，单击目标的租户。 单击“资源”页签，可以执行以下操作管理租户目录。 查看租户目录： 在“HDFS 存储”表格中查看相关信息。 指定租户目录的“文件目录数上限”列表示文件和目录数量配额。（MRS管理控制台为“文件/目录数上限”） 指定租户目录的“存储空间配额”列表示租户目录的存储空间大小。 添加租户目录： 在“HDFS 存储”表格，单击“添加目录”。 父目录：选择一个父租户的存储目录。 如果当前租户不是子租户则不显示此参数。如果父租户有多个目录，请选择其中任何一个。 路径：填写租户目录的路径。 如果当前租户不是子租户，新路径将在HDFS的根目录下创建。 如果当前租户是一个子租户，新路径将在指定的目录下创建。 完整的HDFS存储目录最多包含1023个字符。HDFS目录名称包含数字、大小写字母、空格和下划线。空格只能在HDFS目录名称的中间使用。 文件\目录数上限：填写文件和目录数量配额。该参数为可选参数。 文件数阈值配置 （%）：只有设置了“文件\目录数上限”才会生效。表示当已使用的文件数超过了设置的“文件\目录数上限”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。（仅MRS 3.x及之后版本需配置该参数） 当前已使用的文件数的数据采集周期为1个小时，因此超过文件数阈值的告警上报会存在延迟。 存储空间配额 ：填写租户目录的存储空间大小。 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间所有副本文件在HDFS中占用磁盘空间大小总和。例如“存储空间配额”设置为“500”，则实际只能保存约500/2=250MB大小的文件。 存储空间阈值配置 （%）：表示已使用存储空间超过了设置的“存储空间配额”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。（仅MRS 3.x及之后版本需配置该参数） 已使用的存储空间的数据采集周期为1个小时，因此超过存储空间阈值的告警上报会存在延迟。 单击“确定”完成租户目录添加，系统将在HDFS根目录下创建租户的目录。 修改租户目录： 在“HDFS存储”表格，指定租户目录的“操作”列，单击“修改”。 根据实际需求修改相关参数。 单击“确定”完成租户目录修改。 删除租户目录： 在“HDFS 存储”表格，指定租户目录的“操作”列，单击“删除”。 创建租户时设置的默认HDFS存储目录不支持删除，仅支持删除新添加的HDFS存储目录。 单击“确认”完成租户目录删除。

MRS集群部署类型说明 表1 MRS集群部署类型 常用模板 说明 节点数量范围 管控合设 管理角色和控制角色共同部署在Master节点中， 数据实例 合设在同一节点组。该部署方式适用于100个以下的节点，可以减少成本。 Master节点数量大于等于3个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。 管控数合设 生产环境或商用环境不推荐使用此场景。 管理节点、控制节点和数据节点合并部署时，集群性能和可靠性都会产生较大影响。 如节点数量满足需求，建议将数据节点单独部署。 Master节点数量大于等于3个，小于等于100个。 节点组数量总和小于等于10个。 管控分设 管理角色和控制角色分别部署在不同的Master节点中，数据实例合设在同一节点组。该部署方式适用于100-500个节点，在高并发负载情况下表现更好。 Master节点数量大于等于5个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。 数据分设 管理角色和控制角色分别部署在不同的Master节点中，数据实例分设在不同节点组。该部署方式适用于500个以上的节点，可以将各组件进一步分开部署，适用于更大的集群规模。 Master节点数量大于等于9个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。

MRS集群服务角色部署规则说明 MRS系统由多种服务按照一定的逻辑架构组合而成，每个服务包含一个或多个角色，每个角色可以部署一个或多个实例。 服务：服务对外表现为集群提供的组件业务能力，集群中的每个组件对应一个服务名，提供一种服务。 角色：角色是服务的组成要素，每个服务由一个或多个角色组成，服务通过角色安装到节点（即服务器）上，保证服务正常运行。 实例：当一个服务的角色安装到节点上，即形成一个实例。每个服务有各自对应的角色实例。 各服务的部署原则如MRS集群部署方案说明所示。 A依赖于B（服务级）：若集群中部署A服务，需要提前部署B服务，B为A提供基础能力。 A关联于B（服务级）：A服务与B服务在业务进行中会产生数据交互，不存在部署上的依赖关系。 A与B共机部署（角色级）：若集群中部署A角色，需要同时部署B角色，且A与B需要部署在相同的节点上。 表2 MRS集群角色部署规则 服务名称 依赖关系 角色名称 角色业务部署建议 OMSServer - OMSServer 部署在Master节点上，不支持修改。 ClickHouse 依赖ZooKeeper CHS（ClickHouseServer） 所有节点均可部署。 角色实例部署数量范围：2~256，必须为偶数个。 CLB（ClickHouseBalancer） 所有节点均可部署。 角色实例部署数量范围：2~256。 Flink 依赖ZooKeeper 依赖KrbServer 依赖DBService 依赖Hadoop FR(FlinkResource) 所有节点均可部署。 角色实例部署数量范围：1~10000。 FS(FlinkServer) 所有节点均可部署。 角色实例部署数量范围：0~2。 Flume - MS(MonitorServer) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 F(Flume) 所有节点均可部署。 角色实例部署数量范围：1~10000。 Hadoop 依赖ZooKeeper NN(NameNode) 只能部署在Master节点上。 角色实例部署数量范围：2。 HFS（HttpFS） 只能部署在Master节点上。 角色实例部署数量范围：0~10。 JN(JournalNode) 只能部署在Master节点上。 角色实例部署数量范围：3~60，步长为2。 DN(DataNode) 所有节点均可部署。 角色实例部署数量范围：3~10000。 RM(ResourceManager) 只能部署在Master节点上。 角色实例部署数量范围：2。 NM(NodeManager) 所有节点均可部署。 角色实例部署数量范围：3~10000。 JHS(JobHistoryServer) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 TLS(TimelineServer) 只能部署在Master节点上。 角色实例部署数量范围：0~1。 HBase 依赖Hadoop HM(HMaster) 只能部署在Master节点上。 角色实例部署数量范围：2。 TS(ThriftServer) 所有节点均可部署。 角色实例部署数量范围：0~10000。 RT(RESTServer) 所有节点均可部署。 角色实例部署数量范围：0~10000。 RS(RegionServer) 所有节点均可部署。 角色实例部署数量范围：3~10000。 TS1(Thrift1Server) 所有节点均可部署。 角色实例部署数量范围：0~10000。 若集群安装了Hue服务并且需要在Hue WebUI使用HBase，HBase服务需安装此实例。 HetuEngine 依赖Hadoop 依赖DBService 依赖Hive 依赖ZooKeeper 依赖KrbServer 依赖Yarn 依赖HDFS HSB(HSBroker) 所有节点均可部署。 角色实例部署数量范围：2~50。 HSC(HSConsole) 所有节点均可部署。 角色实例部署数量范围：2。 HSF(HSFabric) 所有节点均可部署。 角色实例部署数量范围：0~50。 QAS（仅适用于MRS 3.2.0-LTS.1及以后版本） 所有节点均可部署。 角色实例部署数量范围：0~2。 Hive 依赖Hadoop 依赖DBService MS(MetaStore) 只能部署在Master节点上。 角色实例部署数量范围：2~10。 WH（WebHCat） 只能部署在Master节点上。 角色实例部署数量范围：1~10。 HS(HiveServer) 只能部署在Master节点上。 角色实例部署数量范围：2~80。 Hue 依赖DBService H(Hue) 只能部署在Master节点上。 角色实例部署数量范围：2。 Impala 依赖Hadoop 依赖Hive 依赖DBService 依赖ZooKeeper StateStore 只能部署在Master节点上。 角色实例部署数量范围：1。 Catalog 只能部署在Master节点上。 角色实例部署数量范围：1。 Impalad 所有节点均可部署。 角色实例部署数量范围：1~10000。 IoTDB 依赖KrbServer CN（ConfigNode） 只能部署在Master节点上。 角色实例部署数量范围：3~9，步长为2。 IoTDBS（IoTDBServer） 所有节点均可部署。 角色实例部署数量范围：3~256。 Kafka 依赖ZooKeeper B(Broker) 所有节点均可部署。 角色实例部署数量范围：3~10000。 Kudu - KuduMaster 只能部署在Master节点上。 角色实例部署数量范围：3或者5。 KuduTserver 所有节点均可部署。 角色实例部署数量范围：3~10000。 Loader 依赖Hadoop 依赖DBService LS(LoaderServer) 只能部署在Master节点上。 角色实例部署数量范围：2。 Oozie 依赖Hadoop 依赖DBService 依赖ZooKeeper O(oozie) 只能部署在Master节点上。 角色实例部署数量范围：2。 Presto 依赖Hive PCD(Coordinator) 只能部署在Master节点上。 角色实例部署数量范围：2。 PWK(Worker) 所有节点均可部署。 角色实例部署数量范围：1~10000。 Ranger 依赖DBService RA(RangerAdmin) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 USC(UserSync) 只能部署在Master节点上。 角色实例部署数量范围：1。 TSC（TagSync） 所有节点均可部署。 角色实例部署数量范围：0~1。 Spark 依赖Hadoop 依赖Hive 依赖ZooKeeper JS(JD BCS erver) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 JH(JobHistory) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 SR(SparkResource) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 Spark2x 依赖Hadoop 依赖Hive 依赖ZooKeeper JS2X(JDBCServer2x) 只能部署在Master节点上。 角色实例部署数量范围：2~10。 JH2X(JobHistory2x) 只能部署在Master节点上。 角色实例部署数量范围：2。 SR2X(SparkResource2x) 只能部署在Master节点上。 角色实例部署数量范围：2~50。 IS2X(IndexServer2x) （可选）只能部署在Master节点上。 角色实例部署数量范围：0~2，步长为2。 Sqoop 依赖Hadoop SC(SqoopClient) 所有节点均可部署。 角色实例部署数量范围：1~10000。 Tez 依赖Hadoop 依赖DBService 依赖ZooKeeper TUI(TezUI) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 ZooKeeper - QP(quorumpeer) 只能部署在Master节点上。 角色实例部署数量范围：3~9，步长为2。

MRS集群类型介绍 MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群，也可自行选择组件列表及高级配置特性，自定义购买集群。 表1 MRS集群类型 集群类型 场景介绍 核心组件 Hadoop分析集群 Hadoop集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算、Tez有向无环图的分布式计算框架等Hadoop生态圈的组件，进行海量数据分析与查询。 Hadoop、Hive、Spark、Tez、Flink、ZooKeeper、Ranger HBase查询集群 HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能优异、可伸缩、面向列的分布式 云存储 系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 Hadoop、HBase、ZooKeeper、Ranger Kafka流式集群 Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。 Kafka、Storm ClickHouse集群 ClickHouse是一个用于联机分析的列式数据库管理系统，具有压缩率和极速查询性能。被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域。 ClickHouse、ZooKeeper 实时分析集群 实时分析集群使用Hadoop、Kafka、Flink和ClickHouse组件提供一个海量的数据采集、数据的实时分析和查询的系统。 Hadoop、Kafka、Flink、ClickHouse、ZooKeeper、Ranger 父主题： 业务选型

MRS作业分类 MRS作业是MRS为用户提供的程序执行平台，用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务，也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS，用户创建作业前需要将待分析数据上传至OBS系统，MRS使用OBS中的数据进行计算分析。 MRS也支持将OBS中的数据导入至HDFS中，使用HDFS中的数据进行计算分析。数据完成处理和分析后，您可以将数据存储在HDFS中，也可以将集群中的数据导出至OBS系统。HDFS和OBS也支持存储压缩格式的数据，目前支持存储bz2、gz压缩格式的数据。 目前MRS集群支持在线创建如下几种类型的作业： MapReduce：提供快速并行处理大量数据的能力，是一种分布式数据处理模式和执行环境，MRS支持提交MapReduce Jar程序。 Spark：基于内存进行计算的分布式计算框架，MRS支持提交SparkSubmit、Spark Script和Spark SQL作业。 SparkSubmit：提交Spark Jar和Spark Python程序，运行Spark Application计算和处理用户数据。 SparkScript：提交SparkScript脚本，批量执行Spark SQL语句。 Spark SQL：使用Spark提供的类似SQL的Spark SQL语句，实时查询和分析用户数据。 Hive：建立在Hadoop基础上的开源的 数据仓库 。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。 Flink：提供一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。 HadoopStreaming：HadoopStreaming作业像普通Hadoop作业一样，除了可以指定输入和输出的HDFS路径的参数外，它还可以指定mapper和reducer的可执行程序。

在Manager查看主备管理节点 当前操作仅适用于MRS 3.x及之后版本。 登录Manager页面，具体操作请参考访问MRS集群Manager。 单击“主机”，进入主机页面。 查看并记录主备管理节点IP。 图1 查看并记录主备管理节点IP 主机名称前带有表示主管理节点（主OMS节点），查看对应主机行的“管理IP”，即为对应节点IP。 主机名称前带有表示备管理节点（备OMS节点），查看对应主机行的“管理IP”，即为对应节点IP。

通过执行脚本确定主备管理节点 获取MRS集群的Master节点信息。 登录MRS管理控制台，选择“现有集群”，单击待操作集群名称，进入集群信息页面。 单击“节点管理”查看Master节点名称，名称中包含“master1”的节点为Master1节点，名称中包含“master2”的节点为Master2节点。 确认集群主备管理节点。 远程登录Master1节点，请参见登录MRS集群节点。 Master节点支持Cloud-Init特性，Cloud-init预配置的用户名“root”，密码为创建集群时设置的密码。 执行以下命令切换用户。 sudo su - root su - omm 执行以下命令确认主备管理节点： MRS 3.x之前版本集群执行命令： sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms.sh MRS 3.x及之后版本集群执行命令： sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh 回显信息中“HAActive”参数值为“active”的节点为主管理节点（如下例中“mgtomsdat-sh-3-01-1”为主管理节点），参数值为“standby”的节点为备管理节点（如下例中“mgtomsdat-sh-3-01-2”为备管理节点）。 Ha modedoubleNodeName HostName HAVersion StartTime HAActive HAAllResOK HARunPhase 192-168-0-30 mgtomsdat-sh-3-01-1 V100R001C01 20xx-11-18 23:43:02 active normal Actived 192-168-0-24 mgtomsdat-sh-3-01-2 V100R001C01 20xx-11-21 07:14:02 standby normal Deactived 如果当前登录的Master1节点是备管理节点，且需要登录到主管理节点时，请执行以下命令： ssh Master2节点IP地址

作业执行权限说明 对于开启Kerberos认证的安全集群，用户在MRS界面提交作业时，要先执行IAM用户同步操作，同步完成后会在MRS系统中产生同IAM用户名的用户。IAM同步用户是否有提交作业权限，取决于IAM同步时，用户所绑定的IAM策略，提交作业策略请参考IAM用户同步MRS集群说明章节中表1。 用户提交作业，如果涉及到具体组件的资源使用，如HDFS的目录访问、Hive表的访问等相关组件的权限时，需由admin（Manager管理员）用户进行授权，给提交作业用户赋予相关组件权限。 使用admin用户登录集群Manager界面。 参考管理MRS集群角色内容，增加用户具体需要的组件权限的角色。 参考管理MRS集群用户组修改提交作业用户所属的用户组，将新增的组件角色加入到该用户组中。 用户所在用户组绑定的组件角色修改后，权限生效需要一定时间，请耐心等待。

修改MRS集群组件配置参数对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、 MapReduce服务 属性后，需要重新下载并更新客户端配置文件。 集群中只剩下一个DBService角色实例时，不支持修改DBService服务的参数。 配置服务属性后，如果服务状态为“配置过期”，则需要重启此服务，重启期间该服务不可用。 修改服务配置参数并重启生效后，需要重新下载并安装客户端，或者下载配置文件刷新客户端。

监控指标数据转储介绍 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件，并以FTP或SFTP的形式上传到指定的服务器中。用户可以在Manager界面上配置监控指标数据对接参数，使集群内各监控指标数据保存到指定的FTP服务器，与第三方系统进行对接。 FTP协议未加密数据可能存在安全风险，建议使用SFTP。转储服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问转储服务器的IP地址和指定端口。转储服务器的FTP服务正常。 Manager支持采集当前管理的集群内所有监控指标数据，采集周期有30秒、60秒和300秒三种。监控指标数据在FTP服务器保存时，会根据采集周期分别保存在不同的监控文件中。 表1 监控指标数据文件说明 监控指标数据 描述 采集周期 30s周期：默认采集周期为30s的实时指标。 60s周期：默认采集周期为60s的实时指标。 300s周期：非30s、60s采集的所有指标。 文件名格式 MRS 3.x及之后版本： metric_监控指标数据采集的周期_文件创建时间.log 如：metric_60_20160908085915.log、metric_300_20160908085613.log MRS 3.x之前版本： 集群名称_metric_监控指标数据采集的周期_文件创建时间.log 文件内容格式（以MRS 3.x版本为例） 集群ID|集群名称|显示名称|服务名称|指标ID|采集时间|采集主机@m@子指标|单位|指标值 示例： 实际的文件中不存在对应的文件格式标题。 1|xx1|Host|Host|10000413|2019/06/18 10:05:00|10-66-254-146|KB/s|309.9101|xx1|Host|Host|10000413|2019/06/18 10:05:00|10-66-254-152|KB/s|72.8702|xx2|Host|Host|10000413|2019/06/18 10:05:00|10-66-254-163|KB/s|100.650 第三方系统从上报的文件内容中解析出指标ID后，可以通过查询位于主备OMS节点的“ FusionInsight 安装路径/om-server/om/etc/om/all-shown-metric-zh_CN”指标全集文件获取指标详细信息，该文件包含了所有指标的详细信息，内容如下（以MRS 3.x版本为例）： 实时指标ID,5分钟指标ID,指标名称,指标采集周期(秒),是否默认采集,指标所属服务,指标所属角色 00101,10000101,JobHistoryServer非堆内存使用量,30,false,Mapreduce,JobHistoryServer 00102,10000102,JobHistoryServer非堆内存分配量,30,false,Mapreduce,JobHistoryServer 00103,10000103,JobHistoryServer堆内存使用量,30,false,Mapreduce,JobHistoryServer 00104,10000104,JobHistoryServer堆内存分配量,30,false,Mapreduce,JobHistoryServer 00105,10000105,阻塞线程数,30,false,Mapreduce,JobHistoryServer 00106,10000106,运行线程数,30,false,Mapreduce,JobHistoryServer 00107,10000107,GC时间,30,false,Mapreduce,JobHistoryServer 00110,10000110,JobHistoryServer的CPU使用率,30,false,Mapreduce,JobHistoryServer ... 解析指标ID说明： 针对采集周期为30s/60s的指标，参考该指标说明文件的是第1列，即实时指标ID即可找到对应的指标说明。 针对采集周期为300s的指标，参考该指标说明文件对应的第2列，即5分钟指标ID即可找到对应的指标说明。 部分字段说明： 实时指标ID：指标的采集周期为30s/60s的指标ID，一个独立的指标项只可能存在30s或者60s的实时指标项。 5分钟指标ID：指标对应的5分钟（300s）的指标ID。 指标采集周期(秒)：主要是针对实时指标的采集周期，可选值为30或60。 指标所属服务：指标所属的服务名名称，标明指标所属的服务类型，如HDFS、HBase等。 指标所属角色：指标所属的角色名名称，标明指标所属的实际角色类型，如JobServer、RegionServer等。

配置MRS集群监控指标数据转储（MRS 2.x及之前版本） 在MRS Manager，单击“系统设置”。 在“配置”区域“监控和告警配置”下，单击“监控指标转储配置”。 表3介绍转储参数。 表3 转储参数 参数名称 参数说明 是否必选 监控指标转储开关 指定是否打开监控指标数据对接功能。 是 FTP IP地址 指定监控指标数据对接后存放监控文件的FTP服务器。 是 FTP端口 指定连接FTP服务器的端口。 是 FTP用户名 指定登录FTP服务器的用户名。 是 FTP密码 指定登录FTP服务器的密码。 是 保存路径 指定监控文件在FTP服务器保存的路径。 是 转储时间间隔（秒） 指定监控文件在FTP服务器保存的周期，单位为秒。配置完成后，系统会按照指定的时间间隔，将文件定期上传到对应的FTP服务器。 是 转储模式 指定监控文件发送时使用的协议。可选协议为“FTP”和“SFTP”。 是 SFTP服务公钥 指定FTP服务器的公共密钥，“模式”选择“SFTP”时此参数生效。建议配置公共密钥，否则可能存在安全风险。 否 单击“确定”，设置完成。

恢复租户数据 进入租户管理页面。 通过MRS管理控制台操作：在MRS管理控制台单击待操作的集群，在集群详情页，单击“租户管理”。 通过Manager操作（MRS 3.x及之后版本集群）：在Manager页面单击“租户资源”。 通过Manager操作（MRS 2.x及之前版本集群）：在Manager页面单击“租户管理”。 在左侧租户列表，单击某个租户节点。 检查租户数据状态。 在“概述”，查看租户状态，绿色表示租户可用，灰色表示租户不可用。 单击“资源”，查看“Yarn”或者“HDFS 存储”状态，绿色表示资源可用，灰色表示资源不可用。 单击“服务关联”，查看关联的服务表格的“状态”列，“良好”表示组件可正常为关联的租户提供服务，“故障”表示组件无法为租户提供服务。 任意一个检查结果不正常，需要恢复租户数据，请执行4。 单击“恢复租户数据”。 如果通过MRS 3.x及之后版本集群的Manager操作，请单击，在弹出的确认窗中输入当前登录的用户密码确认身份，单击“确定”。 在弹出的窗口中，选择一个或多个需要恢复数据的组件，单击“确定”，等待系统自动恢复租户数据。

前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 如果通过Manager界面操作，需要已登录MRS集群Manager界面，详情请参考访问MRS集群Manager。 如果队列需要清除与某个资源池的绑定关系，该资源池不能作为队列的默认资源池，需要先将队列的默认资源池更改为其他资源池，请参见配置MRS租户队列。

退订MRS包年包月集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要退订的包年包月集群对应的“操作”列中，单击“退订”。 进入“退订资源”页面，确认待退订集群信息，选择退订原因，并确认退订金额和相关费用。 单击“退订”，进入“退订”页面。 确认退订信息，单击“是”提交退订申请。 退订申请提交成功后，集群状态由“运行中”更新为“删除中”，待集群删除成功后，集群状态更新为“已删除”，并且显示在“历史集群”中。

查看MRS集群补丁信息 查看集群组件的补丁信息。如果集群组件，如Hadoop或Spark等出现了异常，可下载补丁版本，修复问题。 登录MRS管理控制台。 选择“现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 进入“补丁管理”页面，可查看当前MRS集群补丁信息。 补丁版本信息如下： 补丁名称：补丁包的名称。 发布时间：补丁包发布的时间。 状态：展示补丁的状态。 补丁内容：补丁版本的描述信息。 操作：可安装或者卸载补丁。 父主题： 安装MRS集群补丁

登录弹性云服务器（VNC方式） 登录MapReduce服务管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名，进入集群基本信息页面。 在“节点管理”页签单击Master节点组中某一Master节点名称，登录到弹性云服务器管理控制台。 单击右上角的“远程登录”。 根据界面提示，输入Master节点的用户名和密码。 创建集群时登录方式选择了“密码”，如图1。此时，你需要输入的用户名、密码分别是root和创建集群时设置的密码。 图1 密码方式 创建集群时登录方式选择了密钥对，则使用如下方式登录： 创建集群成功后，参见为弹性云服务器申请和绑定弹性公网IP为集群的Master节点绑定一个弹性IP地址。 使用root用户名和密钥文件，SSH方式远程登录Master节点。 执行passwd root命令，设置root用户密码。 设置成功后，返回界面登录方式，输入root用户名和5.b.iii设置的密码，登录节点。