MAPREDUCE服务 MRS-华为云

MAPREDUCE服务 MRS-数据拷贝:不同Region

不同Region 当源集群与目标集群处于不同Region时，用Distcp工具将源集群数据拷贝到OBS，借助OBS跨区域复制功能（请参见跨区域复制）将数据复制到对应目的集群所在Region的OBS，然后通过Distcp工具将OBS数据拷贝到目的集群的HDFS上。由于执行Distcp无法为OBS上的文件设置权限、属主/组等信息，因此当前场景在进行数据导出时也需要将HDFS的元数据信息进行导出并拷贝，以防HDFS文件属性信息丢失。

MAPREDUCE服务 MRS 数据迁移方案介绍

MAPREDUCE服务 MRS-数据拷贝:线下集群向云迁移

线下集群向云迁移线下集群可以通过如下两种方式将数据迁移至云：云专线（DC）为源集群与目标集群之间建立云专线，打通线下集群出口网关与线上VPC之间的网络，然后参考同Region执行Distcp进行拷贝。数据快递服务（DES）对于TB或PB级数据上云的场景，华为云提供数据快递服务 DES。将线下集群数据及已导出的元数据拷贝到DES盒子，快递服务将数据递送到华为云机房，然后通过云数据迁移 CDM将DES盒子数据拷贝到HDFS。

MAPREDUCE服务 MRS 数据迁移方案介绍

MAPREDUCE服务 MRS-MRS存算分离简介

MRS存算分离简介 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。大数据存算分离场景，请务必使用OBS并行文件系统（并行文件系统），使用普通对象桶会对集群性能产生较大影响。存算分离功能使用流程：配置存算分离集群。请选择如下其中一种配置即可（推荐使用委托方式）。通过为MRS集群绑定ECS委托方式访问OBS，避免了AK/SK直接暴露在配置文件中的风险，具体请参考配置存算分离集群（委托方式）。在MRS集群中配置AK/SK，AK/SK会明文暴露在配置文件中，请谨慎使用，具体请参考配置存算分离集群（AKSK方式）。 MRS通过集群内的Guardian组件对接OBS，为其他组件提供获取访问OBS的临时认证凭据、细粒度权限控制的能力，具体请参考配置Guardian服务对接OBS。目前仅MRS 3.3.0-LTS及之后的版本支持基于Guardian组件对接OBS，其他版本集群请参考MRS集群组件对接OBS（基于委托）相关章节进行配置。基于Guardian存算分离管理面作业提交依赖JobGateway模式，不支持Executor模式。使用存算分离集群。在具备OBS资源的访问权限后，MRS集群内相关组件可通过客户端访问对应文件资源。各组件访问OBS配置说明可参考如下内容： MRS集群组件对接OBS（基于委托） MRS集群组件对接OBS（基于Guardian）父主题：配置存算分离

MAPREDUCE服务 MRS 配置存算分离

MAPREDUCE服务 MRS-配置存算分离集群（AKSK方式）:Flink访问OBS

Flink访问OBS 在MRS客户端的Flink配置文件“客户端安装路径/Flink/flink/conf/flink-conf.yaml”中，增加如下内容。 fs.obs.access.key: ak fs.obs.secret.key: sk fs.obs.endpoint: OBS Endpoint 在文件中设置AK/SK会明文暴露在配置文件中，请谨慎使用。添加配置后无需手动添加AK/SK、endpoint就可以直接访问OBS上的数据。

MAPREDUCE服务 MRS

MAPREDUCE服务 MRS-配置存算分离集群（委托方式）:步骤二：创建存算分离集群

步骤二：创建存算分离集群配置存算分离支持在新建集群中配置委托实现，也可以通过为已有集群绑定委托实现。本示例以开启Kerberos认证的集群为例介绍。新创建存算分离集群：进入购买MRS集群页面。在购买集群页面，选择“自定义购买”页签。图3 自定义购买集群在“自定义购买”页签，填写“软件配置”参数。区域：请根据需要选择。集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。集群版本：请选择集群版本。集群类型：选择“分析集群”或“混合集群”并勾选所有组件。元数据：选择“本地元数据”。单击“下一步”，并配置硬件相关参数。计费模式：选择“按需计费”。可用区：默认即可。虚拟私有云：默认即可。子网：默认即可。安全组：默认即可。弹性公网IP：默认即可。企业项目：默认即可。 CPU架构：默认即可。MRS 3.x之前版本支持该参数。集群节点：请根据自身需求选择节点规格和数量。单击“下一步”，并配置相关参数。 Kerberos认证：默认开启，请根据自身需要选择。用户名：默认为“admin”，用于登录集群管理页面。密码：设置admin用户密码。确认密码：再次输入设置的admin用户密码。登录方式：选择登录ECS节点的登录方式，本例选择密码方式。用户名：默认为“root”，用于远程登录ECS机器。密码：设置root用户密码。确认密码：再次输入设置的root用户密码。本例以配置委托为例介绍，其他参数暂不配置，如需配置请参考高级配置。委托：选择步骤一：创建具有访问OBS权限的ECS委托所创建的委托或MRS在IAM服务中预置的委托MRS_ECS_DEFAULT_AGENCY。图4 配置委托勾选通信安全授权，详细信息请参见授权安全通信。单击“立即购买”。等待集群创建成功。当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。为已有集群配置存算分离功能：登录MRS控制台，在导航栏选择“现有集群”。单击集群名称，进入集群详情页面。在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。在集群详情页的“概览”页签，单击委托右侧的“管理委托”选择需要绑定的委托并单击“确定”进行绑定，或单击“新建委托”进入IAM控制台进行创建后再在此处进行绑定。图5 绑定委托

MAPREDUCE服务 MRS 基于委托机制对接OBS

MAPREDUCE服务 MRS-安装客户端（3.x及之后版本）:前提条件

前提条件待安装客户端节点为集群外节点时，该节点必须能够与集群内节点网络互通，否则安装会失败。待安装客户端节点必须启用NTP服务，并保持与服务端的时间一致，否则安装会失败。在节点上安装客户端可以使用root或任意操作系统用户进行操作，要求该用户对客户端文件存放目录和安装目录具有操作权限，两个目录的权限为“755”。本章节以使用操作系统用户“user_client”安装客户端进行举例，安装目录为“/opt/hadoopclient”。使用omm和root以外的用户安装客户端时，若“/var/tmp/patch”目录已存在，需将此目录权限修改为“777”，将此目录内的日志权限修改为“666”。

MAPREDUCE服务 MRS 安装客户端

MAPREDUCE服务 MRS-管理服务操作:前提条件

前提条件需要在IAM 用户所属的用户组中，设置用户组的权限。由于在集群上添加服务和删除服务属于高危操作，因此需要给该用户组绑定MRS FullAccess、MRS Administrator、Server Administrator 、Tenant Guest和MRS Administrator或Tenant Administrator任意一个策略才可以执行。具体权限说明请参见IAM用户同步MRS说明。已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。图1 IAM用户同步

MAPREDUCE服务 MRS 组件管理

MAPREDUCE服务 MRS-管理服务操作:删除服务

删除服务 MRS 3.1.2-LTS.3及之后版本支持添加和删除服务。在集群详情页，单击“组件管理”。在指定服务所在行，单击“删除”操作。如果需要删除的服务存在上层依赖，则不可删除，每次只能删除一个服务。不支持删除Hadoop（HDFS、Yarn、MapReduce）、Ranger、DBService、KrbServer、LdapServer和meta服务，其他已安装服务可删除。如果确认删除，在弹出的“删除服务”窗口中输入“DELETE ”，单击“确定”，删除该服务。在Console上删除服务会自动同步到Manager页面。删除服务前，请先备份该服务的数据，避免数据丢失。

MAPREDUCE服务 MRS 组件管理

MAPREDUCE服务 MRS-管理服务操作:启动、停止和重启服务

启动、停止和重启服务在集群详情页，单击“组件管理”。在指定服务所在行，单击“启动”、“停止”和“重启”执行启动、停止和重启操作。服务之间存在依赖关系。对某服务执行启动、停止和重启操作时，与该服务存在依赖关系的服务将受到影响。具体影响如下：启动某服务，该服务依赖的下层服务需先启动，服务功能才可生效。停止某服务，依赖该服务的上层服务将无法提供功能。重启某服务，依赖该服务且启动的上层服务需重启后才可生效。

MAPREDUCE服务 MRS 组件管理

MAPREDUCE服务 MRS-概述:约束说明

约束说明 MRS对接LakeFormation前，需要注意以下约束限制： MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云，必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移，再配置对接。如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例，MRS集群之间的Database名称不能重复。 MRS对接LakeFormation后，MRS组件功能约束限制： Hive暂不支持临时表功能。 Hive暂不支持跨集群的列加密表功能。 Hive WebHCat暂不支持对接LakeFormation。 Hive创建内表时如果表目录不为空，则禁止创建表。 Hudi表创建前，需要先在LakeFormation上添加Hudi表目录的路径授权，赋予OBS读写权限。 Hudi表不支持在LakeFormation管理面编辑表的字段，只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表，仅支持使用hive_sync.mode=jdbc，不支持hms方式。 Spark使用小权限用户登录客户端创建数据库时，如果用户没有default库的OBS路径权限，将提示缺少权限，实际创建数据库成功。 MRS对接LakeFormation后，权限策略约束限制：通过LakeFormation授权仅支持将LakeFormation角色作为授权主体，不支持IAM用户或IAM用户组作为授权主体。 PolicySync进程不会修改集群内RangerAdmin Hive模块的默认策略，默认策略仍然生效。 PolicySync进程启动后，会与LakeFormation实例的权限进行比对，删除LakeFormation上不存在的非默认策略，请先完成权限策略迁移到LakeFormation实例上。 RangerAdmin WebUI界面的Hive模块，禁止执行添加、删除权限非默认策略的操作，统一在LakeFormation实例的数据权限界面进行授权操作。 MRS集群取消对接LakeFormation后，RangerAdmin的非默认策略不会清理，需要人工进行清理。 Hive暂不支持Grant授权的SQL语句，需统一在LakeFormation实例的数据权限界面进行授权操作。 MRS暂不支持LakeFormation行过滤权限能力。

MAPREDUCE服务 MRS

MAPREDUCE服务 MRS-HDFS数据:打通数据传输通道

打通数据传输通道当源集群与目标集群部署在同一区域的不同VPC时，请创建两个VPC之间的网络连接，打通网络层面的数据传输通道。请参见VPC对等连接。当源集群与目标集群部署在同一VPC但属于不同安全组时，在VPC管理控制台，为每个安全组分别添加安全组规则。规则的“协议”为“ANY”，“方向”为“入方向”，“源地址”为“安全组”且是对端集群的安全组。为源集群的安全组添加入方向规则，源地址选择目标集群的安全组。为目标集群的安全组添加入方向规则，源地址选择源集群的安全组。当源集群与目标集群部署在同一VPC同一安全组且两个集群都开启了Kerberos认证，需为两个集群配置互信。

MAPREDUCE服务 MRS 数据备份与恢复

MAPREDUCE服务 MRS-数据拷贝:线下集群向云迁移

线下集群向云迁移线下集群可以通过如下两种方式将数据迁移至云：云专线（DC）为源集群与目标集群之间建立云专线，打通线下集群出口网关与线上VPC之间的网络，然后参考同Region执行Distcp进行拷贝。数据快递服务（DES）对于TB或PB级数据上云的场景，华为云提供数据快递服务 DES。将线下集群数据及已导出的元数据拷贝到DES盒子，快递服务将数据递送到华为云机房，然后通过云数据迁移 CDM将DES盒子数据拷贝到HDFS。

MAPREDUCE服务 MRS 数据迁移方案介绍

MAPREDUCE服务 MRS-数据拷贝:不同Region

不同Region 当源集群与目标集群处于不同Region时，用Distcp工具将源集群数据拷贝到OBS，借助OBS跨区域复制功能（请参见跨区域复制）将数据复制到对应目的集群所在Region的OBS，然后通过Distcp工具将OBS数据拷贝到目的集群的HDFS上。由于执行Distcp无法为OBS上的文件设置权限、属主/组等信息，因此当前场景在进行数据导出时也需要将HDFS的元数据信息进行导出并拷贝，以防HDFS文件属性信息丢失。

MAPREDUCE服务 MRS 数据迁移方案介绍

MAPREDUCE服务 MRS-准备工作:创建对接ECS/BMS云服务委托

创建对接ECS/BMS云服务委托登录华为云管理控制台，选择“统一身份认证服务”。在左侧导航栏选择“委托”，单击右上角的“创建委托”，设置相关参数，单击“下一步”。参数选择如下：委托名称：例如“lakeformation_test” 委托类型：选择“云服务” 云服务：选择“ECS BMS” 持续时间：根据实际情况自定义在选择策略界面右上角单击“新建策略”，配置如下信息，单击“下一步”。策略名称：自定义策略配置方式：选择JSON视图策略内容：配置如下信息 { "Version": "1.1", "Statement": [ { "Action": [ "iam:agencies:assume" ], "Resource": { "uri": [ "/iam/agencies/授予给自身账号具备访问LakeFormation权限的委托ID", "/iam/agencies/授予给自身账号具备访问OBS权限的委托ID" ] }, "Effect": "Allow" } ] } 授予给自身账号具备访问LakeFormation权限的委托ID：可参考6获取。授予给自身账号具备访问OBS权限的委托ID：可参考6获取。选择新创建的自定义委托名称，单击“下一步”。 “设置最小授权范围”根据实际情况选择授权的资源范围，单击“确定”，创建委托完成。

MAPREDUCE服务 MRS

MAPREDUCE服务 MRS-准备工作:创建LakeFormation数据连接

创建LakeFormation数据连接创建LakeFormation数据连接的功能，需要联系技术支持申请开通白名单。登录MRS控制台，在导航栏选择“数据连接”。单击“新建数据连接 ”。参考表1配置相关参数，单击“确定”完成创建。表1 配置LakeFormation数据连接参数说明类型选择“LakeFormation”，当前仅MRS 3.3.0-LTS及之后版本支持连接该类型。名称数据连接的名称。 LakeFormation实例选择LakeFormation实例名称。该实例需要先在LakeFormation实例创建后在此处引用，具体请参考创建LakeFormation实例。单击“查看LakeFormation实例”查看已创建的实例。虚拟私有云需要与待对接的MRS集群在同一虚拟私有云。子网选择子网名称。 VPC终端节点选择VPC终端节点，或单击“创建对应LakeFormation实例的VPC终端节点”进行创建。选择VPC终端节点后，产生的费用将由VPCEP服务收取。 LakeFormation委托选择“现有委托”，并选择创建对接LakeFormation权限的委托创建的委托，例如“visit_lakeformation_agency”。图2 新建LakeFormation数据连接创建完成后，在“数据连接”页面记录已创建数据连接的ID。

MAPREDUCE服务 MRS

云服务器内容精选

MAPREDUCE服务 MRS

7*24

备案

专业服务

退订

建议反馈

售前咨询热线