MAPREDUCE服务 MRS-华为云

MAPREDUCE服务 MRS-修改集群NTP服务器:操作步骤

操作步骤登录 FusionInsight Manager，查看是否存在未清除的告警？是，请修复告警。告警处理完毕后，执行2。否，执行2。以omm用户分别登录主备管理节点。在主管理节点执行以下命令查看管理平面网关。 cat ${BIGDATA_HOME}/om-server/ OMS /workspace/conf/oms-config.ini | grep om_gateway 在主备管理节点分别执行ping 管理平面网关，检查节点是否与管理平面网关连通？是，执行5。否，请联系网络管理员修复网络故障，处理完毕后，执行5。在主管理节点执行以下命令，获取当前环境NTP服务器域名。本章节后续步骤中将以“ntp.myhuaweicloud.com”为例 cat /opt/Bigdata_func/cloudinit/cloudinit_params | grep ntpserver 在主管理节点执行以下命令，检查集群时间与新的NTP服务器时间偏差。单位为秒。例如，检查与NTP服务器“ntp.myhuaweicloud.com”的时间差，执行ntpdate -d ntp.myhuaweicloud.com命令，界面显示： 6 Dec 15:16:10 ntpdate[2861453]: step time server 10.79.3.251 offset +2.118107 sec 其中+2.118107 sec表示时间偏差。正数表示NTP服务器时间比集群当前时间快，负数表示NTP服务器时间比集群当前时间慢。 ntp的版本号可以使用ntpq -v或者ntpq --version命令查询，具体显示信息以实际环境为准。 ntpq -v界面显示： 10.1.1.112: ~# ntpq -v ntpq - standard NTP query program - Ver. 4.2.4p8 ntpq --version界面显示： 10.1.1.112: ~# ntpq --version ntpq 4.2.8p10@1.3728-o Mon Jun 6 08:01:59 UTC 2016 (1) 检查时间偏差的绝对值是否超过“150”。是，执行8。否，时间偏差的绝对值不超过“150”，以omm用户执行10。确认是否可以停止集群。是，停止上层业务并停止集群，然后执行9。否，任务结束。确认NTP服务器时间是否比集群当前时间慢？是，NTP服务器时间慢，停止集群界面显示“操作成功”后需等待，间隔大约为6得到的时间偏差，再以omm用户执行11。否，NTP服务器时间快，停止集群界面显示“操作成功”后直接以omm用户执行11。在主管理节点执行以下命令，更换NTP服务器，任务结束。 sh ${BIGDATA_HOME}/om-server/om/bin/tools/modifyntp.sh --ntp_server_ip ntp.myhuaweicloud.com NTP服务器IP地址不可以设置为集群内节点IP地址，否则可能会导致节点与主备oms节点业务网络断连。在主管理节点执行以下命令，从NTP服务器“ntp.myhuaweicloud.com”“立即强制同步时间并更换NTP服务器，任务结束。 sh ${BIGDATA_HOME}/om-server/om/bin/tools/modifyntp.sh --ntp_server_ip ntp.myhuaweicloud.com --force_sync_time 如果停止了集群，在更换NTP服务器后需要重新启动集群。执行强制同步时间命令后，集群节点大约需要5分钟完成时间同步。

MAPREDUCE服务 MRS 集群管理

MAPREDUCE服务 MRS-删除集群:操作步骤

操作步骤登录 MRS 管理控制台。在左侧导航栏中选择“现有集群”。在需要删除的集群对应的“操作”列中，单击“删除”。如果确认删除，在弹出的“删除集群”窗口中输入“DELETE ”，单击“确定”。集群状态由“运行中”更新为“删除中”，待集群删除成功后，集群状态更新为“已删除”，并且显示在“历史集群”中。集群删除后不再产生费用。当集群已对接了OBS（存算分离或者冷热分离场景），若需要删除组件或者MRS集群，需要在删除组件或者集群后，手工将OBS上相关的业务数据进行删除。

MAPREDUCE服务 MRS 集群运维

MAPREDUCE服务 MRS-MRS存算分离简介

MRS存算分离简介 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。大数据存算分离场景，请务必使用OBS并行文件系统（并行文件系统），使用普通对象桶会对集群性能产生较大影响。当集群已对接了OBS（存算分离或者冷热分离场景），若需要删除组件或者MRS集群，需要在删除组件或者集群后，手工将OBS上相关的业务数据进行删除。存算分离功能使用流程：配置存算分离集群。请选择如下其中一种配置即可（推荐使用委托方式）。通过为MRS集群绑定E CS 委托方式访问OBS，避免了AK/SK直接暴露在配置文件中的风险，具体请参考配置存算分离集群（委托方式）。在MRS集群中配置AK/SK，AK/SK会明文暴露在配置文件中，请谨慎使用，具体请参考配置存算分离集群（AKSK方式）。 MRS通过集群内的Guardian组件对接OBS，为其他组件提供获取访问OBS的临时认证凭据、细粒度权限控制的能力，具体请参考配置Guardian服务对接OBS。目前仅MRS 3.3.0-LTS及之后的版本支持基于Guardian组件对接OBS，其他版本集群请参考MRS集群组件对接OBS（基于委托）相关章节进行配置。基于Guardian存算分离管理面作业提交依赖JobGateway模式，不支持Executor模式。使用存算分离集群。在具备OBS资源的访问权限后，MRS集群内相关组件可通过客户端访问对应文件资源。各组件访问OBS配置说明可参考如下内容： MRS集群组件对接OBS（基于委托） MRS集群组件对接OBS（基于Guardian）父主题：配置存算分离

MAPREDUCE服务 MRS 配置存算分离

MAPREDUCE服务 MRS-配置RDS数据连接操作:创建RDS数据连接

创建RDS数据连接该步骤指导用户为当前已有的MRS集群，创建RDS数据连接。登录MRS控制台，在导航栏选择“数据连接”。单击“新建数据连接 ”。参考表1配置相关参数。表1 数据连接参数说明类型选择外部源连接的类型。 RDS服务PostgreSQL数据库，MRS支持Hive组件的集群支持连接该类型数据库。 RDS服务MySQL数据库，支持Hive或Ranger组件的集群支持连接该类型数据库。云数据库 GaussDB (for MySQL)，仅MRS 3.1.2-LTS.3、MRS 3.1.5和MRS 3.3.0-LTS版本的Hive组件支持连接该类型数据库。名称数据连接的名称。数据库实例 RDS服务数据库实例，该实例需要先在RDS服务创建后在此处引用，且已创建数据库，具体请参考数据连接前置操作。单击“查看数据库实例”查看已创建的实例。说明：为了保证集群和PostgreSQL数据库的网络访问，建议该实例与MRS集群的虚拟私有云和子网一致。该实例的安全组入方向规则需要放通3306端口（可通过在RDS控制台单击实例名称进入实例基本信息页面，在“连接信息”区域单击“安全组”右侧的安全组名称进入安全组控制台，在入方向规则页签中添加一个“协议端口”为TCP 3306，“源地址”为Hive的MetaStore实例所在的所有节点IP的规则）。当前MRS支持的RDS上Postgres数据库版本号为PostgreSQL14。当前MRS仅支持RDS上MySQL数据库版本为MySQL 5.7.x/MySQL 8.0。数据库待连接的数据库的名称。用户名登录待连接的数据库的用户名。密码登录待连接的数据库的密码。图1 新建RDS类型数据库连接当用户选择的数据连接为“RDS服务MySQL数据库”或“云数据库GaussDB(for MySQL)”时，请确保使用的数据库用户为root用户。如果为非root用户，请参考数据连接前置操作操作。单击“确定”完成创建。

MAPREDUCE服务 MRS 配置RDS数据连接

MAPREDUCE服务 MRS-MRS安全认证原理和认证机制:结构

结构 Kerberos的原理架构如图1所示，各模块的说明如表1所示。图1 原理架构表1 模块说明模块说明 Application Client 应用客户端，通常是需要提交任务（或者作业）的应用程序。 Application Server 应用服务端，通常是应用客户端需要访问的应用程序。 Kerberos 提供安全认证的服务。 KerberosAdmin 提供认证用户管理的进程。 KerberosServer 提供认证票据分发的进程。步骤原理说明：应用客户端（Application Client）可以是集群内某个服务，也可以是客户二次开发的一个应用程序，应用程序可以向应用服务提交任务或者作业。应用程序在提交任务或者作业前，需要向Kerberos服务申请TGT（Ticket-Granting Ticket），用于建立和Kerberos服务器的安全会话。 Kerberos服务在收到TGT请求后，会解析其中的参数来生成对应的TGT，使用客户端指定的用户名的密钥进行加密响应消息。应用客户端收到TGT响应消息后，解析获取TGT，此时，再由应用客户端（通常是rpc底层）向Kerberos服务获取应用服务端的ST（Server Ticket）。 Kerberos服务在收到ST请求后，校验其中的TGT合法后，生成对应的应用服务的ST，再使用应用服务密钥将响应消息进行加密处理。应用客户端收到ST响应消息后，将ST打包到发给应用服务的消息里面传输给对应的应用服务端（Application Server）。应用服务端收到请求后，使用本端应用服务对应的密钥解析其中的ST，并校验成功后，本次请求合法通过。

MAPREDUCE服务 MRS 安全性说明

MAPREDUCE服务 MRS-MRS安全认证原理和认证机制:认证代码实例讲解

认证代码实例讲解 package com.huawei.bigdata.hdfs.examples; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.security.UserGroupInformation; public class KerberosTest { private static String PATH_TO_HDFS_SITE_XML = KerberosTest.class.getClassLoader().getResource("hdfs-site.xml") .getPath(); private static String PATH_TO_CORE_SITE_XML = KerberosTest.class.getClassLoader().getResource("core-site.xml") .getPath(); private static String PATH_TO_KEYTAB = KerberosTest.class.getClassLoader().getResource("user.keytab").getPath(); private static String PATH_TO_KRB5_CONF = KerberosTest.class.getClassLoader().getResource("krb5.conf").getPath(); private static String PRNCIPAL_NAME = "develop"; private FileSystem fs; private Configuration conf; /** * initialize Configuration */ private void initConf() { conf = new Configuration(); // add configuration files conf.addResource(new Path(PATH_TO_HDFS_SITE_XML)); conf.addResource(new Path(PATH_TO_CORE_SITE_XML)); } /** * login Kerberos to get TGT, if the cluster is in security mode * @throws IOException if login is failed */ private void login() throws IOException { // not security mode, just return if (! "kerberos".equalsIgnoreCase(conf.get("hadoop.security.authentication"))) { return; } //security mode System.setProperty("java.security.krb5.conf", PATH_TO_KRB5_CONF); UserGroupInformation.setConfiguration(conf); UserGroupInformation.loginUserFromKeytab(PRNCIPAL_NAME, PATH_TO_KEYTAB); } /** * initialize FileSystem, and get ST from Kerberos * @throws IOException */ private void initFileSystem() throws IOException { fs = FileSystem.get(conf); } /** * An example to access the HDFS * @throws IOException */ private void doSth() throws IOException { Path path = new Path("/tmp"); FileStatus fStatus = fs.getFileStatus(path); System.out.println("Status of " + path + " is " + fStatus); //other thing } public static void main(String[] args) throws Exception { KerberosTest test = new KerberosTest(); test.initConf(); test.login(); test.initFileSystem(); test.doSth(); } } Kerberos认证时需要配置Kerberos认证所需要的文件参数，主要包含keytab路径，Kerberos认证的用户名称，Kerberos认证所需要的客户端配置krb5.conf文件。方法login()为调用hadoop的接口执行Kerberos认证，生成TGT票据。方法doSth()调用hadoop的接口访问文件系统，此时底层RPC会自动携带TGT去Kerberos认证，生成ST票据。以上代码可在安全模式下的HDFS二次开发样例工程中创建KerberosTest.java，运行并查看调测结果，具体操作过程请参考HDFS开发指南（安全模式）。

MAPREDUCE服务 MRS 安全性说明

MAPREDUCE服务 MRS-MRS安全认证原理和认证机制:基本概念

基本概念以下为常见的基本概念，可以帮助用户减少学习Kerberos框架所花费的时间，有助于更好的理解Kerberos业务。以HDFS安全认证为例： TGT 票据授权票据（Ticket-Granting Ticket），由Kerberos服务生成，提供给应用程序与Kerberos服务器建立认证安全会话，该票据的默认有效期为24小时，24小时后该票据自动过期。 TGT申请方式(以HDFS为例)：通过HDFS提供的接口获取。 /** * login Kerberos to get TGT, if the cluster is in security mode * @throws IOException if login is failed */ private void login() throws IOException { // not security mode, just return if (! "kerberos".equalsIgnoreCase(conf.get("hadoop.security.authentication"))) { return; } //security mode System.setProperty("java.security.krb5.conf", PATH_TO_KRB5_CONF); UserGroupInformation.setConfiguration(conf); UserGroupInformation.loginUserFromKeytab(PRNCIPAL_NAME, PATH_TO_KEYTAB); } 通过客户端shell命令以kinit方式获取。 ST 服务票据（Server Ticket），由Kerberos服务生成，提供给应用程序与应用服务建立安全会话，该票据一次性有效。 ST的生成在FusionInsight产品中，基于hadoop-rpc通信，由rpc底层自动向Kerberos服务端提交请求，由Kerberos服务端生成。

MAPREDUCE服务 MRS 安全性说明

MAPREDUCE服务 MRS-安装MRS 3.x及之后版本Flume客户端:Flume客户端Cgroup使用指导

Flume客户端Cgroup使用指导加入Cgroup 执行以下命令，加入Cgroup，假设Flume客户端安装路径为“/opt/FlumeClient”，Cgroup cpu阈值设置为50%： cd /opt/FlumeClient/fusioninsight-flume-1.9.0/bin ./flume-manage.sh cgroup join 50 该命令不仅可以加入Cgroup，同时也可以更改Cgroup cpu阈值。 Cgroup cpu阈值取值范围为1~100*N之间的整数，N表示机器cpu核数。查询Cgroup状态执行以下命令，查询Cgroup状态，假设Flume客户端安装路径为“/opt/FlumeClient”： cd /opt/FlumeClient/fusioninsight-flume-1.9.0/bin ./flume-manage.sh cgroup status 退出Cgroup 执行以下命令，退出Cgroup，假设Flume客户端安装路径为“/opt/FlumeClient”： cd /opt/FlumeClient/fusioninsight-flume-1.9.0/bin ./flume-manage.sh cgroup exit 客户端安装完成后，会自动创建默认Cgroup。若安装客户端时未配置“-s”参数，则默认值为“-1”，表示agent进程不受cpu使用率限制。加入、退出Cgroup时，agent进程不受影响。若agent进程未启动，加入、退出Cgroup仍然可以成功执行，待下一次agent启动时生效。客户端卸载完成后，安装时期创建的Cgroup会自动删除。

MAPREDUCE服务 MRS 安装Flume客户端

MAPREDUCE服务 MRS-快速创建和使用Hadoop离线数据分析集群:步骤二：安装集群客户端

步骤二：安装集群客户端 MRS集群创建成功后，用户需手动安装集群客户端用于连接集群内各组件服务，进行客户端Shell连接、作业任务提交等操作。客户端可以安装在集群内的节点上，也可以安装在集群外的节点上，本指南以在集群内的Master1节点上安装客户端为例进行介绍。 MRS集群创建成功后，在集群列表中单击MRS集群名称进入集群概览页面。单击“集群管理页面”后的“前往 Manager”，在弹出的窗口中选择“EIP访问”并配置弹性IP信息。首次访问时，可点击“管理弹性公网IP”，在弹性公网IP控制台购买一个弹性公网IP，购买成功后刷新弹性公网IP列表并选择。勾选确认信息后，单击“确定”，登录集群的FusionInsight Manager管理界面。 Manager登录用户名为admin，密码为购买集群时配置的自定义密码。在“主页”页签的集群名称后单击，单击“下载客户端”下载集群客户端。图1 下载客户端在“下载集群客户端”弹窗中，配置以下参数：选择客户端类型：选择“完整客户端”。选择平台类型：必须与待安装客户端的节点的架构匹配，例如“x86_64”。对于集群内的节点，节点架构类型可在Manager页面选择“主机”，在待安装客户端节点所在行的“平台类型”列查看。勾选“仅保存到如下路径”，使用默认保存路径，文件生成后将保存在集群主OMS节点（通常为Master1节点）的“/tmp/FusionInsight-Client”目录下。图2 下载集群客户端提示框单击“确定”后，等待客户端软件生成成功。在MRS服务管理控制台的集群列表中，单击集群名称，在集群的“节点管理”页签，单击包含“master1”的节点名称，在ECS详情页面右上角单击“远程登录”登录Master1节点。图3 查看Master1节点使用root用户登录Master1节点，密码为购买集群时配置的自定义密码。执行以下命令切换到客户端软件包所在目录，并解压客户端软件包。 cd /tmp/FusionInsight-Client/ tar -xvf FusionInsight_Cluster_1_Services_Client.tar tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar 执行以下命令进入安装包所在目录，安装客户端。 cd FusionInsight_Cluster_1_Services_ClientConfig 执行如下命令安装客户端到指定目录（目录可以不存在，如果存在则必须为空）。例如安装到“/opt/client”目录，执行以下命令： ./install.sh /opt/client 等待客户端安装完成。 ... ... component client is installed successfully ...

MAPREDUCE服务 MRS

MAPREDUCE服务 MRS-快速创建和使用Hadoop离线数据分析集群:步骤三：准备应用程序及数据

步骤三：准备应用程序及数据 MRS集群创建成功后，可获取集群客户端内预置的wordcount样例程序进行运行，也可准备自行开发的大数据应用程序并上传至集群。本指南以运行MRS集群客户端内的wordcount样例程序为例进行介绍，需先准备wordcount样例程序运行所需的数据文件。以root用户登录Master1节点。准备数据文件。例如文件名为“wordcount1.txt”和“wordcount2.txt”，内容如下所示： vi /opt/wordcount1.txt hello word hello wordcount vi /opt/wordcount2.txt hello mapreduce hello hadoop 执行以下命令切换到客户端安装目录，配置环境变量并创建用于存放样例数据的HDFS目录，例如“/user/example/input”。 cd /opt/client source bigdata_env hdfs dfs -mkdir /user/example/input 执行以下命令，将样例数据上传至HDFS。 hdfs dfs -put /opt/wordcount1.txt /user/example/input hdfs dfs -put /opt/wordcount2.txt /user/example/input

MAPREDUCE服务 MRS

MAPREDUCE服务 MRS-快速创建和使用Hadoop离线数据分析集群:步骤一：创建MRS集群

步骤一：创建MRS集群登录华为云控制台。在服务列表中搜索“ MapReduce服务 MRS”，进入MRS服务管理控制台。单击“购买集群”，进入“购买集群”页面，选择“快速购买”页签。根据实际业务规划情况填写集群配置信息（本示例为快速创建按需计费的MRS 3.1.5版本集群，如需了解更多参数配置请参考快速创建MRS集群）。表1 MRS集群配置参数参数名称参数说明取值样例计费模式选择待创建的MRS集群的计费模式。按需计费区域选择区域。不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。华北-北京四集群名称待创建的MRS集群名称。 mrs_demo 集群类型待创建的MRS集群类型。自定义版本类型待创建的MRS集群版本类型。普通版集群版本待创建的MRS集群版本。 MRS 3.1.5 组件选择选择待创建的MRS集群配套的组件。 Hadoop分析集群可用区选择集群工作区域下关联的可用区。可用区1 虚拟私有云选择需要创建集群的VPC，单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC，需要创建一个新的VPC。 vpc-default 子网选择需要创建集群的子网，可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网，请单击“创建子网”进行创建。 subnet-default 集群节点配置集群节点信息。保持默认 Kerberos认证是否启用Kerberos认证。不开启用户名登录集群管理页面及ECS节点的用户名。 admin/root 密码设置登录集群管理页面及ECS节点用户的密码。 - 确认密码再次输入设置用户密码。 - 企业项目选择集群所属的企业项目。 default 通信安全授权勾选确认授权。 - 单击“立即购买”，进入任务提交成功页面。单击“返回集群列表”，在“现有集群”列表中可以查看到集群创建的状态。集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

MAPREDUCE服务 MRS

MAPREDUCE服务 MRS-快速创建和使用HBase离线数据查询集群:步骤二：安装集群客户端

步骤二：安装集群客户端 MRS集群创建成功后，用户可安装集群客户端用于连接集群内各组件服务，进行作业提交等操作。客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。本指南以在Master1节点上安装客户端为例进行介绍。 MRS集群创建成功后，在集群列表中单击MRS集群名称进入集群概览页面。单击“集群管理页面 ”后的“前往 Manager”，在弹出的窗口中选择“EIP访问”并配置弹性IP信息。首次访问时，可点击“管理弹性公网IP”，在弹性公网IP控制台购买一个弹性公网IP，购买成功后刷新弹性公网IP列表并选择。勾选确认信息后，单击“确定”，登录集群的FusionInsight Manager管理界面。 Manager登录用户名为admin，密码为购买集群时配置的自定义密码。在“主页”页签的集群名称后单击，单击“下载客户端”下载集群客户端。图1 下载客户端在“下载集群客户端”弹窗中，配置以下参数：选择客户端类型：选择“完整客户端”。选择平台类型：默认勾选即可，例如“x86_64”。勾选“仅保存到如下路径”，使用默认保存路径，文件生成后将保存在集群主OMS节点的“/tmp/FusionInsight-Client”目录下。图2 下载集群客户端提示框单击“确定”后，等待客户端软件生成成功。在MRS服务管理控制台的集群列表中，单击集群名称，在集群的“节点管理”页签，单击包含“master1”的节点名称，在ECS详情页面单击右上角的“远程登录”登录Master1节点。图3 查看Master1节点使用root用户登录Master1节点，密码为购买集群时配置的自定义密码。执行以下命令切换到客户端软件包所在目录，并解压客户端软件包： cd /tmp/FusionInsight-Client/ tar -xvf FusionInsight_Cluster_1_Services_Client.tar tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar 执行以下命令进入安装包所在目录，安装客户端： cd FusionInsight_Cluster_1_Services_ClientConfig 执行如下命令安装客户端到指定目录（绝对路径），例如安装到“/opt/client”目录，等待客户端安装完成。 ./install.sh /opt/client ... ... component client is installed successfully ... 客户端安装目录可以不存在，会自动创建。但如果存在，则必须为空，目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。

MAPREDUCE服务 MRS

MAPREDUCE服务 MRS-快速创建和使用HBase离线数据查询集群:步骤一：创建MRS集群

步骤一：创建MRS集群登录华为云控制台。在服务列表中搜索“MapReduce服务 MRS”，进入MRS服务管理控制台。单击“购买集群”，进入“购买集群”页面，选择“快速购买”页签。根据实际业务规划情况填写集群配置信息（本示例为快速创建按需计费的MRS 3.2.0-LTS.1版本集群，如需了解更多参数配置请参考快速创建MRS集群）。表1 MRS集群配置参数参数名称参数说明取值样例计费模式选择待创建的MRS集群的计费模式。按需计费区域选择区域。不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。华北-北京四集群名称待创建的MRS集群名称。 mrs_demo 集群类型待创建的MRS集群类型。自定义版本类型待创建的MRS集群版本类型。 LTS版集群版本待创建的MRS集群版本。 MRS 3.2.0-LTS.1 组件选择选择待创建的MRS集群配套的组件。 HBase查询集群可用区选择集群工作区域下关联的可用区。可用区1 虚拟私有云选择需要创建集群的VPC，单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC，需要创建一个新的VPC。 vpc-default 子网选择需要创建集群的子网，可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网，请单击“创建子网”进行创建。 subnet-default 集群节点配置集群节点信息。保持默认 Kerberos认证是否启用Kerberos认证。不开启用户名登录集群管理页面及ECS节点的用户名。 admin/root 密码设置登录集群管理页面及ECS节点用户的密码。 - 确认密码再次输入设置用户密码。 - 企业项目选择集群所属的企业项目。 default 通信安全授权勾选确认授权。 - 单击“立即购买”，进入任务提交成功页面。单击“返回集群列表”，在“现有集群”列表中可以查看到集群创建的状态。集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

MAPREDUCE服务 MRS

MAPREDUCE服务 MRS-快速创建和使用Kafka流式数据处理集群:步骤二：安装集群客户端

步骤二：安装集群客户端 MRS集群创建成功后，用户可安装集群客户端用于连接集群内各组件服务，进行作业提交等操作。客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。本指南以在Master1节点上安装客户端为例进行介绍。 MRS集群创建成功后，在集群列表中单击MRS集群名称进入集群概览页面。单击“集群管理页面 ”后的“前往 Manager”，在弹出的窗口中选择“EIP访问”并配置弹性IP信息。首次访问时，可点击“管理弹性公网IP”，在弹性公网IP控制台购买一个弹性公网IP，购买成功后刷新弹性公网IP列表并选择。勾选确认信息后，单击“确定”，登录集群的FusionInsight Manager管理界面。 Manager登录用户名为admin，密码为购买集群时配置的自定义密码。在“主页”页签的集群名称后单击，单击“下载客户端”下载集群客户端。图1 下载客户端在“下载集群客户端”弹窗中，配置以下参数：选择客户端类型：选择“完整客户端”。选择平台类型：默认勾选即可，例如“x86_64”。勾选“仅保存到如下路径”，使用默认保存路径，文件生成后将保存在集群主OMS节点的“/tmp/FusionInsight-Client”目录下。图2 下载集群客户端提示框单击“确定”后，等待客户端软件生成成功。在MRS服务管理控制台的集群列表中，单击集群名称，在集群的“节点管理”页签，单击包含“master1”的节点名称，在ECS详情页面单击右上角的“远程登录”登录Master1节点。图3 查看Master1节点使用root用户登录Master1节点，密码为购买集群时配置的自定义密码。执行以下命令切换到客户端软件包所在目录，并解压客户端软件包： cd /tmp/FusionInsight-Client/ tar -xvf FusionInsight_Cluster_1_Services_Client.tar tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar 执行以下命令进入安装包所在目录，安装客户端： cd FusionInsight_Cluster_1_Services_ClientConfig 执行如下命令安装客户端到指定目录（绝对路径），例如安装到“/opt/client”目录，等待客户端安装完成。 ./install.sh /opt/client ... ... component client is installed successfully ... 客户端安装目录可以不存在，会自动创建。但如果存在，则必须为空，目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。

MAPREDUCE服务 MRS

MAPREDUCE服务 MRS-快速创建和使用Kafka流式数据处理集群:步骤一：创建MRS集群

步骤一：创建MRS集群登录华为云控制台。在服务列表中搜索“MapReduce服务 MRS”，进入MRS服务管理控制台。单击“购买集群”，进入“购买集群”页面，选择“快速购买”页签。根据实际业务规划情况填写集群配置信息（本示例为快速创建按需计费的MRS 3.2.0-LTS.1版本集群，如需了解更多参数配置请参考快速创建MRS集群）。表1 MRS集群配置参数参数名称参数说明取值样例计费模式选择待创建的MRS集群的计费模式。按需计费区域选择区域。不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。华北-北京四集群名称待创建的MRS集群名称。 mrs_demo 集群类型待创建的MRS集群类型。自定义版本类型待创建的MRS集群版本类型。 LTS版集群版本待创建的MRS集群版本。 MRS 3.2.0-LTS.1 组件选择选择待创建的MRS集群配套的组件。实时分析集群可用区选择集群工作区域下关联的可用区。可用区1 虚拟私有云选择需要创建集群的VPC，单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC，需要创建一个新的VPC。 vpc-default 子网选择需要创建集群的子网，可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网，请单击“创建子网”进行创建。 subnet-default 集群节点配置集群节点信息。保持默认 Kerberos认证是否启用Kerberos认证。不开启用户名登录集群管理页面及ECS节点的用户名。 admin/root 密码设置登录集群管理页面及ECS节点用户的密码。 - 确认密码再次输入设置用户密码。 - 企业项目选择集群所属的企业项目。 default 通信安全授权勾选确认授权。 - 单击“立即购买”，进入任务提交成功页面。单击“返回集群列表”，在“现有集群”列表中可以查看到集群创建的状态。集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

MAPREDUCE服务 MRS

云服务器内容精选

MAPREDUCE服务 MRS

7*24

备案

专业服务

退订

建议反馈

售前咨询热线