什么是MRS

大数据是人类进入互联网时代以来面临的一个巨大问题:社会生产生活产生的数据量越来越大,数据种类越来越多,数据产生的速度越来越快。传统的数据处理技术,比如说单机存储,关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题,Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台,可以充分利用集群的计算和存储能力,完成海量数据的处理。企业自行部署Hadoop系统有成本高,周期长,难运维和不灵活等问题。

针对上述问题,华为云提供了大数据MapReduce服务(MRS),MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。

MRS集群客户端安装与使用操作流程

安装与使用MRS客户端操作流程如下:

1、下载MRS客户端

MRS支持在Manager界面下载集群或单服务的客户端软件包至集群节点或本地。

2、安装MRS客户端

MRS支持在集群内节点或集群外节点安装客户端。用户在集群创建成功后,可自行手动安装全量或单个组件的客户端。

3、使用MRS客户端

MRS集群客户端安装完成后,各组件可登录到对应的客户端命令行进行作业提交、组件管理等操作。

4、更新MRS客户端

MRS集群提供了客户端,可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务,已安装的客户端需要重新下载并安装,或者使用配置文件更新客户端。

5、管理MRS客户端

FusionInsight Manager支持统一管理集群的客户端安装信息,用户下载并安装客户端后,界面可自动记录已安装(注册)客户端的信息,方便查询管理。同时系统支持手动添加、修改未自动注册的客户端信息(如历史版本已安装的客户端)。

MRS集群客户端使用教程视频

MapReduce服务 MRS

03:44

MapReduce服务 MRS

MapReduce服务 MRS

03:22

MapReduce服务 MRS

MapReduce服务 MRS

04:20

MapReduce服务 MRS

MapReduce服务 MRS

04:20