如何使用MRS

时间:2020-09-25 08:17:16

MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。

MRS使用简单,通过使用在集群中连接在一起的多台计算机,您可以运行各种任务,处理或者存储(PB级)巨量数据。MRS的基本使用流程如下:

1.开发数据处理程序,MRS的开发指南为用户提供代码示例和教程,帮助您快速开始开发自己的程序并正常运行。

2.上传程序和数据文件到对象存储服务(OBS)中,用户需要先将本地的程序和数据文件上传至OBS中。

3.创建集群,用户可以指定集群类型用于离线数据分析和流处理任务,指定集群中预置的弹性云服务器实例规格、实例数量、数据盘类型(普通IO、高IO、超高IO)、要安装的组件(Hadoop、Spark、HBase、Hive、Kafka、Storm等)。用户可以使用引导操作在集群启动前(或后)在指定的节点上执行脚本,安装其他第三方软件或修改集群运行环境等自定义操作。

4.管理作业,MRS为用户提供程序执行平台,程序由用户自身开发,MRS负责程序的提交、执行和监控。

5.管理集群,MRS为用户提供企业级的大数据集群的统一管理平台,帮助用户快速掌握服务及主机的健康状态,通过图形化的指标监控及定制及时的获取系统的关键信息,根据实际业务的性能需求修改服务属性的配置,对集群、服务、角色实例等实现一键启停等操作。

6.删除集群,如果作业执行结束后不需要集群,可以删除MRS集群。集群删除后不再产生费用。


MapReduce服务 MRS

MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。

包年更优惠,买1年只需付10个月费用

HDFS简介||https://support.huaweicloud.com/devg-mrs/mrs_06_0112.html,访问MRS Manager(MRS 2.1.0及之前版本)||https://support.huaweicloud.com/usermanual-mrs/mrs_01_0102.html,Flume基本原理||https://support.huaweicloud.com/productdesc-mrs/mrs_08_001601.html,错误码||https://support.huaweicloud.com/api-mrs/ErrorCode.html,查找用户||https://support.huaweicloud.com/devg3-mrs/mrs_07_440014.html

https://www.huaweicloud.com/product/mrs.html

猜你喜欢