华为云计算 云知识 MapReduce服务

MapReduce服务

MapReduce服务(MRS)打造了高可靠、高安全、易使用的运行维护平台,对外提供大容量的数据存储和分析能力,可解决各大企业的数据存储和处理需求。用户可以独立申请和使用托管Hadoop、Spark、HBase和Hive服务,用于快速在主机上创建集群,提供海量数据的实时性要求不高的批量数据存储和计算能力。

产品优势

企业级

一键式集群安装部署和扩容,用户无需关注硬件的购买和维护;可视化的企业级集群管理系统,节点状态实时监控、告警短信提醒。补丁主动推送,一键安装,业务不中断。

存算分离

先进的计算存储分离架构,提供大数据全引擎的On OBS方案,100%兼容开源生态接口,提供低成本海量数据存储方案;支持自研鲲鹏服务器,充分利用鲲鹏多核高并发能力,释放硬件算力,降低计算成本。

灵活弹性

资源灵活配比,可以选择鲲鹏/x86不同配比的Flavor规格,支持裸金属、虚拟机不同部署方式;单集群支持裸金属和虚拟机混合部署,峰谷任务可通过预先配置策略,按需自动弹性伸缩。

高性能

基于自研CarbonData的索引、物化视图、缓存等技术,实现万亿数据秒级响应;自研大规模集群调度器Superior,突破单集群规模瓶颈,单集群调度能力突破10000节点;自研数据加速引擎DataTurbor,性能大幅提升。

多级高可靠

支持集群节点部署实例分散化,单节点故障时迅速迁移至其他节点、支持跨AZ数据同步备份、支持数据冗余存储、支持集群元数据外置到RDS、集群所有服务管理节点支持HA高可靠,实现虚拟机、集群及跨AZ的多级高可靠性。

高安全

支持Kerberos认证管理和企业细粒度融合管理,按照项目维度进行集群操作权限管理;支持多租户管理,对集群内的计算存储资源按租户维度隔离;支持存储加密和数据传输通道加密,支持数据表、列级别的加密存储,保证敏感数据安全。

应用场景

大数据在人们的生活中无处不在,在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。

海量数据分析场景

海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源,接入后需要对数据进行ETL处理形成模型化数据,以便提供给各个业务模块进行分析梳理,这类业务通常有以下特点:

对执行实时性要求不高,作业执行时间在数十分钟到小时级别。

数据量巨大。

数据来源和格式多种多样。

数据处理通常由多个任务构成,对资源需要进行详细规划。

上一篇:人工智能需要学哪些课程?就业前景如何? 下一篇:GaussDB(for MySQL)支持的数据库驱动

MapReduce服务 MRS

MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。

包年更优惠,买1年只需付10个月费用

 

ZooKeeper常用参数||https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2094.html,HetuEngine产品概述||https://support.huaweicloud.com/productdesc-mrs/mrs_08_00681.html,Flink基本原理||https://support.huaweicloud.com/productdesc-mrs/mrs_08_003401.html,ClickHouse简介||https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480003.html,Hive元数据在哪里查看?||https://support.huaweicloud.com/mrs_faq/mrs_03_1119.html

https://www.huaweicloud.com/product/mrs.html