MapReduce服务 MRS

MapReduce服务(MapReduce Service)为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎,支持数据湖、数据仓库、BI、AI融合等能力,完全兼容开源,快速帮助客户上云构建低成本、灵活开放、安全可靠、全栈式的云原生大数据平台,满足客户业务快速增长和敏捷创新诉求。

MapReduce服务 MRS

MapReduce服务提供Hadoop生态的高性能大数据引擎,帮客户上云构建全栈式的云原生大数据平台

重磅发布

Apache Pulsar是新一代的云原生消息系统,采用存算分离架构,统一消息模型和流式模型,具有高可靠,高性能,易扩展,易维护的特点。华为云MRS集成企业级Pulsar服务,为客户搭建消息队列和流式数据处理平台提供新的选择

新一代分布式消息流平台Apache Pulsar

Apache Pulsar是新一代的云原生消息系统,采用存算分离架构,统一消息模型和流式模型,具有高可靠,高性能,易扩展,易维护的特点。华为云MRS集成企业级Pulsar服务,为客户搭建消息队列和流式数据处理平台提供新的选择

应用场景

- 搭建消息队列

- 流式数据处理

核心技术优势

存算分离,灵活扩展;配置多租户;分层存储;更灵活的订阅模式(独占式、主备式、共享式)

展开详情

ClickHouse是一款非常优秀的实时分析型数据库,拥有极致的压缩比和极速的查询性能,通过华为云可靠的安全防护能力以及鲲鹏、昇腾在内的多样算力的加持,支持数百亿记录、数百维度的自由查询毫秒级响应能力,将会成为用户在云上构建高性能海量数据分析仓库的首选

企业版ClickHouse

ClickHouse是一款非常优秀的实时分析型数据库,拥有极致的压缩比和极速的查询性能,通过华为云可靠的安全防护能力以及鲲鹏、昇腾在内的多样算力的加持,支持数百亿记录、数百维度的自由查询毫秒级响应能力,将会成为用户在云上构建高性能海量数据分析仓库的首选

应用场景

- 海量数据大宽表实时分析

- 实时BI报表分析

- 用户行为分析

- 游戏运营数据分析

核心技术优势

极致性能、多元算力鲲鹏加持、安全可靠、平滑弹性扩容、灵活配置、专家护航服务

展开详情

产品优势

存算分离架构

计算和存储分离,统一数据湖,消除数据孤岛,一份数据,无需多次拷贝,多种计算引擎,存储和计算资源灵活配比,各自按需扩缩,性价比领先业界30%

极致性能体验

通过结合硬件、数据组织、计算引擎、AI智能调优四级垂直优化,全栈式性能加速,同时具备百万规模元数据毫秒级响应,为用户提供极致性能体验

领先开源技术

主流引擎Spark、Hive、Flink等深度改造,拥有索引、缓存、元数据等关键技术;自研CarbonData毫秒级点查,Superior调度突破单集群20000节点+

高安全高可用

支持单集群跨AZ高可用,无单点故障,滚动补丁/升级,任务断链重连,业务0中断;具备网络资源隔离、账号安全、数据安全管控等多级安全保障能力

精心打造的功能

  • 一站式融合平台

    提供Kafka、Flink、Spark、HBase、ClickHouse、Presto等全栈大数据引擎,支持数据湖,数仓、BI、AI融合,助力客户走向融合的一站式大数据平台

    提供Kafka、Flink、Spark、HBase、ClickHouse、Presto等全栈大数据引擎,支持数据湖,数仓、BI、AI融合,助力客户走向融合的一站式大数据平台

  • 一键式平台搬迁

    100%兼容开源大数据生态,提供一键式搬迁工具,能够帮助客户快速完成自建平台的平滑迁移,整个迁移过程可做到“代码0修改,业务0中断”

    100%兼容开源大数据生态,提供一键式搬迁工具,能够帮助客户快速完成自建平台的平滑迁移,整个迁移过程可做到“代码0修改,业务0中断”

  • 资源灵活弹性伸缩

    资源灵活配比,可以选择鲲鹏/x86不同配比的Flavor规格,集群异构混合部署,峰谷任务灵活配置策略,自动弹性伸缩,百节点分钟级发放,大大降低TCO

    资源灵活配比,可以选择鲲鹏/x86不同配比的Flavor规格,集群异构混合部署,峰谷任务灵活配置策略,自动弹性伸缩,百节点分钟级发放,大大降低TCO

  • 企业级驾驶舱管理

    可视化的企业级集群管理系统,精细化集群监控告警,支持在线变更配置和集群补丁更新,保障业务不中断,日志在线检索,支持多集群统一管理

    可视化的企业级集群管理系统,精细化集群监控告警,支持在线变更配置和集群补丁更新,保障业务不中断,日志在线检索,支持多集群统一管理

不同业务场景下使用MRS

线下大数据平台迁移上云

快速将自建大数据平台(IDC、CDH、Hortonworks等)平滑搬迁上云或将其他大数据云服务平台平滑迁移至MRS,将客户业务和数据一次性搬迁到云上大数据服务MRS中,并基于云上环境快速构建云下系统,满足客户未来业务快速增长需求

优势

  • 计算存储分离

    MRS具备计算存储分离的先进架构,鲲鹏加持,多核高性价比

  • 统一数据存储

    再无数据孤岛,一份数据,多种计算引擎, 实现一份数据服务多个业务、跨业务数据可连接、可分析、可共享

  • 灵活弹性伸缩

    资源灵活配比,可以选择多种计算和存储资源进行组合,按需自动弹性伸缩,大大降低上云成本

  • 完全兼容开源

    100%兼容开源生态接口,存算分离数据迁移,支持屏蔽OBS接口,业务无感知,客户业务代码“0”改动

  • 搬迁简单快速

    搬迁工具齐全,简单快速完成无业务中断迁移方案

互联网行业(主打)

互联网行业的业务需求快速膨胀,数据量爆发,导致自建大数据平台面临着无法快速扩容、数据利用率低及运维成本高等问题,MRS提供“存算分离+鲲鹏”云化大数据平台,为用户构筑下一代高性价比互联网新平台

优势

  • 架构创新,高性价比、数据灵活共享

    - 存算分离:业务数据分离、引擎级元数据分离

    - 异构算力:鲲鹏+x86,裸金属/虚机/容器

  • 计算引擎源于开源,高于开源

    - 主流引擎和开源深度互动:hadoop、spark、hive等主流引擎同接口,引擎内核深度优化提升x倍性能

    - 差异化能力贡献社区:CarbonData,海量数据毫秒级点查,数据分钟级更新,填补社区技术空白;Hetu,统一SQL、跨源跨域查询

  • 核心能力提升

    - 软硬结合等垂直协同优化

    - 高可用:首个支持单集群跨AZ的大数据服务

车联网

基于开源生态,提供快速高效数据处理计算引擎,帮助车联网企业快速上云,灵活构建开放、统一、全栈式的数据分析大数据平台

优势

  • 统一全栈式大数据平台,灵活弹性

    MRS具备企业级大数据的平台能力,计算和存储分离,灵活方便,省事又省心

  • 拥有多引擎混合负载处理能力

    MRS提供了丰富的开源组件,灵活搭配,满足客户实时、离线等混合复杂业务处理诉求

  • 高性能,低成本

    可以通过MRS Kafka和Storm实时获取流数据,实现高吞吐量、低延时的实时计算、分析能力

  • 兼容开源标准接口

    MRS基于开源,拥抱开源,完全兼容开源Apache Hadoop生态API

金融保险

利用专属云MRS大数据的优势,满足保险业在合规、安全、可靠等方面的需求,重构传统保险企业的IT架构,快速构建和部署保险业务系统,帮助保险企业快速实现数字化转型,轻松实现业务创新和业务的敏捷演进

优势

  • 安全可信

    护客户敏感数据安全

  • 资源专属

    专属MRS集群,资源独享,计算、存储物理资源隔离

  • 创建灵活,全栈技术,简单运维

    一键式灵活创建全栈式大数据平台,提供企业级平台管理界面,运维简单

智慧物流

依靠MRS大数据分析平台,实现物流各环节的智能管理,提高业务运营效率,大大的降低成本

优势

  • 高吞吐、低时延

    提供专属MRS Kafka集群,具备高吞吐、高可用、低延迟的数据接入能力,实现百万级消息实时接入

  • 海量数据分析处理

    利用MRS Spark,支持海量数据计算处理,选择MRS HBase可以实现物流数据毫秒级实时入库更新,并支持百万级时序数据查询分析

  • 搭载AI,更智能

    MRS搭载AI技术,可以直接对大数据进行价值挖掘,为物流组织、市场营销、经营管理提供更加精准、智能化的预测分析

智慧水务

以大数据云服务MRS-Hadoop为核心,构建高性能、高可靠的统一大数据存储分析平台

优势

  • 统一数据平台,灵活弹性

    使用MRS服务搭建,具备企业级大数据的平台能力,并提供了丰富的开源组件,灵活搭配,同时满足客户实时/离线等混合复杂业务处理诉求

  • 高吞吐、低延时

    可以通过Storm从Kafka获取实时流数据,实现高吞吐量、低延时的实时计算、分析能力

  • 支持多类型数据融合

    同时支持各种结构化/半结构化/非结构化数据计算处理,轻松迁移传统数仓数据,实现跨源数据探索分析

游戏

游戏日志数据通过Kafka/Flume实时接入,利用SparkStreaming实时处理分析,入库存储到HBase/Hive,快速实现游戏广告分析、数据查询分析、营收分析等业务

优势

  • 统一平台,灵活弹性

    MRS具备企业级大数据的平台能力,提供了丰富的大数据组件,用户可以灵活搭配,同时满足实时/离线等复杂业务处理诉求

  • 高实时、高吞吐

    利用MRS Kafka/Flume完成实时数据采集,搭载网络增强型C3ne高性能服务器,实现海量数据实时接入

能源

为光伏电站运营商提供企业级大数据云服务,轻松运行Hadoop、Spark、Hbase、Storm等大数据组件,实现设备的预测性维护

优势

  • 统一大数据平台

    使用MRS服务搭建,具备企业级大数据的平台能力,并提供了丰富的大数据组件,灵活搭配,同时满足客户实时/离线等混合复杂业务处理诉求

  • 海量数据采集

    利用MRS Kafka/Sqoop实现多种数据采集方式,实现百万级消息实时接入

  • 简单易用

    基于多维数据,支持SQL接口查询,轻松实现数据探索分析

MapReduce服务与自建Hadoop集群对比

活动规则

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动时间: 2020年8月12日-2020年9月11日

活动期间,华为云用户通过活动页面购买云服务,或使用上云礼包优惠券在华为云官网新购云服务,累计新购实付付费金额达到一定额度,可兑换相应的实物礼品。活动优惠券可在本活动页面中“上云礼包”等方式获取,在华为云官网直接购买(未使用年中云钜惠活动优惠券)或参与其他活动的订单付费金额不计入统计范围内;

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动时间: 2020年8月12日-2020年9月11日

活动期间,华为云用户通过活动页面购买云服务,或使用上云礼包优惠券在华为云官网新购云服务,累计新购实付付费金额达到一定额度,可兑换相应的实物礼品。活动优惠券可在本活动页面中“上云礼包”等方式获取,在华为云官网直接购买(未使用年中云钜惠活动优惠券)或参与其他活动的订单付费金额不计入统计范围内;

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动时间: 2020年8月12日-2020年9月11日

活动期间,华为云用户通过活动页面购买云服务,或使用上云礼包优惠券在华为云官网新购云服务,累计新购实付付费金额达到一定额度,可兑换相应的实物礼品。活动优惠券可在本活动页面中“上云礼包”等方式获取,在华为云官网直接购买(未使用年中云钜惠活动优惠券)或参与其他活动的订单付费金额不计入统计范围内;

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

对比维度

MapReduce服务

自建Hadoop集群

成本

支持鲲鹏+自动弹性伸缩,大大降低成本

已包含商用大数据产品价格及操作系统技术支持费用,无需额外购买

无法弹性,资源利用率低,成本高

购买商业发行版操作系统及大数据产品License价格高昂

维护

提供I层基础设施自动化整合能力,自动做性能调优,性能更好

一键式快速创建大数据集群

支持滚动补丁和版本升级能力,提供专业的运维保障技术支撑

无法快速整合Iaas层资源,需要手动调参优化

手动安装大数据集群,效率低,易出错

无运维支撑保障服务,不支持补丁更新或版本升级

灵活

支持按照业务负载和时间策略自动弹性伸缩,快速应对业务增长高峰

支持灵活调整节点与磁盘规格,支持灵活创建临时集群,作业运行完自动销毁

业务量暴涨或回落时,不能及时扩容或收缩资源

不支持节点规格灵活升级,不支持临时创建集群自动销毁

专业

具备云厂商提供的多年金融、电信、交通等大数据领域的商用特性,支持集群>20000节点规模

具备云厂商强大的Hadoop内核技术团队(PMC&Commiters)的技术支撑

开源版大数据集群水平扩展能力有限制,不适合大规模生产部署

使用开源社区大数据产品免费版,未经过大规模商用验证,无专业团队技术支持

生态

天然集成其他大数据基础服务,如数据接入、数据迁移、数据工厂等生态服务,更容易结合AI智能应用让数据快速变现,构筑云上大数据企业智能生态

自建系统比较封闭,无法快速的利用周边云生态服务能力

安全

拥有企业级的大数据多租户权限管理能力

拥有企业级的大数据安全管理特性,支持按照表/按列控制访问权限,支持数据按照表/按列加密

不具备企业级的多租户权限管理能力

开源大数据集群不具备完善的审计日志

缺少业界安全工具扫描报告

可靠

经过大规模的可靠性、长稳验证,满足企业级高可靠要求

支持数据跨AZ/跨Region自动备份的数据容灾能力

自动反亲和技术,虚拟机分布在不同物理机上

仅通过基本功能测试,无长稳、可靠性、大规模集群等商用场景测试

业务双活、容灾设备投入大,且不能两地三中心容灾

成本

MapReduce服务

支持鲲鹏+自动弹性伸缩,大大降低成本

已包含商用大数据产品价格及操作系统技术支持费用,无需额外购买

自建Hadoop集群

无法弹性,资源利用率低,成本高

购买商业发行版操作系统及大数据产品License价格高昂

维护

MapReduce服务

提供I层基础设施自动化整合能力,自动做性能调优,性能更好

一键式快速创建大数据集群

支持滚动补丁和版本升级能力,提供专业的运维保障技术支撑

自建Hadoop集群

无法快速整合Iaas层资源,需要手动调参优化

手动安装大数据集群,效率低,易出错

无运维支撑保障服务,不支持补丁更新或版本升级

灵活

MapReduce服务

支持按照业务负载和时间策略自动弹性伸缩,快速应对业务增长高峰

支持灵活调整节点与磁盘规格,支持灵活创建临时集群,作业运行完自动销毁

自建Hadoop集群

业务量暴涨或回落时,不能及时扩容或收缩资源

不支持节点规格灵活升级,不支持临时创建集群自动销毁

专业

MapReduce服务

具备云厂商提供的多年金融、电信、交通等大数据领域的商用特性,支持集群>20000节点规模

具备云厂商强大的Hadoop内核技术团队(PMC&Commiters)的技术支撑

自建Hadoop集群

开源版大数据集群水平扩展能力有限制,不适合大规模生产部署

使用开源社区大数据产品免费版,未经过大规模商用验证,无专业团队技术支持

生态

MapReduce服务

天然集成其他大数据基础服务,如数据接入、数据迁移、数据工厂等生态服务,更容易结合AI智能应用让数据快速变现,构筑云上大数据企业智能生态

自建Hadoop集群

自建系统比较封闭,无法快速的利用周边云生态服务能力

安全

MapReduce服务

拥有企业级的大数据多租户权限管理能力

拥有企业级的大数据安全管理特性,支持按照表/按列控制访问权限,支持数据按照表/按列加密

自建Hadoop集群

不具备企业级的多租户权限管理能力

开源大数据集群不具备完善的审计日志

缺少业界安全工具扫描报告

可靠

MapReduce服务

经过大规模的可靠性、长稳验证,满足企业级高可靠要求

支持数据跨AZ/跨Region自动备份的数据容灾能力

自动反亲和技术,虚拟机分布在不同物理机上

自建Hadoop集群

仅通过基本功能测试,无长稳、可靠性、大规模集群等商用场景测试

业务双活、容灾设备投入大,且不能两地三中心容灾

客户案例

新特性

视频教程

使用MRS分析车主驾驶行为

23:55

使用MRS分析车主驾驶行为

MRS二次开发Demo下载和配置Maven

03:58

MRS二次开发Demo下载和配置Maven

构建MR二次开发Demo工程并提交任务

08:37

构建MR二次开发Demo工程并提交任务

如何访问开源组件UI界面

10:43

如何访问开源组件UI界面

联系我们的专家,将竭诚为您提供咨询服务

服务咨询