重磅发布

新一代分布式消息流平台Apache Pulsar

Apache Pulsar是新一代的云原生消息系统,采用存算分离架构,统一消息模型和流式模型,具有高可靠,高性能,易扩展,易维护的特点。华为云MRS集成企业级Pulsar服务,为客户搭建消息队列和流式数据处理平台提供新的选择

应用场景

- 搭建消息队列

- 流式数据处理

核心技术优势

存算分离,灵活扩展;配置多租户;分层存储;更灵活的订阅模式(独占式、主备式、共享式)

展开详情

企业版ClickHouse

ClickHouse是一款非常优秀的实时分析型数据库,拥有极致的压缩比和极速的查询性能,通过华为云可靠的安全防护能力以及鲲鹏、昇腾在内的多样算力的加持,支持数百亿记录、数百维度的自由查询毫秒级响应能力,将会成为用户在云上构建高性能海量数据分析仓库的首选

应用场景

- 海量数据大宽表实时分析

- 实时BI报表分析

- 用户行为分析

- 游戏运营数据分析

核心技术优势

极致性能、多元算力鲲鹏加持、安全可靠、平滑弹性扩容、灵活配置、专家护航服务

展开详情

MRS架构图

MRS架构图

活动规则

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动时间: 2020年8月12日-2020年9月11日

产品优势

存算分离架构

计算和存储分离,统一数据湖,消除数据孤岛,一份数据,无需多次拷贝,多种计算引擎,存储和计算资源灵活配比,各自按需扩缩,性价比领先业界30%

极致性能体验

通过结合硬件、数据组织、计算引擎、AI智能调优四级垂直优化,全栈式性能加速,同时具备百万规模元数据毫秒级响应,为用户提供极致性能体验

领先开源技术

主流引擎Spark、Hive、Flink等深度改造,拥有索引、缓存、元数据等关键技术;自研CarbonData毫秒级点查,Superior调度突破单集群20000节点+

高安全高可用

支持单集群跨AZ高可用,无单点故障,滚动补丁/升级,任务断链重连,业务0中断;具备网络资源隔离、账号安全、数据安全管控等多级安全保障能力

精心打造的功能

  • 一站式融合平台

    提供Kafka、Flink、Spark、HBase、ClickHouse、Presto等全栈大数据引擎,支持数据湖,数仓、BI、AI融合,助力客户走向融合的一站式大数据平台

    提供Kafka、Flink、Spark、HBase、ClickHouse、Presto等全栈大数据引擎,支持数据湖,数仓、BI、AI融合,助力客户走向融合的一站式大数据平台

  • 一键式平台搬迁

    100%兼容开源大数据生态,提供一键式搬迁工具,能够帮助客户快速完成自建平台的平滑迁移,整个迁移过程可做到“代码0修改,业务0中断”

    100%兼容开源大数据生态,提供一键式搬迁工具,能够帮助客户快速完成自建平台的平滑迁移,整个迁移过程可做到“代码0修改,业务0中断”

  • 资源灵活弹性伸缩

    资源灵活配比,可以选择鲲鹏/x86不同配比的Flavor规格,集群异构混合部署,峰谷任务灵活配置策略,自动弹性伸缩,百节点分钟级发放,大大降低TCO

    资源灵活配比,可以选择鲲鹏/x86不同配比的Flavor规格,集群异构混合部署,峰谷任务灵活配置策略,自动弹性伸缩,百节点分钟级发放,大大降低TCO

  • 企业级驾驶舱管理

    可视化的企业级集群管理系统,精细化集群监控告警,支持在线变更配置和集群补丁更新,保障业务不中断,日志在线检索,支持多集群统一管理

    可视化的企业级集群管理系统,精细化集群监控告警,支持在线变更配置和集群补丁更新,保障业务不中断,日志在线检索,支持多集群统一管理

不同业务场景下使用MRS

线下大数据平台迁移上云

快速将自建大数据平台(IDC、CDH、Hortonworks等)平滑搬迁上云或将其他大数据云服务平台平滑迁移至MRS,将客户业务和数据一次性搬迁到云上大数据服务MRS中,并基于云上环境快速构建云下系统,满足客户未来业务快速增长需求

优势

  • 计算存储分离

    MRS具备计算存储分离的先进架构,鲲鹏加持,多核高性价比

  • 统一数据存储

    再无数据孤岛,一份数据,多种计算引擎, 实现一份数据服务多个业务、跨业务数据可连接、可分析、可共享

  • 灵活弹性伸缩

    资源灵活配比,可以选择多种计算和存储资源进行组合,按需自动弹性伸缩,大大降低上云成本

  • 完全兼容开源

    100%兼容开源生态接口,存算分离数据迁移,支持屏蔽OBS接口,业务无感知,客户业务代码“0”改动

  • 搬迁简单快速

    搬迁工具齐全,简单快速完成无业务中断迁移方案

互联网行业(主打)

互联网行业的业务需求快速膨胀,数据量爆发,导致自建大数据平台面临着无法快速扩容、数据利用率低及运维成本高等问题,MRS提供“存算分离+鲲鹏”云化大数据平台,为用户构筑下一代高性价比互联网新平台

优势

  • 架构创新,高性价比、数据灵活共享

    - 存算分离:业务数据分离、引擎级元数据分离

    - 异构算力:鲲鹏+x86,裸金属/虚机/容器

  • 计算引擎源于开源,高于开源

    - 主流引擎和开源深度互动:hadoop、spark、hive等主流引擎同接口,引擎内核深度优化提升x倍性能

    - 差异化能力贡献社区:CarbonData,海量数据毫秒级点查,数据分钟级更新,填补社区技术空白;Hetu,统一SQL、跨源跨域查询

  • 核心能力提升

    - 软硬结合等垂直协同优化

    - 高可用:首个支持单集群跨AZ的大数据服务

车联网

基于开源生态,提供快速高效数据处理计算引擎,帮助车联网企业快速上云,灵活构建开放、统一、全栈式的数据分析大数据平台

优势

  • 统一全栈式大数据平台,灵活弹性

    MRS具备企业级大数据的平台能力,计算和存储分离,灵活方便,省事又省心

  • 拥有多引擎混合负载处理能力

    MRS提供了丰富的开源组件,灵活搭配,满足客户实时、离线等混合复杂业务处理诉求

  • 高性能,低成本

    可以通过MRS Kafka和Storm实时获取流数据,实现高吞吐量、低延时的实时计算、分析能力

  • 兼容开源标准接口

    MRS基于开源,拥抱开源,完全兼容开源Apache Hadoop生态API

金融保险

利用专属云MRS大数据的优势,满足保险业在合规、安全、可靠等方面的需求,重构传统保险企业的IT架构,快速构建和部署保险业务系统,帮助保险企业快速实现数字化转型,轻松实现业务创新和业务的敏捷演进

优势

  • 安全可信

    护客户敏感数据安全

  • 资源专属

    专属MRS集群,资源独享,计算、存储物理资源隔离

  • 创建灵活,全栈技术,简单运维

    一键式灵活创建全栈式大数据平台,提供企业级平台管理界面,运维简单

智慧物流

依靠MRS大数据分析平台,实现物流各环节的智能管理,提高业务运营效率,大大的降低成本

优势

  • 高吞吐、低时延

    提供专属MRS Kafka集群,具备高吞吐、高可用、低延迟的数据接入能力,实现百万级消息实时接入

  • 海量数据分析处理

    利用MRS Spark,支持海量数据计算处理,选择MRS HBase可以实现物流数据毫秒级实时入库更新,并支持百万级时序数据查询分析

  • 搭载AI,更智能

    MRS搭载AI技术,可以直接对大数据进行价值挖掘,为物流组织、市场营销、经营管理提供更加精准、智能化的预测分析

智慧水务

以大数据云服务MRS-Hadoop为核心,构建高性能、高可靠的统一大数据存储分析平台

优势

  • 统一数据平台,灵活弹性

    使用MRS服务搭建,具备企业级大数据的平台能力,并提供了丰富的开源组件,灵活搭配,同时满足客户实时/离线等混合复杂业务处理诉求

  • 高吞吐、低延时

    可以通过Storm从Kafka获取实时流数据,实现高吞吐量、低延时的实时计算、分析能力

  • 支持多类型数据融合

    同时支持各种结构化/半结构化/非结构化数据计算处理,轻松迁移传统数仓数据,实现跨源数据探索分析

游戏

游戏日志数据通过Kafka/Flume实时接入,利用SparkStreaming实时处理分析,入库存储到HBase/Hive,快速实现游戏广告分析、数据查询分析、营收分析等业务

优势

  • 统一平台,灵活弹性

    MRS具备企业级大数据的平台能力,提供了丰富的大数据组件,用户可以灵活搭配,同时满足实时/离线等复杂业务处理诉求

  • 高实时、高吞吐

    利用MRS Kafka/Flume完成实时数据采集,搭载网络增强型C3ne高性能服务器,实现海量数据实时接入

能源

为光伏电站运营商提供企业级大数据云服务,轻松运行Hadoop、Spark、Hbase、Storm等大数据组件,实现设备的预测性维护

优势

  • 统一大数据平台

    使用MRS服务搭建,具备企业级大数据的平台能力,并提供了丰富的大数据组件,灵活搭配,同时满足客户实时/离线等混合复杂业务处理诉求

  • 海量数据采集

    利用MRS Kafka/Sqoop实现多种数据采集方式,实现百万级消息实时接入

  • 简单易用

    基于多维数据,支持SQL接口查询,轻松实现数据探索分析

MapReduce服务与自建Hadoop集群对比

活动规则

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动时间: 2020年8月12日-2020年9月11日

活动期间,华为云用户通过活动页面购买云服务,或使用上云礼包优惠券在华为云官网新购云服务,累计新购实付付费金额达到一定额度,可兑换相应的实物礼品。活动优惠券可在本活动页面中“上云礼包”等方式获取,在华为云官网直接购买(未使用年中云钜惠活动优惠券)或参与其他活动的订单付费金额不计入统计范围内;

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动时间: 2020年8月12日-2020年9月11日

活动期间,华为云用户通过活动页面购买云服务,或使用上云礼包优惠券在华为云官网新购云服务,累计新购实付付费金额达到一定额度,可兑换相应的实物礼品。活动优惠券可在本活动页面中“上云礼包”等方式获取,在华为云官网直接购买(未使用年中云钜惠活动优惠券)或参与其他活动的订单付费金额不计入统计范围内;

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动时间: 2020年8月12日-2020年9月11日

活动期间,华为云用户通过活动页面购买云服务,或使用上云礼包优惠券在华为云官网新购云服务,累计新购实付付费金额达到一定额度,可兑换相应的实物礼品。活动优惠券可在本活动页面中“上云礼包”等方式获取,在华为云官网直接购买(未使用年中云钜惠活动优惠券)或参与其他活动的订单付费金额不计入统计范围内;

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

对比维度

MapReduce服务

自建Hadoop集群

成本

支持鲲鹏+自动弹性伸缩,大大降低成本

已包含商用大数据产品价格及操作系统技术支持费用,无需额外购买

无法弹性,资源利用率低,成本高

购买商业发行版操作系统及大数据产品License价格高昂

维护

提供I层基础设施自动化整合能力,自动做性能调优,性能更好

一键式快速创建大数据集群

支持滚动补丁和版本升级能力,提供专业的运维保障技术支撑

无法快速整合Iaas层资源,需要手动调参优化

手动安装大数据集群,效率低,易出错

无运维支撑保障服务,不支持补丁更新或版本升级

灵活

支持按照业务负载和时间策略自动弹性伸缩,快速应对业务增长高峰

支持灵活调整节点与磁盘规格,支持灵活创建临时集群,作业运行完自动销毁

业务量暴涨或回落时,不能及时扩容或收缩资源

不支持节点规格灵活升级,不支持临时创建集群自动销毁

专业

具备云厂商提供的多年金融、电信、交通等大数据领域的商用特性,支持集群>20000节点规模

具备云厂商强大的Hadoop内核技术团队(PMC&Commiters)的技术支撑

开源版大数据集群水平扩展能力有限制,不适合大规模生产部署

使用开源社区大数据产品免费版,未经过大规模商用验证,无专业团队技术支持

生态

天然集成其他大数据基础服务,如数据接入、数据迁移、数据工厂等生态服务,更容易结合AI智能应用让数据快速变现,构筑云上大数据企业智能生态

自建系统比较封闭,无法快速的利用周边云生态服务能力

安全

拥有企业级的大数据多租户权限管理能力

拥有企业级的大数据安全管理特性,支持按照表/按列控制访问权限,支持数据按照表/按列加密

不具备企业级的多租户权限管理能力

开源大数据集群不具备完善的审计日志

缺少业界安全工具扫描报告

可靠

经过大规模的可靠性、长稳验证,满足企业级高可靠要求

支持数据跨AZ/跨Region自动备份的数据容灾能力

自动反亲和技术,虚拟机分布在不同物理机上

仅通过基本功能测试,无长稳、可靠性、大规模集群等商用场景测试

业务双活、容灾设备投入大,且不能两地三中心容灾

成本

MapReduce服务

支持鲲鹏+自动弹性伸缩,大大降低成本

已包含商用大数据产品价格及操作系统技术支持费用,无需额外购买

自建Hadoop集群

无法弹性,资源利用率低,成本高

购买商业发行版操作系统及大数据产品License价格高昂

维护

MapReduce服务

提供I层基础设施自动化整合能力,自动做性能调优,性能更好

一键式快速创建大数据集群

支持滚动补丁和版本升级能力,提供专业的运维保障技术支撑

自建Hadoop集群

无法快速整合Iaas层资源,需要手动调参优化

手动安装大数据集群,效率低,易出错

无运维支撑保障服务,不支持补丁更新或版本升级

灵活

MapReduce服务

支持按照业务负载和时间策略自动弹性伸缩,快速应对业务增长高峰

支持灵活调整节点与磁盘规格,支持灵活创建临时集群,作业运行完自动销毁

自建Hadoop集群

业务量暴涨或回落时,不能及时扩容或收缩资源

不支持节点规格灵活升级,不支持临时创建集群自动销毁

专业

MapReduce服务

具备云厂商提供的多年金融、电信、交通等大数据领域的商用特性,支持集群>20000节点规模

具备云厂商强大的Hadoop内核技术团队(PMC&Commiters)的技术支撑

自建Hadoop集群

开源版大数据集群水平扩展能力有限制,不适合大规模生产部署

使用开源社区大数据产品免费版,未经过大规模商用验证,无专业团队技术支持

生态

MapReduce服务

天然集成其他大数据基础服务,如数据接入、数据迁移、数据工厂等生态服务,更容易结合AI智能应用让数据快速变现,构筑云上大数据企业智能生态

自建Hadoop集群

自建系统比较封闭,无法快速的利用周边云生态服务能力

安全

MapReduce服务

拥有企业级的大数据多租户权限管理能力

拥有企业级的大数据安全管理特性,支持按照表/按列控制访问权限,支持数据按照表/按列加密

自建Hadoop集群

不具备企业级的多租户权限管理能力

开源大数据集群不具备完善的审计日志

缺少业界安全工具扫描报告

可靠

MapReduce服务

经过大规模的可靠性、长稳验证,满足企业级高可靠要求

支持数据跨AZ/跨Region自动备份的数据容灾能力

自动反亲和技术,虚拟机分布在不同物理机上

自建Hadoop集群

仅通过基本功能测试,无长稳、可靠性、大规模集群等商用场景测试

业务双活、容灾设备投入大,且不能两地三中心容灾

新特性

权威获奖

华为云FusionInsight MRS云原生数据湖斩获“大数据行业优秀解决方案奖”

华为云FusionInsight MRS云原生数据湖斩获“大数据行业优秀解决方案奖”

华为云FusionInsight MRS云原生数据湖,一个架构可持续演进,构建离线、实时、逻辑三种数据湖,助力客户释放海量数据价值,让业务洞见更准,价值兑现更快。

客户案例

美图

FusionInsight智能数据湖存算分离架构,让计算和存储按需灵活独立扩展, 用EC算法替代Hadoop大数据3副本模式,使用一份数据支持多种分析计算,资源利用率提升40%,综合成本下降30%,支撑美图大数据业务高效服务全球20亿+用户。



了解详情

蘑菇街

“我们将Spark大数据、机器学习的业务特点与华为云云原生高性能计算的优势相结合,对平台进行了全面升级,不仅大幅提升了数据分析、AI训练的效率,也优化了我们现有的运维模式,提升了运维效率,更好地满足了蘑菇街快速发 展过程中对 IT 资源建设、运维、快速创新的诉求。”


-- 蘑菇街 CTO 杨乃印

了解详情

招商银行

“华为云FusionInsight大数据平台已经在招商银行的业务创新中产生了显著的影响,此外招商银行现在能够为用户提供更加按需实时的在线自助服务,过去仅能在线查询13个月的历史明细,现在可以查询到七年以上。目前招商银行理财产品推介短信量和过去相比下降82%,却可以全面覆盖有效购买用户。”


-- 招商银行信息技术部下一代云计算项目经理 刘静

了解详情

T3出行

T3 出行Lakehouse 整体技术架构的特点就是存算分离,基于开源的Hudi 框架,使得它能够同时支撑BI 和AI 的场景,目前我们托管于华为云FusionInsight 智能数据湖之上。

-- T3 出行大数据平台负责人 杨华

了解详情

1对1咨询专属顾问

1对1免费咨询华为云专属顾问,为您量身定制产品推荐方案
立即咨询

华为云咨询电话:950808或4000-955-988 转1

华为云咨询电话:950808或4000-955-988 转1

华为云专业的服务团队,致力于为您提供专业的售前购买咨询服务,及完善的售后技术服务,助您云上无忧