重磅发布

统一元数据服务
统一元数据服务

数据湖Catalog(DLCatalog)是面向数据湖分析引擎,为超大规模MRS集群、多计算引擎、多集群提供统一的元数据服务。支持多个MRS共享同一个元数据服务,不同MRS实例的Hive、Spark等引擎看到的是同一份元数据,可最大化实现元数据的共享,避免不必要的数据迁移,实现计算集群实例弹性伸缩,业务实时热接入,为大数据打造更加专业的存算分离能力

应用场景

  • - 海量元数据统一存储和共享
  • - 存算分离增强、计算资源按需使用
  • - 高并发元数据服务
  • 核心技术优势

    兼容HMS原生接口;存储模型/缓存加速等多层次优化,极致性能;容灾备份&过载保护,安全可靠;多引擎支持

    企业版ClickHouse
    企业版ClickHouse

    ClickHouse是一款非常优秀的实时分析型数据库,拥有极致的压缩比和极速的查询性能,通过华为云可靠的安全防护能力以及鲲鹏、昇腾在内的多样算力的加持,支持数百亿记录、数百维度的自由查询毫秒级响应能力,将会成为用户在云上构建高性能海量数据分析仓库的首选

    应用场景

  • - 海量数据大宽表实时分析
  • - 实时BI报表分析
  • - 用户行为分析
  • - 游戏运营数据分析
  • 核心技术优势

    极致性能、多元算力鲲鹏加持、安全可靠、平滑弹性扩容、灵活配置、专家护航服务

    精心打造的功能

    精心打造的功能

    • 一站式融合平台

      提供Kafka、Flink、Spark、HBase、ClickHouse、Presto等全栈大数据引擎,支持数据湖,数仓、BI、AI融合,助力客户走向融合的一站式大数据平台
      提供Kafka、Flink、Spark、HBase、ClickHouse、Presto等全栈大数据引擎,支持数据湖,数仓、BI、AI融合,助力客户走向融合的一站式大数据平台
    • 一键式平台搬迁

      100%兼容开源大数据生态,提供一键式搬迁工具,能够帮助客户快速完成自建平台的平滑迁移,整个迁移过程可做到“代码0修改,业务0中断”
      100%兼容开源大数据生态,提供一键式搬迁工具,能够帮助客户快速完成自建平台的平滑迁移,整个迁移过程可做到“代码0修改,业务0中断”
    • 资源灵活弹性伸缩

      资源灵活配比,可以选择鲲鹏/x86不同配比的Flavor规格,集群异构混合部署,峰谷任务灵活配置策略,自动弹性伸缩,百节点分钟级发放,大大降低TCO
      资源灵活配比,可以选择鲲鹏/x86不同配比的Flavor规格,集群异构混合部署,峰谷任务灵活配置策略,自动弹性伸缩,百节点分钟级发放,大大降低TCO
    • 企业级驾驶舱管理

      可视化的企业级集群管理系统,精细化集群监控告警,支持在线变更配置和集群补丁更新,保障业务不中断,日志在线检索,支持多集群统一管理
      可视化的企业级集群管理系统,精细化集群监控告警,支持在线变更配置和集群补丁更新,保障业务不中断,日志在线检索,支持多集群统一管理

    支持多应用场景集群

    Hadoop分析集群
    采用Spark实现海量数据的分析查询,采用Hive实现TB/PB级的数据分析
    HBase查询集群
    采用HBase实现海量数据存储,并实现毫秒级数据查询
    Kafka流式集群
    围绕Kafka实现万级别数据接入与实时处理
    ClickHouse集群
    采用ClickHouse实现海量数据的实时查询分析,加速数据价值的展现

    不同业务场景下使用MRS

    • 大数据上云

    • 互联网行业

    • 车联网行业

    • 金融保险

    • 智慧物流

    • 智慧水务

    • 游戏行业

    • 能源行业

    大数据上云

    线下大数据平台迁移上云

    快速将自建大数据平台(IDC、CDH、Hontonwoks等)平滑搬迁上云或将其他大数据云服务平台平滑迁移至MRS,将客户业务和数据一次性搬迁到云上大数据服务MRS中,并基于云上环境快速构建云下系统,满足客户未来业务快速增长需求

    优势

    计算存储分离

    MRS具备计算存储分离的先进架构,鲲鹏加持,多核高性价比

    统一数据存储

    再无数据孤岛,一份数据,多种计算引擎, 实现一份数据服务多个业务、跨业务数据可连接、可分析、可共享

    灵活弹性伸缩

    资源灵活配比,可以选择多种计算和存储资源进行组合,按需自动弹性伸缩,大大降低上云成本

    完全兼容开源

    100%兼容开源生态接口,存算分离数据迁移,支持屏蔽OBS接口,业务无感知,客户业务代码“0”改动

    搬迁简单快速

    搬迁工具齐全,简单快速完成无业务中断迁移方案

    互联网行业

    互联网行业(主打)

    互联网行业的业务需求快速膨胀,数据量爆发,导致自建大数据平台面临着无法快速扩容、数据利用率低及运维成本高等问题,MRS提供“存算分离+鲲鹏”云化大数据平台,为用户构筑下一代高性价比互联网新平台

    优势

    架构创新,高性价比、数据灵活共享

    - 存算分离:业务数据分离、引擎级元数据分离

    - 异构算力:鲲鹏+x86,裸金属/虚机/容器

    计算引擎源于开源,高于开源

    - 主流引擎和开源深度互动:hadoop、spark、hive等主流引擎同接口,引擎内核深度优化提升x倍性能

    - 差异化能力贡献社区:CarbonData,海量数据毫秒级点查,数据分钟级更新,填补社区技术空白;Hetu,统一SQL、跨源跨域查询

    核心能力提升

    - 软硬结合等垂直协同优化

    - 高可用:首个支持单集群跨AZ的大数据服务

    车联网行业

    车联网

    基于开源生态,提供快速高效数据处理计算引擎,帮助车联网企业快速上云,灵活构建开放、统一、全栈式的数据分析大数据平台

    优势

    统一全栈式大数据平台,灵活弹性

    MRS具备企业级大数据的平台能力,计算和存储分离,灵活方便,省事又省心

    拥有多引擎混合负载处理能力

    MRS提供了丰富的开源组件,灵活搭配,满足客户实时、离线等混合复杂业务处理诉求

    高性能,低成本

    可以通过MRS Kafka和Storm实时获取流数据,实现高吞吐量、低延时的实时计算、分析能力

    兼容开源标准接口

    MRS基于开源,拥抱开源,完全兼容开源Apache Hadoop生态API

    金融保险

    金融保险

    利用专属云MRS大数据的优势,满足保险业在合规、安全、可靠等方面的需求,重构传统保险企业的IT架构,快速构建和部署保险业务系统,帮助保险企业快速实现数字化转型,轻松实现业务创新和业务的敏捷演进

    优势

    安全可信

    保护客户敏感数据安全

    资源专属

    专属MRS集群,资源独享,计算、存储物理资源隔离

    创建灵活,全栈技术,简单运维

    一键式灵活创建全栈式大数据平台,提供企业级平台管理界面,运维简单

    智慧物流

    智慧物流

    依靠MRS大数据分析平台,实现物流各环节的智能管理,提高业务运营效率,大大的降低成本

    优势

    高吞吐、低时延

    提供专属MRS Kafka集群,具备高吞吐、高可用、低延迟的数据接入能力,实现百万级消息实时接入

    海量数据分析处理

    利用MRS Spark,支持海量数据计算处理,选择MRS HBase可以实现物流数据毫秒级实时入库更新,并支持百万级时序数据查询分析

    搭载AI,更智能

    MRS搭载AI技术,可以直接对大数据进行价值挖掘,为物流组织、市场营销、经营管理提供更加精准、智能化的预测分析

    智慧水务

    智慧水务

    以大数据云服务MRS-Hadoop为核心,构建高性能、高可靠的统一大数据存储分析平台

    优势

    统一数据平台,灵活弹性

    使用MRS服务搭建,具备企业级大数据的平台能力,并提供了丰富的开源组件,灵活搭配,同时满足客户实时/离线等混合复杂业务处理诉求

    高吞吐、低延时

    可以通过Storm从Kafka获取实时流数据,实现高吞吐量、低延时的实时计算、分析能力

    支持多类型数据融合

    同时支持各种结构化/半结构化/非结构化数据计算处理,轻松迁移传统数仓数据,实现跨源数据探索分析

    游戏行业

    游戏

    游戏日志数据通过Kafka/Flume实时接入,利用SparkStreaming实时处理分析,入库存储到HBase/Hive,快速实现游戏广告分析、数据查询分析、营收分析等业务

    优势

    统一平台,灵活弹性

    MRS具备企业级大数据的平台能力,提供了丰富的大数据组件,用户可以灵活搭配,同时满足实时/离线等复杂业务处理诉求

    高实时、高吞吐

    利用MRS Kafka/Flume完成实时数据采集,搭载网络增强型C3ne高性能服务器,实现海量数据实时接入

    能源行业

    能源

    为光伏电站运营商提供企业级大数据云服务,轻松运行Hadoop、Spark、Hbase、Storm等大数据组件,实现设备的预测性维护

    优势

    统一大数据平台

    使用MRS服务搭建,具备企业级大数据的平台能力,并提供了丰富的大数据组件,灵活搭配,同时满足客户实时/离线等混合复杂业务处理诉求

    海量数据采集

    利用MRS Kafka/Sqoop实现多种数据采集方式,实现百万级消息实时接入

    简单易用

    基于多维数据,支持SQL接口查询,轻松实现数据探索分析

    MapReduce服务与自建Hadoop集群对比

    对比维度
    MapReduce服务
    自建Hadoop集群

    成本

    • 支持鲲鹏+自动弹性伸缩,大大降低成本
    • 已包含商用大数据产品价格及操作系统技术支持费用,无需额外购买
    • 无法弹性,资源利用率低,成本高
    • 购买商业发行版操作系统及大数据产品License价格高昂

    维护

    • 提供I层基础设施自动化整合能力,自动做性能调优,性能更好
    • 一键式快速创建大数据集群
    • 支持滚动补丁和版本升级能力,提供专业的运维保障技术支撑
    • 无法快速整合Iaas层资源,需要手动调参优化
    • 手动安装大数据集群,效率低,易出错
    • 无运维支撑保障服务,不支持补丁更新或版本升级

    灵活

    • 支持按照业务负载和时间策略自动弹性伸缩,快速应对业务增长高峰
    • 支持灵活调整节点与磁盘规格,支持灵活创建临时集群,作业运行完自动销毁
    • 业务量暴涨或回落时,不能及时扩容或收缩资源
    • 不支持节点规格灵活升级,不支持临时创建集群自动销毁

    专业

    • 具备云厂商提供的多年金融、电信、交通等大数据领域的商用特性,支持集群>20000节点规模
    • 具备云厂商强大的Hadoop内核技术团队(PMC&Commiters)的技术支撑
    • 开源版大数据集群水平扩展能力有限制,不适合大规模生产部署
    • 使用开源社区大数据产品免费版,未经过大规模商用验证,无专业团队技术支持

    生态

    天然集成其他大数据基础服务,如数据接入、数据迁移、数据工厂等生态服务,更容易结合AI智能应用让数据快速变现,构筑云上大数据企业智能生态
    自建系统比较封闭,无法快速的利用周边云生态服务能力

    安全

    • 拥有企业级的大数据多租户权限管理能力
    • 拥有企业级的大数据安全管理特性,支持按照表/按列控制访问权限,支持数据按照表/按列加密
    • 不具备企业级的多租户权限管理能力
    • 开源大数据集群不具备完善的审计日志
    • 缺少业界安全工具扫描报告

    可靠

    • 经过大规模的可靠性、长稳验证,满足企业级高可靠要求
    • 支持数据跨AZ/跨Region自动备份的数据容灾能力
    • 自动反亲和技术,虚拟机分布在不同物理机上
    • 仅通过基本功能测试,无长稳、可靠性、大规模集群等商用场景测试
    • 业务双活、容灾设备投入大,且不能两地三中心容灾

    客户案例

    客户案例

    • 美图

    • 福田汽车

    • 德邦快递

    新特性

    视频教程

    使用MRS分析车主驾驶行为

    23:55

    MRS二次开发Demo下载和配置Maven

    03:58

    构建MR二次开发Demo工程并提交任务

    08:37

    如何访问开源组件UI界面

    10:43

    创建MRS集群

    04:32

    提交MapReduce作业

    03:16

    执行Spark SQL语句

    01:39

    终止MRS集群

    01:10

    立即注册 免费试用40+款云服务产品

    免费试用