大数据基础设施解决方案

结合华为云丰富的大数据平台和基础云服务经验，为企业提供高性能、高可靠的大数据业务基础资源、AI训练推理平台，快速实现企业数据化、智能化转型
服务咨询
方案优势

  • 业务连续稳定

    通过多级可靠性架构，保证数据持久性达99.9999999999%，业务系统支持两地三中心高可用部署，数据多副本存储（3AZ）

  • 高性能多元算力

    提供高性能虚拟机，裸金属服务器，AI算力等多种计算资源。满足各种业务需要。内网大带宽高速互联网络，系统整体性能大幅提升

  • 资源利用率高

    提供计算资源、存储资源分离部署方案，集群利用率提升75%，存储利用率提升50%，支持按需伸缩计算资源，轻松应对业务负载变化

  • 数据复用率高

    OBS支持多种协议。数据一处存放，处处使用，分析任务无需复制数据到本地，即可进行处理。数据复用程度高，整体业务处理速度快

业务挑战

  • IT投资和维护成本高

    大数据业务单次IT投资金额大，机房建设成本、存储服务器、应用服务器、配套的风火水电等资金投入，需要企业一次性投入大量资金；随着业务规模逐渐增长和平台架构升级，大数据平台所需的存储服务器、计算服务器数量和规格逐渐增加，导致数据中心异构资源多，后期维护困难

  • 性能不足，分析周期长

    当出现热点事件或促销活动等浪涌业务时，企业所需的数据分析量迅速增加，传统的数据中心无法快速扩充相应的存储、计算资源，导致大数据处理、分析任务出现堆积，处理缓慢，甚至无法在最大可容忍时间内完成，导致企业正常经营业务受损

  • 额外拷贝，容量、效率浪费

    由于大数据分析任务对数据的并发读写能力要求极高，传统的存储服务器无法满足要求，大数据分析应用只能先将待分析数据复制到本地，之后才可以开始进行分析，额外增加了一次数据拷贝消耗，同时占用了大量本地存储空间，导致整体分析效率浪费、存储容量浪费

  • 资源无法灵活配比，浪费严重

    数据是企业业务发展重要生产资料之一，为避免出现数据丢失、损坏的风险，数据需要多地多份存储（>3），企业需要额外购买数倍于业务数据所需的存储空间，存储设备成本高企

典型业务场景

  • 大数据实时分析

  • 大数据离线分析

大数据实时分析

大数据实时分析场景

提供可弹性扩展、低时延、高吞吐的高性能计算资源，支持业界主流的实时分析业务平台，结合大带宽、支持多种协议的对象存储服务，提升实时分析业务整体资源利用率

  1. 优势

    资源利用率高

    支持计算、存储分离架构，最大化提升资源利用率，按需使用计算资源；计算资源灵活可变，满足业务量高速增长需求

  2. 卓越的分析性能

    裸金属服务器与对象存储之间支持25G超高带宽，保障数据分析业务的低时延、大带宽诉求，端到端性能较本地大数据分析平台提升一倍

  3. 对应产品

    裸金属服务器 BMS

    对象存储服务 OBS

    数据快递服务 DES

    弹性伸缩 AS

大数据离线分析

大数据离线分析

通过计算存储分离减少计算资源浪费；通过存储无感扩容消除预留容量浪费；通过多种协议同时支持减少数据多次复制

  1. 优势

    计算存储分离

    计算资源按需扩容，按需缩容；存储资源无感扩容，无需预留，无需绑定计算存储配比

  2. 多协议互通

    同时支持对象协议、文件协议、大数据HDFS协议，数据注入和读取更加方便、减少无效复制

  3. 高性能

    裸金属服务器配合InfiniBand技术，达到极高吞吐量和极低的时延，保证大数据离线计算超高的性能

  4. 高可靠

    分布式存储跨可用区容灾技术，数据持久度高达12个9，极致数据可靠性

  5. 对应产品

    弹性云服务器 ECS

    裸金属服务器 BMS

    对象存储服务 OBS