方案技术架构

帮助客户平滑快速迁移上云,并一键式构筑数据接入、数据存储、数据分析和价值挖掘的统一大数据平台

与华为云IOT物联网ROMA平台DGCDLV等服务对接,为客户轻松解决数据通道上云、大数据作业开发调度和数据展现的困难

场景特点

  • 存算分离,弹性伸缩,大大降低使用成本

  • 优化集群部署架构,提高资源利用率,减少资源竞争

  • 集群高可用、高可靠

  • 集群可视化管理、统一运维

方案优势

  • 自研优化,性能更优

    •自研CarbonData万亿数据秒级响应。

    •自研Superior,突破10000节点调度瓶颈。

  • 鲲鹏+存算分离方案,超高性价比

    •支持自研鲲鹏服务器,结合自研操作系统、Huawei JDK,打造软硬件一体国产化。

    •主推存算分离方案,超高性价比。

  • 企业级平台,支持滚动补丁升级能力

    •运维平台可视化运维平台,状态实时监控、告警短信提醒。

    •补丁主动推送,一键式安装,业务不中断。

MapReduce服务与自建Hadoop集群对比

活动规则

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动时间: 2020年8月12日-2020年9月11日

活动期间,华为云用户通过活动页面购买云服务,或使用上云礼包优惠券在华为云官网新购云服务,累计新购实付付费金额达到一定额度,可兑换相应的实物礼品。活动优惠券可在本活动页面中“上云礼包”等方式获取,在华为云官网直接购买(未使用年中云钜惠活动优惠券)或参与其他活动的订单付费金额不计入统计范围内;

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动时间: 2020年8月12日-2020年9月11日

活动期间,华为云用户通过活动页面购买云服务,或使用上云礼包优惠券在华为云官网新购云服务,累计新购实付付费金额达到一定额度,可兑换相应的实物礼品。活动优惠券可在本活动页面中“上云礼包”等方式获取,在华为云官网直接购买(未使用年中云钜惠活动优惠券)或参与其他活动的订单付费金额不计入统计范围内;

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动时间: 2020年8月12日-2020年9月11日

活动期间,华为云用户通过活动页面购买云服务,或使用上云礼包优惠券在华为云官网新购云服务,累计新购实付付费金额达到一定额度,可兑换相应的实物礼品。活动优惠券可在本活动页面中“上云礼包”等方式获取,在华为云官网直接购买(未使用年中云钜惠活动优惠券)或参与其他活动的订单付费金额不计入统计范围内;

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

对比维度

自建Hadoop集群

成本

支持鲲鹏+自动弹性伸缩,大大降低成本

已包含商用大数据产品价格及操作系统技术支持费用,无需额外购买

无法弹性,资源利用率低,成本高

购买商业发行版操作系统及大数据产品License价格高昂

维护

提供I层基础设施自动化整合能力,自动做性能调优,性能更好

一键式快速创建大数据集群

支持滚动补丁和版本升级能力,提供专业的运维保障技术支撑

无法快速整合Iaas层资源,需要手动调参优化

手动安装大数据集群,效率低,易出错

无运维支撑保障服务,不支持补丁更新或版本升级

灵活

支持按照业务负载和时间策略自动弹性伸缩,快速应对业务增长高峰

支持灵活调整节点与磁盘规格,支持灵活创建临时集群,作业运行完自动销毁

业务量暴涨或回落时,不能及时扩容或收缩资源

不支持节点规格灵活升级,不支持临时创建集群自动销毁

专业

具备云厂商提供的多年金融、电信、交通等大数据领域的商用特性,支持集群>20000节点规模

具备云厂商强大的Hadoop内核技术团队(PMC&Commiters)的技术支撑

开源版大数据集群水平扩展能力有限制,不适合大规模生产部署

使用开源社区大数据产品免费版,未经过大规模商用验证,无专业团队技术支持

生态

天然集成其他大数据基础服务,如数据接入、数据迁移、数据工厂等生态服务,更容易结合AI智能应用让数据快速变现,构筑云上大数据企业智能生态

自建系统比较封闭,无法快速的利用周边云生态服务能力

安全

拥有企业级的大数据多租户权限管理能力

拥有企业级的大数据安全管理特性,支持按照表/按列控制访问权限,支持数据按照表/按列加密

不具备企业级的多租户权限管理能力

开源大数据集群不具备完善的审计日志

缺少业界安全工具扫描报告

可靠

经过大规模的可靠性、长稳验证,满足企业级高可靠要求

支持数据跨AZ/跨Region自动备份的数据容灾能力

自动反亲和技术,虚拟机分布在不同物理机上

仅通过基本功能测试,无长稳、可靠性、大规模集群等商用场景测试

业务双活、容灾设备投入大,且不能两地三中心容灾

成本

支持鲲鹏+自动弹性伸缩,大大降低成本

已包含商用大数据产品价格及操作系统技术支持费用,无需额外购买

自建Hadoop集群

无法弹性,资源利用率低,成本高

购买商业发行版操作系统及大数据产品License价格高昂

维护

提供I层基础设施自动化整合能力,自动做性能调优,性能更好

一键式快速创建大数据集群

支持滚动补丁和版本升级能力,提供专业的运维保障技术支撑

自建Hadoop集群

无法快速整合Iaas层资源,需要手动调参优化

手动安装大数据集群,效率低,易出错

无运维支撑保障服务,不支持补丁更新或版本升级

灵活

支持按照业务负载和时间策略自动弹性伸缩,快速应对业务增长高峰

支持灵活调整节点与磁盘规格,支持灵活创建临时集群,作业运行完自动销毁

自建Hadoop集群

业务量暴涨或回落时,不能及时扩容或收缩资源

不支持节点规格灵活升级,不支持临时创建集群自动销毁

专业

具备云厂商提供的多年金融、电信、交通等大数据领域的商用特性,支持集群>20000节点规模

具备云厂商强大的Hadoop内核技术团队(PMC&Commiters)的技术支撑

自建Hadoop集群

开源版大数据集群水平扩展能力有限制,不适合大规模生产部署

使用开源社区大数据产品免费版,未经过大规模商用验证,无专业团队技术支持

生态

天然集成其他大数据基础服务,如数据接入、数据迁移、数据工厂等生态服务,更容易结合AI智能应用让数据快速变现,构筑云上大数据企业智能生态

自建Hadoop集群

自建系统比较封闭,无法快速的利用周边云生态服务能力

安全

拥有企业级的大数据多租户权限管理能力

拥有企业级的大数据安全管理特性,支持按照表/按列控制访问权限,支持数据按照表/按列加密

自建Hadoop集群

不具备企业级的多租户权限管理能力

开源大数据集群不具备完善的审计日志

缺少业界安全工具扫描报告

可靠

经过大规模的可靠性、长稳验证,满足企业级高可靠要求

支持数据跨AZ/跨Region自动备份的数据容灾能力

自动反亲和技术,虚拟机分布在不同物理机上

自建Hadoop集群

仅通过基本功能测试,无长稳、可靠性、大规模集群等商用场景测试

业务双活、容灾设备投入大,且不能两地三中心容灾

迁移服务流程

  • 收起 展开
    需求调研 收起 展开

    我们需要贵公司反馈当前大数据业务架构设计、数据流向、集群配置等信息

    另外若有特殊的迁移诉求、业务痛点,可提供针对性的解决方案

  • 收起 展开
    定制化迁移方案设计 收起 展开

    根据您的业务特点、大数据架构、迁移诉求提供个性化定制方案

  • 收起 展开
    迁移实施 收起 展开

    根据定制迁移方案开展迁移工作,包含:环境搭建、数据迁移、作业迁移、性能测试等

  • 收起 展开
    割接上线 收起 展开

    完成业务对接、校验后割接上线,割接期间提供全程重保,保障业务平稳迁移

1对1咨询华为云专家,了解适合自己的大数据迁移方案

立即咨询