对象存储大数据分析存储应用场景

场景描述

OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景,向用户提供低成本、高性能、不断业务、无须扩容的解决方案。

海量数据存储分析的典型场景:PB级的数据存储,批量数据分析,毫秒级的数据详单查询等

历史数据明细查询的典型场景:流水审计,设备历史能耗分析,轨迹回放,车辆驾驶行为分析,精细化监控等

海量行为日志分析的典型场景:学习习惯分析,运营日志分析,系统操作日志分析查询等

公共事务分析统计的典型场景:犯罪追踪,关联案件查询,交通拥堵分析,景点热度统计等

用户通过DES等迁移服务将海量数据迁移至OBS,再基于华为云提供的MapReduce等大数据服务或开源的Hadoop、Spark等运算框架,对存储在OBS上的海量数据进行大数据分析,最终将分析的结果呈现在ECS中的各类程序或应用上。

建议搭配服务

MapReduce服务 MRS,弹性云服务器 ECS,数据快递服务 DES

图1 大数据分析

对象存储数据备份归档应用场景

场景描述

OBS提供高并发、高可靠、低时延、低成本的海量存储系统,满足各种企业应用、数据库和非结构化数据的备份归档需求。

企业数据中心的各类数据通过使用同步客户端(如OBS Browser+、obsutil)、主流备份软件、云存储网关或数据快递服务DES,备份至华为云对象存储服务OBS。OBS提供生命周期功能实现对象存储类别自动转换,以降低存储成本。在需要时,可将OBS中的数据恢复到云上的灾备主机或测试主机。

同步客户端:适用于单数据库/程序场景,手工备份,成本最低

备份软件:适用于多应用、多主机场景,自动备份,兼容性强

云存储网关:可无缝嵌入本地已有的备份系统

数据快递:适用于海量数据归档场景,离线邮寄上云

建议搭配服务

数据快递服务 DES,弹性云服务器 ECS

图2 备份归档

对象存储支持的大数据平台简介

场景描述

华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。

华为云MapReduce服务(MRS)

华为云MapReduce服务(MRS)是华为云提供的大数据服务,可以在华为云上部署和管理Hadoop系统,一键即可部署Hadoop集群。

MRS提供用户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。

MRS与OBS对接的具体操作,请参见华为云MRS对接OBS

Cloudera CDH

CDH是Cloudera基于Apache Hadoop生态系统构建的大数据分析管理平台发行版。

Cloudera CDH与OBS对接的具体操作,请参见Cloudera CDH对接OBS

Hortonworks HDP

HDP是Hortonworks基于Apache Hadoop生态系统开源组件构建的大数据分析管理平台。

Hortonworks HDP与OBS对接的具体操作,请参见Hortonworks HDP对接OBS