华为云计算 云知识 一文读懂华为云IoT数据分析服务
  • 【限时秒杀专区】 每天上午9点限量开抢,优惠仅限1单,抢完即止!
    • 2核4G 2M云服务器 买1月送1年

    • HECS云服务器1核2G

    • 2核/4核 高性能云服务器

    2核4G 2M云服务器 买1月送1年

    买即赠送一台1年同规格云服务器,已购买,立即领取

    买即赠送一台1年同规格云服务器,已购买,立即领取

    限时秒杀

    HECS云服务器1核2G

    轻量负载场景优选,应用一键部署,提供便捷上云体验

    轻量负载场景优选,应用一键部署,提供便捷上云体验

    热销

    2核/4核 高性能云服务器

    场景化选购,搭配一站式配置指导,简便运维,让您更聚焦业务

    场景化选购,搭配一站式配置指导,简便运维,让您更聚焦业务

    一文读懂华为云IoT数据分析服务

    华为云针对物联网领域业务提供了一系列专业的云服务,如设备接入、IoT数据分析服务等;其中IoT数据分析服务是专为IoT数据分析业务场景特征做了深度优化的云服务,基于物联网资产模型、整合物联网数据集成、清洗、存储、分析、可视化等能力,为开发者提供一站式的IoT数据分析能力,降低开发门槛,缩短开发周期,快速实现物联网数据价值变现。那么为什么要进行数据分析如下图所示。

    大量的数据需要数据分析

    物联网数据的特点

    如何做好IoT数据分析

    资产模型

    资产模型是IoT数据分析服务充分理解物联网数据的基础。构建资产模型,就是构建物与物,物与空间,物与人等复杂关系,将物联网数据置于模型的上下文中去理解。资产模型就是物理世界的资产在数字世界中的映射,两边的数据准实时同步,实现数字孪生。IoT数据分析服务基于资产模型抽象,将不同的设备上报数据统一为业务可理解的数据格式。如下图所示。

    物联网数据处理的关键是对时序数据的处理写入功能:怎样满足海量设备高并发,实时写入的要求?

    压缩比例:某些物联网设备可能产生巨量数据,最大限度的压缩是减少成本的直接手段。

    查询效率:面对长时间积累的物联网数据,如何满足高性能查询,特别是经常做时间维度的聚合查询。

     

    按数据时效性分层处理,获得综合处理效率最大化

    高效的数据清洗,为数据分析输入高质量的数据

    相比将设备数据转发至通用数据分析服务进行分析的方案,IoT数据分析服务是专为物联网场景设计的。

    IoT数据分析服务支持设备接入管理服务和多种第三方服务作为数据源,将数据集成、归档、存储后进行分析,分析引擎基于资产模型理解数据,支持实时分析、时序分析和离线分析。此外,针对行业用户,IoT数据分析后还提供了行业分析套件,包括智慧物流行业、新能源车分析行业等。分析后的数据,可以协同AI平台利用,也可以开发给第三方应用或华为云其他服务。数据分析的架构如下图所示。

    离线分析

    帮助物联网数据开发者快速构建物联网数据湖,开发者可通过标准SQL开发IoT数据分析任务,并轻松处理TB-EB级别物联网大数据

    数据湖:提供成本低廉的海量数据存储能力,与物联网设备接入服务无缝对接,快速接入物联网数据源,并基于物联网资产模型,对物联网数据进行预处理,为数据分析做好准备

    大数据分析:使用大数据高可用,可水平扩展框架,基于内存计算模型,DAG调度框架、高效的优化器,综合性能是传统MapReduce模型的百倍以上,帮助开发者轻松完成物联网数据批分析

    标准SQL作业:提供标准的SQL接口,物联网数据开发者无需关心SQL处理引擎的部署和运维,只需聚焦物联网业务,开发分析作业,并支持丰富的作业调度策略配置。如下图所示。

    实时分析

    基于物联网大数据流计算引擎,提供物联网实时分析能力。为了降低开发者开发物联网流分析作业门槛,IoT数据分析服务提供图形化流编排能力,开发者可以通过拖拽方式快速开发上线。

    图形化流编排能力:可视化流编排IDE,无需写SQL,通过简单拖拽完成物联网流分析作业定义

    物联网流编排算子:基于典型物联网应用场景,封装常用算子,比如数据接入,数据过滤,数据转换等等。如下图所示。

    时序分析

    物联网的数据具备时间序列特性,如下图所示。

    专为物联网时序数据处理优化的服务,包括高压缩比的时序数据存储,高效的时序查询效率,海量时间线能力;

    海量接入:海量时间线能力,最大可达亿级。

    时序存储:列式存储及专用压缩算法,高压缩率。

    高效查询:基于时间多维度聚合,近实时分析查询。

    数据可视化:提供时序洞察工具,方便物联网数据分析师进行时序数据探索。

     

    上一篇:如何成为一个合格的堡垒机系统管理员 下一篇:什么情况下需要视频点播加速?视频点播加速有哪些优势?