华为云计算 云知识 以数字资产模型为核心驱动的一站式IoT数据分析实践
以数字资产模型为核心驱动的一站式IoT数据分析实践

IoT数据分析面临的问题与挑战

随着物联网设备接入数量的快速增长,IoT数据量也急速增长,快捷有效的数据分析的价值越来越重要。然而,当前IoT数据分析面临着诸多关键挑战,贯穿着数据分析的整个过程:

  • 数据接入阶段:数据质量参差不齐、且面临多种异构数据源接入

  • 数据准备阶段:缺少统一数据模型,需要进行大量的数据抽取、转换等处理

  • 数据存储阶段:海量数据查询效率低下,数据多份存储、 数据管理 成本高昂

  • 数据分析阶段:不同类型数据分析数据源不同,形成数据孤岛、存在大量数据搬迁;并且数据分析门槛高,缺少简单易用的数据分析工具

  • 数据可视化 阶段:缺少交互式查询能力、缺少基于时间维度的洞察分析能力                          

华为云IoT数据分析开放架构介绍

基于以上IoT数据分析面临的挑战,华为推出以资产模型为核心驱动的一站式IoT数据分析服务:基于物联网资产模型,整合大数据分析领域的最佳实践,以及IoT 数据集 成、清洗、存储、分析、可视化,为开发者打造一站式数据开发体验,并且跟华为云物联网相关云服务(比如设备接入)无缝对接,降低开发门槛,缩短开发周期,快速实现物联网数据价值变现。

下面我们将从资产建模、高效存储、时序分析三个方面进行展开介绍:

资产模型

构建资产模型是充分“理解”物联网数据的基础。现实世界的设备不是离散的,而是具有空间、组织、人等复杂关系与上下文存在的。如何打通物理世界与数字世界的关联,如何更好的理解设备从而快捷高效地分析数据,成为物联网企业急需的基础业务。

不同于通用型大数据分析相关产品,华为云IoT数据分析服务与资产模型深度整合,以DigitalTwins资产模型为中心驱动数据分析,开发者可以直接使用统一的物联网模型数据,大大提升数据分析的效率。通过构建物与物,物与空间,物与人等复杂关系,将物联网数据置于模型的“上下文”中去理解;通过“IoT+资产模型”,在数字世界中构建与物理世界准实时同步的数字孪生;基于模型抽象,为数据分析提供面向业务的接口封装。下图举例,将一栋楼映射成数字孪生,通过资产模型创建了大楼内部的组成关系。

在建模过程中,IoT数据分析服务提供图形化可拖拽方式的开发环境,简化复杂资产模型的开发过程,对于相同的资产可以采用模板方式批量创建。支持UDF(用户自定义函数)能力,用户在创建虚测点过程中可使用比如四则运算,科学计数法,三角函数,滑窗,流计算等函数。

高效存储

数据量大且具有时效性是物联网数据的典型特点,随着时间推移数据价值会逐渐降低。在不同场景下,数据处理时效性的要求也不同。比如:车联网行业的地理围栏、工业领域的生产线异常检测、园区火警告警等,都需要时效性,数据需实时处理,一般都在毫秒级别。而对于报表、统计类等分析,是对较长时间段的数据进行分析,对时间要求不高,一般是分钟级别。

华为云IoT数据分析服务针对不同场景下的数据特点采用不同的存储策略,提供温冷数据分层存储,在满足数据处理要求的同时,降低存储成本。

同时,针对物联网数据具备的显著时序特征,华为云IoT数据分析服务在数据存储及数据分析上做了大量的优化,提供高性能、高压缩比的时序数据处理。比如按时间线做Hash Partition,所有Shard节点并行写入,单实例支持超10万时间线,最大亿级时间线;通过采用列式存储布局,不同数据类型(如时间类型,浮点型)采用不同压缩算法,相比开源OpenTSDB压缩率提升10倍,获得极致压缩率;支持多维倒排索引、向量化查询等,相对开源OpenTSDB查询效率提升10倍以上。

时序分析

物联网数据具备的显著时序特征:按照时间维度上报、存储、查询数据。基于物联网数据的这些特征,华为云IoT数据分析服务提供时序数据洞察工具explorer,提供了开箱即用的时序洞察能力,无需任何开发。

  • 基于统一的资产模型进行洞察探索,无需编码或数据准备,提升洞察效率;

  • 基于高效的时序存储,可在海量历史数据中秒级快速交互分析查询,可基于任意资产、任意时间点 做准实时的探索查询;

  • 基于资产模型环境上下文可视化效果,可通过丰富图表呈现,快速洞察时序数据特征。

物联网数据分析服务还提供基于算子的开发实时分析作业系统:

  • 预置IoT行业实时处理的算子,行业人员通过连接算子来编排出实时作业处理流程,无需专业算法知识;

典型应用场景

为了让大家更好地理解和熟悉华为云IoT数据分析服务开发流程,周仕鹏老师在直播间演示了如下两个物联网数据分析典型应用场景:

智慧楼宇分析系统

在实际应用开发中,由于每个楼宇、楼层的设备为离散的物理设备,如果需要按照楼宇、楼层等为单位进行统计并管理设备,就需要对楼宇、设备之间的关系进行标注关联,并且后续的数据分析阶段还需要重新理解实际设备以及关联关系,开发效率低。

通过华为云IoT数据分析服务可以对楼宇进行快速资产建模,并基于统一模型做设备管理、实时分析、时序分析,降低开发门槛,提升数据分析开发效率。

智慧仓储中的实时分析

华为云IoT数据分析服务的资产建模能力,可帮助行业开发者快速构建资产模型并便捷管理。在仓库的进出库管理中,基于数据分析服务的实时分析,结合AI推理计算,对异常RFID数据流进行识别检测,可实现秒级判断出货物在进出库过程中的进出方向,继而可自动与货单进行校对,实时告知仓库管理人员进出货物的情况。

 

上一篇:修改终端节点的路由表UpdateEndpointRoutetable 下一篇:六大业务场景,华为云CDN为行业智能“加速度”

【华为云】企业上云最佳实践

华为云最佳实践,是基于华为云众多客户上云的成功案例提炼而成的典型场景实践指导,可以帮助您轻松搭配多个云服务完成业务上云。最佳实践覆盖13个热门分类,180+典型场景案例,每个最佳实践包括使用场景、多个云服务部署架构及操作指导,手把手教您轻松上云。           

立即体验            
 
相关搜索推荐:              自助建站最佳实践            多种场景和多种AI引擎的ModelArts样例实践            搬迁本地数据至OBS