数据分析是什么

数据分析名词列表

名词
描述

租户

IoT数据分析服务支持多个组织、部门或应用共享使用资源。通过提供一个逻辑实体来统一使用不同资源和服务,这个逻辑实体就是租户。多个不同的租户统称多租户。租户对应公司。一个租户可以创建多个子用户,并可以对不同用户授予不同权限。

项目

各个服务中的一些可以访问的资源集合称为项目。一个账号可以在一个区域下创建多个项目,并基于项目进行授权。不同项目下的资源相互隔离。项目可以是一个部门或者一个项目组。

计算资源

计算资源是使用数据分析服务的基础作业、数据管道和实时分析作业等都需要使用计算资源。

存储资源

存储资源包括内部存储与外部存储,服务内部存储的资源用于存储用户数据,外部存储,比如OBS对象存储,RDS服务,可用于数据跨源分析,待分析数据从外部导入使用。

资产模型

在物联网中,资产是指所有可被管理的事物。物理上,一个资产可以对应一个物理设备(如机床),也可以对应一组设备或对象(如生产线、车间)。

属性

属性是资产模型核心组成要素之一,属性是指物理世界事物的状态数据,属性有3种类型,包括静态配置、测量数据和分析任务。

静态配置类属性:是指一旦配置后就不变化或者变化不频繁的数据,如设备SN号等;

测量数据类属性:是指由传感器、仪器仪表等设备测量所得的数据,如温度、湿度、电流、电压等;

分析任务类属性:是指由IoT数据分析服务中用户所配置的分析任务所计算得到的数据,如求平均分析任务计算得到平均温度等。

分析任务

分析任务是资产模型核心组成要素之一,分析任务是指对属性数据进行计算分析的任务,分析任务类型有3种,包括转换计算、聚合计算、流计算。

转换计算类分析任务是指,当参数所引用的属性值发生变化时,对单个或多个属性值进行常规数学表达式计算,表达式中不能使用时间聚合公式,

例子:(a+b)/2;

聚合计算类分析任务是指,对资产的属性值进行周期性的时间聚合计算或空间聚合计算,表达式中可以使用时间聚合算子,其中空间聚合计算是指多个资产属性时间聚合计算子表达式再进行联合预算(此时各属性时间聚合计算的时间范围和周期相同),如下例子所示

例子:StateTime(machineState, 100) + StateTime(machineState, 101),时间范围: 15min, 周期: 15min;

流计算类分析任务是指,以资产模型中的属性作为输入、调用IoT数据分析服务的实时分析作业进行计算、输出结果返回到资产模型的属性值,数据流示意图如下

资产

资产是指物理世界中需要被管理的、具有唯一标识的事物或业务对象,如一个资产可以对应一个物理设备(如机床),也可以对应一组设备或对象(如生产线、车间)。在资产建模时,必须利用资产模型来创建资产,资产中的属性、分析任务均与其所属资产模型保持一致。

节点

资产及资产下的属性都是节点,节点概念主要是为了统计用户已发布的资产、属性的数量规模。

华为云数据分析产品优势

  • 物联网资产模型感知

    华为云物联网数据分析服务是以物联网资产模型为中心的分析服务。不同于公有云上的通用型大数据相关产品,物联网数据分析服务与资产模型深度整合,在相关数据分析作业的定义中,开发者可以方便引用物联网的模型数据,大大提升数据分析的效率

    华为云物联网数据分析服务是以物联网资产模型为中心的分析服务。不同于公有云上的通用型大数据相关产品,物联网数据分析服务与资产模型深度整合,在相关数据分析作业的定义中,开发者可以方便引用物联网的模型数据,大大提升数据分析的效率

  • 一站式开发体验

    大数据开发技术门槛较高,而华为云物联网数据分析服务整合了大数据分析领域的最佳实践,为开发者打造一站式数据开发体验,并且跟华为云物联网相关服务(比如设备接入)无缝对接,降低开发者开发难度,提升开发效率

    大数据开发技术门槛较高,而华为云物联网数据分析服务整合了大数据分析领域的最佳实践,为开发者打造一站式数据开发体验,并且跟华为云物联网相关服务(比如设备接入)无缝对接,降低开发者开发难度,提升开发效率

  • 针对物联网时序数据优化

    针对物联网数据具备的显著时序特征,华为云数据分析服务在数据存储及数据分析上做了大量的优化。比如海量时间线能力,单实例支持10万线,数据存储压缩比20:1,以及多种时间维度的聚合计算能力

    针对物联网数据具备的显著时序特征,华为云数据分析服务在数据存储及数据分析上做了大量的优化。比如海量时间线能力,单实例支持10万线,数据存储压缩比20:1,以及多种时间维度的聚合计算能力

华为云数据分析应用场景

物联网设备运营分析

物联网设备运营分析:

  • 业务挑战

    物联网设备运营是一个广泛应用的场景,企业有大量联网的智能设备,设备会持续产生数据。作为设备的运营方,企业需要具备多种维度的统计分析能力,真实掌握设备运营数据,比如设备增长趋势统计,设备激活趋势统计,设备活跃时间段分布,设备告警统计等等

  • 解决方案

    华为云物联网数据分析服务已与物联网接入服务无缝集成,设备一旦通过接入服务接入华为云,并授权数据分析服务访问数据,即可获得常见设备运营分析相关的数据集,无需数据开发人员进行开发。因此通过物联网数据分析服务,可以使得物联网设备运营相关的数据开发周期从数周缩短至几分钟

企业OT数据治理

企业OT数据治理:

  • 业务挑战

    一个制造型企业在数字化转型过程中会产生大量的OT域数据,但缺乏治理的OT数据使用门槛较高,对企业的价值有限。比如,OT数据往往数据质量较差,需要进行数据清洗;OT数据量可能非常大,存储的成本高,数据挖掘的代价较大;OT数据时效性敏感,随着时间的推移其价值迅速降低

  • 解决方案

    华为云数据分析服务提供一站式针对物联网/OT数据的开发平台。数据分析服务提供数据管道以及针对物联网数据典型质量问题的各种清洗算子,简单拖拽即可完成对原始数据的清洗。物联网数据分析服务提供的资产建模能力,将帮助用户实现对企业的各种物理资产的建模,规范数据格式和交互的语义接口;物联网数据分析内置高性能流计算引擎,满足毫秒级实时处理性能要求

智能交通下的数据分析

智能交通下的数据分析:

  • 业务挑战

    智能交通场景下,往往涉及到结合道路模型进行时空融合分析的场景。如何在复杂的空间维度上叠加各种智能分析,挑战非常大

  • 解决方案

    通过使用华为云物联网数据分析服务,可以帮助快速构建可计算的道路模型,形成道路孪生体,再结合物联网数据分析服务的时空数据处理能力,实现各种时空维度上的计算功能

数据分析的过程包括哪些阶段

数据分析的过程包括哪些阶段

产品框架

产品框架

活动规则

活动对象:华为云电销客户及渠道伙伴客户可参与消费满送活动,其他客户参与前请咨询客户经理

活动时间: 2020年8月12日-2020年9月11日

华为云数据分析相关文档

  • 服务控制台总览

    数据分析服务控制台总览页为您提供数据分析流程介绍以及业务资源使用情况总览。可以通过资产模型使用量、数据存储量和计算单元使用量,监控当前业务资源的使用情况。

    数据分析服务控制台总览页为您提供数据分析流程介绍以及业务资源使用情况总览。可以通过资产模型使用量、数据存储量和计算单元使用量,监控当前业务资源的使用情况。

  • 数据源配置

    IoTDA数据源:在画布上选中“IoT设备接入数据源”算子,在右侧配置面板处,可修改算子名称、选择数据源、填写事件时间字段路径、时间格式。

    IoTDA数据源:在画布上选中“IoT设备接入数据源”算子,在右侧配置面板处,可修改算子名称、选择数据源、填写事件时间字段路径、时间格式。

  • 调试数据管道操作指导

    使用测试功能主要包含启动测试任务,上报数据,查看测试结果,停止测试任务。其中上报数据,查看测试结果可重复执行,不必反复启停任务。

    使用测试功能主要包含启动测试任务,上报数据,查看测试结果,停止测试任务。其中上报数据,查看测试结果可重复执行,不必反复启停任务。

  • 资产建模基本概念介绍

    为了构建物联网领域业务对象的数字孪生模型,IoT数据分析服务参考软件工程中面向对象的思想提供了“资产建模”能力,其中核心概念包括资产模型和资产,下面将对此概念进行介绍。

    为了构建物联网领域业务对象的数字孪生模型,IoT数据分析服务参考软件工程中面向对象的思想提供了“资产建模”能力,其中核心概念包括资产模型和资产,下面将对此概念进行介绍。

  • 使用IoTA实现电子工厂SMT产线OEE分析实践

    本实践以某电子工厂SMT产线为例,介绍使用IoT数据分析服务实现对SMT产线各设备OEE分析和关键指标监控的总体流程。

    本实践以某电子工厂SMT产线为例,介绍使用IoT数据分析服务实现对SMT产线各设备OEE分析和关键指标监控的总体流程。

  • 创建管道作业接入IoTDA数据

    用户通过构建管道作业实现对设备数据进行清洗,规整,去重,增加外部业务属性信息等一系列处理,为下一步基于资产模型分析设备属性数据做好准备,本案例中管道作业为计算设备OEE相关指标准备好基础数据。

    用户通过构建管道作业实现对设备数据进行清洗,规整,去重,增加外部业务属性信息等一系列处理,为下一步基于资产模型分析设备属性数据做好准备,本案例中管道作业为计算设备OEE相关指标准备好基础数据。

  • 创建SMT产线和设备资产

    在完成SMT产线和设备模型构建后,用户可通过该模型,实例化创建对应的资产,包括工厂,产线,设备资产,发布资产后,结合前端管道作业输出的设备数据,可实时监控资产的运行状态。

    在完成SMT产线和设备模型构建后,用户可通过该模型,实例化创建对应的资产,包括工厂,产线,设备资产,发布资产后,结合前端管道作业输出的设备数据,可实时监控资产的运行状态。

  • 第三方应用实时呈现数据分析结果

    IoTA当前提供标准API对外开放数据,包括设备原始数据,资产快照和历史数据,第三方应用通过API实时获取SMT产线的各项分析结果,包括设备OEE,设备状态、设备关键属性、数据异常告警,设备属性历史数据等进行实时呈现。

    IoTA当前提供标准API对外开放数据,包括设备原始数据,资产快照和历史数据,第三方应用通过API实时获取SMT产线的各项分析结果,包括设备OEE,设备状态、设备关键属性、数据异常告警,设备属性历史数据等进行实时呈现。

  • 使用资产模型实时计算产线和设备OEE

    在完成SMT产线和设备模型及资产构建并发布后运行,系统自动根据模型结合资产数据计算引擎,根据设备上报的数据对SMT产线和设备OEE进行实时计算,通过Console的资产监控页面可对设备状态等进行实时监控。

    在完成SMT产线和设备模型及资产构建并发布后运行,系统自动根据模型结合资产数据计算引擎,根据设备上报的数据对SMT产线和设备OEE进行实时计算,通过Console的资产监控页面可对设备状态等进行实时监控。