设备接入 IOTDA-数据转发流程:概述

时间:2024-06-03 09:36:15

概述

数据转发功能用于提供IoTDA与其他第三方以及华为云服务的连接通道,从而实现将设备数据平滑流转至消息中间件、存储、数据分析、业务应用。各转发方式在各规格的支持情况,详见产品规格说明中 基础版、标准版与企业版实例功能差异。当前物联网平台支持如下转发方式:

表1 数据转发概述

分类

转发目标

说明

操作指导

第三方服务

第三方应用服务(HTTP推送)

将数据转发至客户的HTTP服务器,客户可以在数据转发界面创建流转规则,并指定推送的URL,将订阅的数据源信息推送到指定URL的服务器。

使用HTTP/HTTPS转发

AMQP推送消息队列

客户可以通过数据转发界面,订阅指定的AMQP通道,将订阅的数据源信息推送到指定AMQP通道,用户可通过AMQP的客户端与IoT平台建立链接,接收数据。

使用AMQP转发

MQTT推送消息队列

客户可以通过数据转发界面,订阅指定的MQTT Topic,将订阅的数据源信息推送到指定MQTT Topic,用户可通过Mqtt的客户端与IoT平台建立链接,接收数据。

使用MQTT转发

设备间通信

物联网平台支持基于MQTT协议实现设备间的消息通信,客户可以通过数据转发界面,订阅指定的Topic,平台会将设备上报的消息推送到指定的Topic,其他设备可以通过订阅该Topic来接收不同设备的消息。

设备间通信

数据分析

数据接入服务 DIS

将数据流转到华为云DIS云服务。目前DIS支持数据转存储至对象存储服务 OBSMapReduce服务 MRS数据湖探索 DLI数据仓库服务 DWS、表格存储服务 CloudTable。具体DIS支持的转存储任务已实际购买的实例为准。

应用场景:数据接入服务主要解决云服务外的数据实时传输到云服务内的问题。

规格参考:通道规格理论1个分区1M/秒接入,2M/秒读取。

数据转发至DIS

分布式消息服务Kafka版

将数据流转到华为云DMS Kafka云服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点。

应用场景:在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。

规格参考:Kafka实例规格

数据转发至Kafka存储

应用与数据集成平台ROMAConnect

将数据流转到华为云ROMA Connect, 可以实现无缝联接应用、消息、数据、API、设备,帮助企业快速、简单的打通并管理遗留系统与云原生应用,ROMA Connect是一个全栈式的应用与数据集成平台,源自华为数字化转型集成实践,聚焦应用和数据连接,适配多种企业常见的使用场景。

规格参考:ROMA实例规格

-

分布式消息服务RocketMQ版

将数据流转到华为云RocketMQ云服务,兼容开源RocketMQ客户端。提供顺序、延迟、定时、重投、死信、事务消息等功能。提供消息追踪、消息溯源、链路诊断、死信导出、监控告警等能力,帮助您全方面的了解服务状况,保证业务正常运行。

应用场景:适用于电商、金融等多样的业务场景。

规格参考:RocketMQ实例规格

数据转发至RokcetMQ

云日志服务 LTS

将数据流转到华为云LTS云服务,实现一站式日志采集、秒级搜索、海量存储、结构化处理、转储和可视化图表等功能。

应用场景:适用于应用运维、网络日志可视化分析、等保合规和运营分析等应用场景。

规格参考:日志流规格

查看运行日志

函数工作流 FunctionGraph

将数据流转到华为云FunctionGraph云服务,客户只需要在FunctionGraph中编写业务函数代码并设置运行的条件,无需配置和管理服务器等基础设施,函数以弹性、免运维、高可靠的方式运行。此外,按函数实际执行资源计费,不执行不产生费用。

数据转发转发至FunctionGraph函数工作流

MapReduce服务 MRS

将数据转发到华为云MRS Kafka云服务,它的Kafka集群是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,Mysql性能规格但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。

-

区块链服务 BCS

将数据转发到华为云BCS云服务,作为面向企业及开发者提供的区块链技术服务平台,可以帮助客户快速部署、管理、维护区块链网络,降低客户使用区块链的门槛,让客户可以更专注于自身业务的开发与创新,实现业务快速上链。

规格参考:BCS产品规格

数据转发至BCS可信上链

数据存储

云数据库 GeminiDB Influx

将数据流转到华为云GeminiDB Influx,兼容InfluxDB生态的云原生时序数据库。提供高性能读写、高压缩率、冷热分层存储以及弹性扩容、监控告警等服务能力,可以实现大并发的时序数据读写,压缩存储和类SQL查询等功能,支持多维聚合计算和数据可视化分析能力。

应用场景:广泛应用于资源监控、业务监控分析、物联网设备实时监控、工业生产监控、生产质量评估和故障回溯等。提供了高吞吐量和并发性,可以通过快速的响应时间来支持大量的连接,非常适合要求苛刻的物联网应用。

规格参考:InfluxDB规格

数据转发至GeminiDB Influx

云数据库 RDS for MySQL

将数据流转到华为云RDS MySQL,相比自建数据库,RDS价格便宜、 即开即用,便捷运维,支持弹性伸缩并具备实例管理、实例监控、备份恢复、日志管理、参数管理等功能,支持单机和主备部署。

应用场景:网站业务、移动应用、游戏业务、电商业务、金融业务以及企业应用等。

规格参考:Mysql性能规格

数据转发至MySQL

对象存储服务 OBS

将数据流转至华为云OBS云服务,OBS为客户提供海量、安全、高可靠、低成本的数据存储能力,使用时无需考虑容量限制,并且提供多种存储类型供选择,满足客户各类业务场景诉求,OBS也支持对接实时计算CS云服务,实时分析数据流,分析结果对接到其他云服务或者第三方应用进行数据可视化等。

应用场景:适用于海量大数据存储分析的场景。

规格参考:OBS存储规格

数据转发至OBS长期存储

文档数据库服务DDS功能

将数据流转至华为云文档数据库服务DDS,DDS完全兼容MongoDB协议,具备安全审计,多账号管理,时间点备份恢复能力,支持集群和副本集部署架构。10倍备份恢复能力,分钟级横向扩容,轻松承载海量数据的高并发写入。

应用场景:游戏业务,物联网业务,电商、考勤系统等有典型高并发场景,对数据库性能要求较高。

规格参考:DDS性能规格

数据转发至MongoDB存储

通过公网进行数据转发流量限制不超过1M/s,超过后消息会直接丢弃。如果要使用更大的流量进行数据转发,推荐使用企业版,企业版支持私网进行数据转发,无此限制。

support.huaweicloud.com/usermanual-iothub/iot_01_0024.html