-
IoT分析应用
-
实时数据处理
-
实时文件传输
-
数据接入备份
IoT分析应用
DIS IoT接入组件支持MQTT、CoAP、STOMP、LwM2M等多种IoT协议,可快速采集IoT设备数据,实现IoT数据上行;同时可以接收来自云上其他服务的消息,并转换成IoT协议消息,推送给客户端,实现数据下行。
优势
多协议支持
DIS IoT接入组件已支持MQTT、CoAP、STOMP、LwM2M协议,方便不同系统快速接入,同时支持数据上行下行双向传输
安全可靠
提供多种认证机制,支持TLS传输加密
弹性伸缩
内部分布式架构,支持弹性扩展,快速响应业务变化
实时数据处理
实时收集数据,缓存在通道中,分析平台实时或周期读取通道中的数据分析后将结果应用到业务系统,例如对实时采集城市各交通枢纽的车辆通行数据,基于分析可实现对停车场开放时长和交通资源的调配
优势
永久在线
业务系统随时随地发送数据到DIS
高并发、低延时
支持百万并发消息,端到端时延低至毫秒级
生态完善
支持对接各分析平台,数据传输、计算一站式处理
实时文件传输
实时检测客户应用系统中产生的日志文件,并采集上传到云上,进行离线分析、存储查询及机器学习,可应用于日志分析、用户画像、营销推荐等场景。
优势
自动捕获增量数据
支持自动采集文件中的增量数据或新增文件
简单易用
提供不同平台Agent,简单配置,即可实现数据采集
安全可靠
传输过程使用https加密,保障数据安全传输
数据接入备份
将大量滚动日志文件传输到云端做备份,用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能
优势
多种数据源支持
对接kafka、flume等开源系统,易于集成
数据传输高效
通道入口带宽可调整,传输能力有保障
海量小文件传输
小文件搬迁上云,原文件转储到对象存储
建议搭配使用
对象存储服务 OBS
功能描述
-
IoT数据接入
支持多种IoT协议,快速接入IoT数据
-
数据采集
RestAPI、SDK、Agent对接多种数据源,线上线下数据实时采集
-
数据传输
实时数据高并发、低延时、高可靠传输
支持MQTT、CoAP、STOMP、LwM2M等物联网协议
支持IoT数据双向传输
支持多种数据源
DIS支持从用户应用系统、kafka系统、Flume系统做实时数据采集
- 多种数据接入方式
提供RestAPI、SDK、Agent等多种数据接入方式,用户只需简单配置即可实现实时数据采集与传输
- DIS提供百万连接并发,单数据流最高支持每日TB级别的数据量写入,每个分区(partition)支持最高每日百GB级别的写入量
- 每个数据流的吞吐能力可以通过动态增加partition进行扩展
-
数据流动
提供多种connector,对接云上数据存储、计算、分析等多种服务,实现用户数据自由流动
-
数据处理
预置数据抽取、汇聚、格式转换等Connector(处理算子),对用户输入数据做预处理
-
数据缓存
实时数据缓存1-7天,保证实时数据消费可靠性
- DIS与华为云上的OBS(对象存储服务)、MRS(MapReduce服务)、DWS(数据仓库服务)、CloudTable(表格存储服务)、DLI(数据湖探索)、CS(实时流计算服务)、FunctionGraph(函数工作流)等服务集成,用户通过简单配置即可完成数据转储、计算、分析等功能
- DIS预置Connector对接入数据做初步处理,提供CSV/Json到Parquet/CarbonData等格式的转换,提升用户数据质量