华为云计算 云知识 数据接入服务功能描述
数据接入服务功能描述

数据采集

RestAPI、SDK、Agent对接多种数据源,线上线下数据实时采集

支持多种数据源:DIS支持从用户应用系统、kafka系统、Flume系统做实时数据采集

多种数据接入方式:提供RestAPI、SDK、Agent等多种数据接入方式,用户只需简单配置即可实现实时数据采集与传输

数据传输

实时数据高并发、低延时、高可靠传输

DIS提供百万连接并发,单数据流最高支持每日TB级别的数据量写入,每个分区(partition)支持最高每日百GB级别的写入量

每个数据流的吞吐能力可以通过动态增加partition进行扩展

数据流动

提供多种connector,对接云上数据存储、计算、分析等多种服务,实现用户数据自由流动

DIS与华为云上的OBS(对象存储服务)、MRS(MapReduce服务)、DWS(数据仓库服务)、CloudTable(表格存储服务)、DLI(数据湖探索)、CS(实时流计算服务)、FunctionGraph(函数工作流)等服务集成,用户通过简单配置即可完成数据转储、计算、分析等功能

数据处理

预置数据抽取、汇聚、格式转换等Connector(处理算子),对用户输入数据做预处理

DIS预置Connector对接入数据做初步处理,提供CSV/Json到Parquet/CarbonData等格式的转换,提升用户数据质量

数据缓存

实时数据缓存1-3天,保证实时数据消费可靠性

数据接入服务功能描述

上一篇:路网数字化服务城市道路 下一篇:IoT边缘了解平台
免费体验 90+云产品,快速开启云上之旅