数据接入服务功能描述

数据采集 RestAPI、SDK、Agent对接多种数据源，线上线下数据实时采集 支持多种数据源：DIS支持从用户应用系统、kafka系统、Flume系统做实时数据采集 多种数据接入方式：提供RestAPI、SDK、Agent等多种数据接入方式，用户只需简单配置即可实现实时数据采集与传输 数据传输 实时数据高并发、低延时、高可靠传输 DIS提供百万连接并发，单数据流最高支持每日TB级别的数据量写入，每个分区(partition)支持最高每日百GB级别的写入量 每个数据流的吞吐能力可以通过动态增加partition进行扩展 数据流动 提供多种connector，对接云上数据存储、计算、分析等多种服务，实现用户数据自由流动 DIS与华为云上的OBS（ 对象存储服务 ）、MRS（ MapReduce服务 ）、DWS（ 数据仓库 服务）、CloudTable（ 表格存储服务 ）、DLI（ 数据湖探索 ）、CS（ 实时流计算服务 ）、FunctionGraph（ 函数工作流 ）等服务集成，用户通过简单配置即可完成数据转储、计算、分析等功能 数据处理 预置数据抽取、汇聚、格式转换等Connector(处理算子)，对用户输入数据做预处理 DIS预置Connector对接入数据做初步处理，提供CSV/Json到Parquet/CarbonData等格式的转换，提升用户数据质量 数据缓存 实时数据缓存1-3天，保证实时数据消费可靠性