数据接入服务 DIS

Data Ingestion Service是华为云提供的实时数据接入服务。它提供了灵活数据采集、高效数据传输、实时数据分发能力,让您可以轻松构建基于实时数据的分析和应用

按需付费,费用低至 ¥0.10/小时起

了解详情
产品优势
  • 高效传输

    实时收集各种数据。支持百万并发连接,数据请求毫秒级响应。单分区支持最高每日百GB级别的写入量。轻松实现传输通道规格扩容

  • 简单易用

    服务秒级开通。用户配置SDK/Agent实现免编程数据采集,实现用户数据轻松在服务间流动。快速实现数据采集、传输、存储和处理

  • 安全可靠

    HTTPS加密传输。租户间资源及操作隔离,实现租户访问权限控制,保护系统和用户的隐私及数据安全。数据跨AZ存储,服务可用性99.9%

  • 无忧运维

    具有完备的运维体系,托管运维,用户只需要聚焦数据价值。相比用户自建数据采集/传输系统(kafka/flume等),成本降低5倍

应用场景
  • 实时数据处理

  • 实时文件传输

  • 数据接入备份

  • IOT分析应用

实时数据处理

简介

实时收集城市各交通枢纽的车辆通行数据,缓存在通道中,分析平台周期读取通道中的数据分析后将结果应用到调度系统,实现对停车场开放时长和交通资源的调配

优势

永久在线

业务系统随时随地发送数据到DIS

高并发、低延时

海量系统百万并发。毫秒级响应

生态完善

支持对接各分析平台,数据传输、计算一站式处理

实时文件传输

简介

实时检测批发商应用系统中产生的文件,并采集上传到云上,进行离线分析、存储查询及机器学习,对客户进行分类和信息查询,识别出大型客户,加强服务,进一步提升客户满意度

优势

多种数据源对接

跨平台数据采集,采集端可集成于不同的业务系统

简单易用

提供不同平台Agent,简单配置,即可实现数据采集

安全可靠

传输过程使用https加密,保障数据安全传输

数据接入备份

简介

将大量滚动日志文件传输到云端做备份,用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能

优势

多种数据源支持

对接kafka、flume等开源系统,易于集成

数据传输高效

通道入口带宽可调整,传输能力有保障

海量小文件传输

小文件搬迁上云,原文件转储到对象存储

建议搭配使用

对象存储服务 OBS

IOT分析应用

简介

通过在车载设备中集成DIS SDK,实时上传车辆状态、监控数据,采用云上数据分析系统进行实时分析、检测,动态掌握设备状况,实现汽车故障提前感知

优势

高并发、低时延

支持百万级设备同时接入, 毫秒级响应

数据处理自动集成

与CS、MRS等服务无缝对接,数据分析与处理简单快捷

灵活开放

提供多语言、跨平台的SDK以及开放的API支持

功能描述

  • 数据采集

    RestAPI、SDK、Agent对接多种数据源,线上线下数据实时采集

  • 数据传输

    实时数据高并发、低延时、高可靠传输

  • 数据流动

    提供多种connector,对接云上数据存储、计算、分析等多种服务,实现用户数据自由流动

数据采集

  • 支持多种数据源

    DIS支持从用户应用系统、kafka系统、Flume系统做实时数据采集

  • 多种数据接入方式

    提供RestAPI、SDK、Agent等多种数据接入方式,用户只需简单配置即可实现实时数据采集与传输

数据传输

  • DIS提供百万连接并发,单数据流最高支持每日TB级别的数据量写入,每个分区(partition)支持最高每日百GB级别的写入量

  • 每个数据流的吞吐能力可以通过动态增加partition进行扩展

数据流动

  • DIS与华为云上的OBS(对象存储服务)、MRS(MapReduce服务)、DWS(数据仓库服务)、CloudTable(表格存储服务)、DLI(数据湖探索)、CS(实时流计算服务)、FunctionGraph(函数工作流)等服务集成,用户通过简单配置即可完成数据转储、计算、分析等功能

  • DIS提供多种Agent,与云上CloudTable、DWS、HBASE、RDS、DCS等服务对接,用户可以通过简单部署,完成数据快速导入,实现数据在服务间流动

  • 数据处理

    预置数据抽取、汇聚、格式转换等Connector(处理算子),对用户输入数据做预处理

  • 数据缓存

    实时数据缓存1-7天,保证实时数据消费可靠性

数据处理

  • DIS预置Connector对接入数据做初步处理,提供CSV/Json到Parquet/CarbonData等格式的转换,提升用户数据质量

数据缓存

使用指南

免费试用 高达4C8G云服务器

立即试用