什么是数据接入服务DIS - 数据接入服务 DIS
DIS连续传输数据,自动将数据传输至OBS等服务做计算,分析和存储。 图1 数据流向
使用DIS采集增量驾驶行为日志数据 - 数据接入服务 DIS
采集增量驾驶行为日志数据 场景简介 数据接入服务(Data Ingestion Service,简称DIS)采集增量驾驶行为日志数据并上传到华为云对象存储服务(Object Storage Service,简称OBS),通过数据湖探索(Data Lake Insight,简称DLI)分析上传的日志数据
应用场景 - 数据接入服务 DIS
图1 场景示例图 IOT分析应用 通过在车载设备中集成IoTDA,并配置数据转发到DIS,实时上传车辆状态、监控数据,采用云上数据分析系统进行实时分析、检测,动态掌握设备状况,实现汽车故障提前感知。 图2 场景示例图
异常信息 - 数据接入服务 DIS
异常信息 DIS服务端错误码
DIS主要应用于哪些场景? - 数据接入服务 DIS
实时数据分析:通过数据接入服务,可以运行实时通道数据分析。例如,可以通过API把数据实时添加到DIS数据通道中,并让您的DIS应用程序实时运行分析,从而在数分钟内从数据中获得重要见解,而无需数小时或数天时间。
什么是DIS? - 数据接入服务 DIS
DIS连续传输数据,自动将数据传输至OBS等服务做计算,分析和存储。 图1 数据流向 父主题: 一般性问题
管理通道标签 - 数据接入服务 DIS
为通道添加标签,可以方便用户识别和管理拥有的通道资源。 您可以在创建通道时添加标签,也可以在通道创建完成后,在通道的详情页添加标签,您最多可以给通道添加10个标签。 标签共由两部分组成:“标签键”和“标签值”,其中,“标签键”和“标签值”的命名规则如表1所示。
入门实践 - 数据接入服务 DIS
DIS采集增量驾驶行为日志数据 数据接入服务(Data Ingestion Service,简称DIS)采集增量驾驶行为日志数据并上传到华为云对象存储服务(Object Storage Service,简称OBS),通过数据湖探索(Data Lake Insight,简称DLI)分析上传的日志数据
DIS SDK能做什么 - 数据接入服务 DIS
DIS SDK能做什么 DIS概述 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。
转储相关问题 - 数据接入服务 DIS
转储相关问题 Schema如何支持字段缺省或者为NULL 如何专线接入DIS 读取通道数据时,如何区分不同类型数据?
使用DIS Logstash Plugin上传与下载数据 - 数据接入服务 DIS
使用DIS Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin
使用DIS Flink Connector上传与下载数据 - 数据接入服务 DIS
使用DIS Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题: 使用DIS
DIS有哪些特点和优势? - 数据接入服务 DIS
例如,您可以让一个应用程序运行实时分析,让其他应用程序从同一个DIS数据通道中将数据发送至对象存储服务(Object Storage Service,简称OBS)。 安全可靠:DIS可将数据保留24~72小时,以防数据在应用程序故障、个别机器故障或设施故障时丢失。
使用Agent上传数据 - 数据接入服务 DIS
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题: 使用DIS
使用SDK(Python) - 数据接入服务 DIS
使用SDK(Python) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP
使用Kafka Adapter上传与下载数据 - 数据接入服务 DIS
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题: 使用SDK
DIS有哪些功能 - 数据接入服务 DIS
负责服务的配置、巡检、日志收集与分析、运行监控。 负责服务工单处理。 用户SDK 提供Java接口,供用户上传与下载数据。 提供数据加密功能。 关键能力 无限扩展:DIS数据通道的吞吐量每小时可从数MB扩展到数TB,PUT记录每秒钟可从数千次扩展到数百万。
如何开通DIS通道? - 数据接入服务 DIS
为通道添加标签,可以方便用户识别和管理拥有的通道资源。 - 单击“立即购买”,弹出“规格确认”页面。 单击“提交”,完成通道接入。 父主题: 一般性问题
与原生KafkaConsumer接口适配说明 - 使用Kafka Adapter上传与下载数据 - 数据接入服务 DIS
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String
与原生KafkaConsumer接口适配说明 - 使用Kafka Adapter上传与下载数据 - 数据接入服务 DIS
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String

