检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建委托的参数设置如下:- 委托类型:云服务- 云服务:DIS- 持续时间:永久- “所属区域”为“全局服务”,“项目”为“对象存储服务”对应的“策略”包含“Tenant Administrator”。
- 数据转储地址 存储该通道数据的OBS桶名称。桶名称在“对象存储服务”中“创建桶”时创建。 - 转储文件目录 在OBS中存储通道文件的自定义目录,多级目录可用“/”进行分隔,不能以“/”开头。 取值范围:0~50个字符。 默认配置为空。
当新增转储任务至OBS且目标OBS桶设置了IP访问控制策略时,由于DIS服务与OBS服务之间存在网络隔离,转储任务因网络限制而无法正常运行。如需解决此问题,请联系技术工程师处理。 单击“立即创建”。 在对应“任务名称”的操作列单击“更多 > 查看转储日志”,查看该通道的转储详情。
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考IAM中创建DIS委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考IAM中创建DIS委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考IAM中创建DIS委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。
key=obs_dump_task,value=['text','obs-1253', '','yyyy', '|']) # 添加OBS转储服务,配置obs_Schema值 cli.add_dump_task(streamname, task_name,'OBS',obs_Schema
new OBSDestinationDescriptorRequest(); descriptor.setTransferTaskName(taskName); // 转储至对象存储服务(简称OBS):OBS桶名和子文件夹名,通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath
表1 转储任务参数说明 参数 参数解释 配置值 转储服务类型 选择OBS。 通道里的流式数据存储在DIS中,并周期性导入对象存储服务(Object Storage Service,简称OBS)。 通道里的实时文件数据传输完成后,导入OBS。
目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据湖探索(Data Lake Insight,简称DLI),具体存储位置在新增转储任务的“数据转储”中配置。
步骤3:发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS),具体存储位置在新增转储任务的“数据转储”中配置。
创建委托的参数设置如下:- 委托类型:云服务- 云服务:DIS- 持续时间:永久- “所属区域”为“全局服务”,“项目”为“对象存储服务”对应的“策略”包含“Tenant Administrator”。
根据用户配置,将用户数据存储到对象存储服务(Object Storage Service,简称OBS)。 服务维护 负责服务的安装、升级。 负责服务的配置、巡检、日志收集与分析、运行监控。 负责服务工单处理。 用户SDK 提供Java接口,供用户上传与下载数据。
开通DIS通道时需要选择“转储服务类型”。具体区别如表1所示。 选择“OBS”表示存储在DIS中,并周期性导入对象存储服务(Object Storage Service,简称OBS)。 表1 DIS和转储其他资源区别 DIS存储 OBS存储 DIS服务自带。 需要另外申请。
与其他服务的关系 介绍DIS与其他服务的关系。 对象存储服务(Object Storage Service,简称OBS) 在用户购买接入通道时选择数据转储至OBS,用户上传的数据会存储至对象存储服务(OBS)。
IAM中创建DIS委托 介绍 用户创建DIS通道,选择将数据转储到对象存储服务(Object Storage Service,简称OBS)、MapReduce服务(MRS)集群、数据湖探索(Data Lake Insight,简称DLI)中,需要通过创建IAM委托授权DIS服务去访问用户的
IAM中创建DIS委托 介绍 用户创建DIS通道,选择将数据转储到对象存储服务(Object Storage Service,简称OBS)、MapReduce服务(MRS)集群、数据湖探索(Data Lake Insight,简称DLI)中,需要通过创建IAM委托授权DIS服务去访问用户的
IAM中创建DIS委托 介绍 用户创建DIS通道,选择将数据转储到对象存储服务(Object Storage Service,简称OBS)、MapReduce服务(MRS)集群、数据湖探索(Data Lake Insight,简称DLI)中,需要通过创建IAM委托授权DIS服务去访问用户的
groupId> <artifactId>huaweicloud-dis-kafka-adapter</artifactId> <version>1.2.18</version> </dependency> 使用DIS样例工程 在https://dis-publish.obs-website.cn-north
groupId> <artifactId>huaweicloud-dis-kafka-adapter</artifactId> <version>1.2.18</version> </dependency> 使用DIS样例工程 在https://dis-publish.obs-website.cn-north