列举分段上传任务(Java SDK) 功能说明 列举指定桶中所有的初始化后还未合并或还未取消的分段上传任务。 通过列举桶中的多段上传任务,您可以获得已初始化多段上传任务的列表,已初始化多段上传任务是指初始化后还未合并以及未取消的多段上传任务。每个请求将返回最多1000个多段上传任务
如果桶内已存在同名对象,如何判定覆盖上传成功?(Java SDK) 上传完成后,您可以调用ObsClient.getObjectMetadata接口获取目标对象大小和最后修改时间,再与数据源进行比较: 如果两者大小一致且目标对象的最后修改时间晚于数据源的最后修改时间则表明上传成功,
为什么SDK源码中包含acs.amazonaws.com关键字?(Java SDK) OBS SDK 为了兼容访问aws s3服务,在源码中会包含acs.amazonaws.com关键字的固定格式,SDK仅作常量使用,不会向该格式有其他处理,也不会对其访问。SDK会自动兼容该场景,
为什么SDK源码中包含acs.amazonaws.com关键字?(Python SDK) OBS SDK为了兼容访问aws s3服务,在源码中会包含acs.amazonaws.com关键字的固定格式。 SDK仅作常量使用,不会向该格式有其他处理,也不会对其访问。 SDK会自动兼容该场景
创建并行文件系统(Go SDK) 功能介绍 OBS并行文件系统是对象的容器,您上传的文件都将以对象的形式存放在并行文件系统中。本文介绍如何使用GO SDK创建并行文件系统。 调用创建并行文件系统接口,将在当前账号按照用户指定的并行文件系统名创建一个新并行文件系统,接口支持根据用户诉求
上传对象-流式上传(Go SDK) 功能说明 您可以将本地文件直接上传至OBS指定的位置。待上传的文件可以是任何类型:文本文件、图片、视频等。 通过SDK的流式上传,可以上传小于5GB的文件。本章节介绍如何使用Go SDK流式上传对象。 流式上传使用io.Reader作为对象的数据源
下载对象-限定条件下载(Go SDK) 功能说明 下载对象时,可以指定一个或多个限定条件,满足限定条件时则进行下载,否则返回异常码,下载对象失败。 接口约束 您必须是桶拥有者或拥有下载对象的权限,才能下载对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置
DataX对接OBS 概述 DataX是一个数据同步框架,实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop
列举桶内多版本对象(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue。 功能介绍 用列举桶内对象接口,可列举指定桶内的部分或所有多版本对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数,返回符合您筛选条件的多版本对象信息。返回结果以多版本对象名的字典序排序
设置桶的生命周期配置(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue。 功能介绍 OBS支持用户配置指定的规则,实现定时删除桶中的对象或者定时转换对象的存储类别,从而节省存储费用,更多生命周期相关信息请参见生命周期管理。 调用设置桶的生命周期配置接口
如何获取账号ID和用户ID?(Node.js SDK) 获取账号、IAM用户、项目的名称和ID 从控制台获取账号名、账号ID、用户名、用户ID、项目名称、项目ID 在华为云首页右上角,单击“控制台”。 在右上角的用户名中选择“我的凭证”。 图1 进入我的凭证 在“我的凭证”界面,API
初始化多段上传任务(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue。 功能说明 使用多段上传特性时,用户必须首先调用创建多段上传任务接口创建任务,系统会给用户返回一个全局唯一的多段上传任务号,作为任务标识。后续用户可以根据这个标识发起相关的请求
列举已上传的段(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue。 功能说明 通过分段上传任务的ID,列举指定桶中已上传的段。 您可以列出特定多段上传任务或所有正在进行的多段上传任务的分段。列举已上传的段操作将返回您已为特定多段上传任务而上传的段信息
列举分段上传任务(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue。 功能说明 列举指定桶中所有的初始化后还未合并或还未取消的分段上传任务。 通过列举桶中的多段上传任务,您可以获得已初始化多段上传任务的列表,已初始化多段上传任务是指初始化后还未合并以及未取消的多段上传任务
删除对象操作会同步复制到跨区域复制的桶中吗? 如果您通过OBS控制台设置跨区域复制规则,那么源桶的删除对象操作默认不会同步复制到目标桶中。 如果您通过API设置跨区域复制规则,那么源桶的删除对象操作是否会同步复制到目标桶中取决于DeleteData参数的设置: DeleteData