对象存储服务 OBS-断点续传上传

时间：2023-11-08 21:43:35

对象存储服务 OBS

断点续传上传

开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。

当上传大文件时，经常出现因网络不稳定或程序崩溃导致上传失败的情况。失败后再次重新上传不仅浪费资源，而且当网络不稳定时仍然有上传失败的风险。断点续传上传接口能有效地解决此类问题引起的上传失败，其原理是将待上传的文件分成若干个分段分别上传，并实时地将每段上传结果统一记录在checkpoint文件中，仅当所有分段都上传成功时返回上传成功的结果，否则抛出异常提醒用户再次调用接口进行重新上传（重新上传时因为有checkpoint文件记录当前的上传进度，避免重新上传所有分段，从而节省资源提高效率）。

您可以通过ObsClient.uploadFile进行断点续传上传。该接口可设置的参数如下：

参数	作用	OBS Android SDK对应方法
bucketName	桶名，必选参数。	UploadFileRequest.setBucketName
objectKey	对象名，必选参数。	UploadFileRequest.setObjectKey
uploadFile	待上传的本地文件，必选参数。	UploadFileRequest.setUploadFile
partSize	分段大小，单位字节，取值范围是100KB~5GB，默认为5MB。	UploadFileRequest.setPartSize
taskNum	分段上传时的最大并发数，默认为1。	UploadFileRequest.setTaskNum
enableCheckpoint	是否开启断点续传模式，默认为false，表示不开启。	UploadFileRequest.setEnableCheckpoint
isEncodeHeaders	是否自动编码请求头	UploadFileRequest.setIsEncodeHeaders
checkpointFile	记录上传进度的文件，只在断点续传模式下有效。当该值为空时，默认与待上传的本地文件同目录。	UploadFileRequest.setCheckpointFile
objectMetadata	对象的属性。	UploadFileRequest.setObjectMetadata
enableCheckSum	是否校验待上传文件的内容，只在断点续传模式下有效。默认为false，表示不校验。	UploadFileRequest.setEnableCheckSum
progressListener	设置数据传输监听器，用于获取上传进度。	UploadFileRequest.setProgressListener

以下代码展示了如何使用断点续传上传接口上传文件：

// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_ID和SECRET_ACCESS_KEY_ID。
// 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
String ak = System.getenv("ACCESS_KEY_ID");
String sk = System.getenv("SECRET_ACCESS_KEY_ID");
String endPoint = "https://your-endpoint";

// 创建ObsClient实例
ObsClient obsClient = new ObsClient(ak, sk, endPoint);
        
UploadFileRequest request = new UploadFileRequest("bucketname", "objectname");
// 设置待上传的本地文件，其中localfile为待上传的本地文件路径，需要指定到具体的文件名
request.setUploadFile("localfile");
// 设置分段上传时的最大并发数
request.setTaskNum(5);
// 设置分段大小为10MB
request.setPartSize(10 * 1024 * 1024);
// 开启断点续传模式
request.setEnableCheckpoint(true);
try{
    // 进行断点续传上传
    CompleteMultipartUploadResult result = obsClient.uploadFile(request);
}catch (ObsException e) {
    // 发生异常时可再次调用断点续传上传接口进行重新上传
}

断点续传上传接口是利用分段上传特性实现的，是对分段上传的封装和加强。
断点续传上传接口不仅能在失败重传时节省资源提高效率，还因其对分段进行并发上传的机制能加快上传速度，帮助用户快速完成上传业务；且其对用户透明，用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发上传的实现等内部细节。

enableCheckpoint参数默认是false，代表不启用断点续传模式，此时断点续传上传接口退化成对分段上传的简单封装，不会产生checkpoint文件。
checkpointFile参数和enableCheckSum参数仅在enableCheckpoint参数为true时有效。
由于 HTTP 编码规范限制，无法发送非 ASCII 码字符，SDK 会在发送请求时对您头域中的中文汉字进行 url 编码，发送编码后数据。如您设置的值 content-disposition 为 ”attachment; filename="中文.txt"”，则对象元数据中存储的信息为”attachment; filename="%E4%B8%AD%E6%96%87.txt"”。使用浏览器访问时浏览器将会自动解码。
如若不需要 SDK 帮您编码，可以调用 UploadFileRequest.setIsEncodeHeaders(false) 关闭自动编码。
断点续传上传功能暂不支持暂停或取消操作。