检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS访问OBS 功能简介 访问OBS过程为: 设置“fs.obs.access.key”和“fs.obs.secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。
服务端加密SSE-OBS方式 功能介绍 SSE-OBS方式,OBS使用服务自身提供的密钥进行服务端加密。与SSE-KMS的区别在于SSE-OBS是OBS管理密钥,而非KMS。 新增头域 SSE-OBS方式用户可以通过配置表1中的头域来实现SSE-OBS加密。
- 数据转储地址 存储该通道数据的OBS桶名称。桶名称在“对象存储服务”中“创建桶”时创建。 - 转储文件目录 在OBS中存储通道文件的自定义目录,多级目录可用“/”进行分隔,不能以“/”开头。 取值范围:0~50个字符。 默认配置为空。
OBS服务端错误码 在向OBS服务端发出请求后,如果遇到错误,会在响应中包含响应的错误码描述错误信息。
动态挂载OBS 功能介绍 在运行中的Notebook实例,支持将“OBS并行文件系统”挂载到实例中指定的文件目录,挂载后可以在容器中以文件系统操作方式完成OBS并行文件系统对象的读写。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。
添加自有OBS桶/其他桶,需要开通且已使用过OBS服务,开通OBS服务请参见开通并使用OBS桶。 如果添加其他桶,则需设置该桶的权限为“公共读/公共读写”或者该桶为当前账户拥有权限的私有桶。 约束条件 DSC不支持OBS的并行文件系统。
我可以在OBS中存储多少数据? OBS系统和单个桶都没有总数据容量和对象/文件数量的限制,但对于单次上传对象的大小有如下限制: 部分区域OBS管理控制台支持批量上传文件,单次最多支持100个文件同时上传,总大小不超过5GB。单个上传时,最大支持50MB的文件。
obsfs挂载并行文件系统到华为云服务器ECS上时占用OBS流量还是云服务器ECS的流量? obsfs挂载到华为云服务器ECS上访问OBS时,会占用OBS流量和ECS弹性网卡流量,如果访问OBS过程中产生公网访问OBS,会额外占用ECS绑定的EIP流量。
上传数据到OBS 上传数据到OBS。 将待导入的数据源文件存储在OBS桶中。 登录OBS控制台。 单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。 创建桶。 如何创建OBS桶,具体请参见《对象存储服务控制台指南》中的创建桶章节。
在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。 (可选)创建IAM用户 为确保账号及资源的安全性,不建议使用注册账号直接访问OBS。
ObsClient初始化(Go SDK) 功能说明 ObsClient是访问OBS服务的Go客户端,它为调用者提供一系列与OBS服务进行交互的接口,用于管理、操作桶(Bucket)和对象(Object)等OBS服务上的资源。
父主题: OBS控制台使用相关
终端APP可通过临时访问密钥使用OBS SDK或API访问OBS服务,因临时凭据的有效时间较短,终端APP需及时向用户服务器请求更新临时访问密钥。 配置示例 请参见临时授权访问OBS。 父主题: 请求方式介绍
OBS服务端错误码 在向OBS服务端发出请求后,如果遇到错误,会在响应中包含响应的错误码描述错误信息。
是否可以同时装两个不同站点的OBS Browser+工具? 不可以。 一个系统中只允许安装一个版本的OBS Browser+工具。 不同局点提供的OBS Browser+工具可能支持的功能不一致。
快速使用 本章节以Linux操作系统为例,介绍如何通过obsutil在OBS上完成基本的数据存取操作,具体操作流程如图1所示。 图1 obsutil快速使用流程 前提条件 已获取到obsutil工具,并完成了初始化配置。 已进入obsutil工具所在目录。 操作步骤 运行.
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
通过永久访问密钥访问OBS OBS的REST接口既支持认证请求,也支持匿名请求。匿名请求通常仅用于需要公开访问的场景,例如静态网站托管。除此之外,绝大多数场景是需要经过认证的请求才可以访问成功。
日志文件 配置日志文件 obsutil的日志文件分为工具日志和SDK日志,可通过在.obsutilconfig配置文件中加入如下参数开启这两种日志: 工具日志(记录工具在运行期间产生的日志信息):配置utilLogPath、utilLogBackups、utilLogLevel、utilMaxLogSize
如果页面提示如下信息时,表示OBS转储任务执行失败,请至对象存储服务检查存储桶是否失效或存储桶策略是否变更。若桶及桶策略没有变更,请检查桶对象是否选择了服务端加密,当前OBS转储暂不支持加密桶的数据转储。