检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明: 当请求OBS服务完成但获取到的HTTP状态码为408、5XX时,或者请求OBS服务发生超时错误时会进行重试。 [0, 5] maxConnections 可选 配置允许打开的最大HTTP连接数。默认为1000。
OBS客户端初始化(Python SDK) 功能说明 OBS客户端(ObsClient)是访问OBS服务的Python客户端,它为调用者提供一系列与OBS服务进行交互的接口,用于管理桶和对象等OBS服务上的资源。
说明: cloud_url为桶路径或对象路径,当下载桶中的所有对象时,cloud_url的格式必须为obs://bucketname;当下载指定对象时,cloud_url的格式必须为obs://bucketname/key。
父主题: OBS Browser+和obsutil等工具相关
结果清单 配置结果清单 批量任务执行完成后,会生成结果清单文件,默认情况下结果清单文件保存在运行obsutil命令的用户目录的子文件夹.obsutil_output下,用户可以通过在运行命令时指定-o附加参数来指定保存结果清单文件的文件夹。
cpd 附加参数,可选 生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。
OBS的数据冗余存储方式是什么? OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。 在满足同等可靠性要求的前提下,EC的空间利用率优于多副本。
/obsutil chattri obs://bucket [-sc=xxx] [-acl=xxx] [-aclXml=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 运行示例 以Windows操作系统为例,运行obsutil
如果返回结果中包含“Error: cloud_url [url] is not in well format”,表明访问域名有误,请检查配置文件中域名是否正常。
在顶部导航栏选择“服务列表 > 管理与监管 > 统一身份认证服务IAM”,进入“统一身份认证服务”管理控制台。 创建用户组。 详细步骤请参见创建用户组,创建成功后,在“用户组权限”中选择“全局服务 > 对象存储服务”,为该用户组配置OBS策略。
/obsutil config -interactive,更新默认配置文件的访问密钥和OBS服务地址。 .
服务端加密接口返回的错误码含义、问题原因及处理措施可参考OBS错误码。 父主题: 临时授权访问(Java SDK)
运行示例如下: obsutil version obsutil version:5.1.9, obssdk version:2.2.12 operating system:windows, arch:amd64 父主题: 辅助命令
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
对象存储服务-成长地图 | 华为云 对象存储服务 对象存储服务(Object Storage Service,OBS)提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。
在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。
表1 问题定位方式 方式 说明 日志文件 obsutil的日志文件分为工具日志和SDK日志,工具日志可以记录obsutil在运行过程中的正常/异常信息,SDK日志可以记录在请求OBS服务过程中的正常/异常信息。
文档使用范围 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与对象存储服务OBS的对接指导,以及HDFS数据迁移至对象存储服务OBS的方案。 父主题: 大数据场景下使用OBS实现存算分离
访问OBS链接提示告警信息的原因和解决办法 原因 因为部分用户使用OBS桶时上传了包含色情、暴恐、涉政等违法违规内容,OBS和第三方平台(微信/支付宝/百度等)检测到后会封禁此资源。
只有3.0版本的桶支持设置对象存储类型。