OBS工具汇总 对象存储服务(Object Storage Service,OBS)提供如表1所示工具,供用户使用。
表1 问题定位方式 方式 说明 日志文件 obsutil的日志文件分为工具日志和SDK日志,工具日志可以记录obsutil在运行过程中的正常/异常信息,SDK日志可以记录在请求OBS服务过程中的正常/异常信息。
在配置目录conf/druid/single-server/micro-quickstart/_common/下增加hdfs-site.xml,配置如下(其中endpoint按照桶所在的实际endpoint填写): 启动Druid服务。 父主题: 对接大数据组件
更多操作 如果您需要在华为云的弹性云服务器(ECS)上使用obsutil,您可以参考在Linux ECS上使用obsutil通过内网访问OBS,配置内网访问以节省流量费用。 相关参考 如何快速使用obsutil请参见快速使用章节。
序号 公告标题 公告类型 发布时间 1 华为云拉美-利马一区域 OBS 服务公网 IP 变更通知 升级公告 2024/06/03 2 华为云OBS禁止通过公网访问后缀为.apk或者.ipa的对象功能通知 其他公告 2023/11/06 3 华为云禁止使用path请求方式访问OBS桶功能通知
如何在不暴露AKSK的条件下实现与OBS交互? 使用BrowserJS SDK与OBS服务交互时,必须将AK/SK暴露到前端,这样会存在安全问题。为避免该问题出现,可让后端生成临时签名URL给前端后,前端再与OBS交互。 比如:实现上传功能。
OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。
如果要同时授予OBS服务级权限和资源级权限,必须使用IAM权限,或者IAM权限与OBS权限结合使用。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。
前提条件 给用户组授权之前,请您了解用户组可以添加的OBS权限,并结合实际需求进行选择,OBS支持的系统权限,请参见:OBS系统权限。 示例流程 图1 为IAM用户授权OBS资源权限 下面内容以配置IAM用户的对象存储服务“Tenant Guest”权限为例。
OBS Browser+简介 OBS Browser+是一款用于访问和管理对象存储服务(Object Storage Service,OBS)的图形化工具,支持完善的桶管理和对象管理操作。
示例如下,示例中的location为obs://obs-bucket/warehouse/hive/student。
下载OBS Browser+ 针对不同操作系统,OBS Browser+下载地址如表1所示。 使用前请绑定支付方式,避免因费用问题导致受限。
对象存储服务(OBS)地址 是 服务提供商的对象存储服务地址,支持填写对象存储服务的全局域名(不指定区域)或区域域名(指定某个区域)。如果填写对象存储服务的全局域名,您可以访问此处区域的所有桶,如果填写对象存储服务的区域域名时,您只可以访问该区域的桶。
您还可以使用OBS Console或OBS Browser创建授权码后,再使用obsutil列举和下载对象。 您也可以使用obsutil创建授权码后,直接在浏览器地址栏上输入,或通过OBS Browser的授权码登录功能进行对象的列举和下载。 父主题: 最佳实践
OBS数据迁移 搬迁本地数据至OBS 使用备份软件实现本地数据备份至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移
全局级条件键(前缀为g:)适用于所有操作,服务级条件键(前缀为服务缩写,如obs:)仅适用于对应服务的操作。运算符与条件键一起使用,构成完整的条件判断语句。
OBS数据访问 在ECS上通过内网访问OBS 通过Nginx反向代理访问OBS
数据直传OBS Web端通过PostObject接口直传OBS Web端直传OBS并设置上传回调 移动应用直传 小程序直传OBS
使用云监控服务对安全事件进行实时监控、告警 您在使用OBS的过程中会也可能会遇到服务端返回的错误响应,为使您更好地掌握OBS桶的状态,华为云提供了云监控服务(Cloud Eye)。