检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。
flume日志配置 为了减少日志输出,在/opt/apache-flume-1.9.0-bin/conf/log4j.properties文件中增加配置: log4j.logger.com.obs=ERROR obsa写入时临时文件的目录配置 Flume写OBS时会先写入本地磁盘缓冲区
在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。
OBS支持CORS规范,允许跨域请求访问OBS中的资源。 在OBS管理控制台左侧导航栏选择“对象存储”。 在桶列表单击待操作的桶,进入对象页面。 在左侧导航栏,单击“权限控制 > CORS规则”。 单击“创建”,系统弹出“创建CORS规则”对话框,如图2所示。
cd obsfs源码下载目录/huaweicloud-obs-obsfs obsfs生成后保存在以下路径:obsfs源码下载目录/huaweicloud-obs-obsfs/src 安装obsfs 生成obsfs成功后,使用cd命令进入以下路径执行bash install_obsfs.sh
单击“对象存储服务”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账号中的AK和SK进行签名验证,确保通过授权的账号才能访问指定的OBS资源。
资源成本及规划 最佳实践中涉及的资源如下: 表1 资源说明 资源 资源说明 弹性云服务器(ECS) Windows系统:需安装OBS Browser+ Linux系统:需安装obsutil 对象存储服务(OBS) OBS作为数据存储资源池,以减轻服务器负担。
在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。
obsutil性能调优最佳实践 obsutil对大于50MB的文件/对象默认采用分段方式进行上传、下载和复制,与分段任务相关的参数在.obsutilconfig配置文件中,如表1所示。
下载obsfs软件包 obsfs下载地址如表1所示。
从系统环境变量查找访问密钥时,OBS_ACCESS_KEY_ID对应ak,OBS_SECRET_ACCESS_KEY对应sk,OBS_SECURITY_TOKEN对应token。
obsutil上传下载速度慢 OBS不限速,obsutil也不会对客户数据传输进行限流。 采用obsutil进行文件上传下载,如果通过公网,受公网带宽限制;如果通过内网,受网卡、磁盘IO及是否有其它进程抢占资源的限制。
OBS Browser+支持迁移OBS Browser保存的账号信息和任务信息吗?
前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 已安装Hive,具体请参见Hive对接OBS。 安装presto server 版本:prestoSQL-333 下载Presto客户端和服务端。
利用obsutil帮助命令查找工具功能 obsutil提供了帮助命令(help命令)用于查看各命令的帮助文档。以查询创建桶命令的帮助文档为例,详细的步骤如下: 使用obsutil help命令查看当前支持的所有命令列表。
临时授权访问OBS 场景介绍 本案例介绍如何使用临时访问密钥(临时AK/SK和securitytoken),通过临时授权的方式访问OBS。
原理说明 OBS签名机制的运作流程如图1所示: 图1 OBS API调用的签名和验签机制 表1 OBS API调用的签名和验签机制 执行端 序号 步骤 说明 客户端 1 构造HTTP请求 用户根据自身诉求构建HTTP请求消息,一个完整的API调用请求包含请求URI、请求方法、请求消息头
OMS方式迁移 对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移服务,帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中。
服务提供商 华为对象存储服务(默认) 选择华为对象存储服务: 提供了华为云所支持的所有区域的桶的访问。 Access Key ID & Secret Access Key - 填写访问密钥AK/SK。 您可以参考获取访问密钥章节在“我的凭证”页面创建永久AK/SK。
调用cp命令,指定采用跨区域复制模式将源桶对象复制到目标桶: Windows操作系统 obsutil cp obs://src-bucket obs://dst-bucket -f -r -crr Linux操作系统 .