检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 OBS Browser+功能列表 功能 描述 对象存储桶基本操作 支持对象存储桶的基本操作,包括指定区域创建桶、列举桶、查询桶基本信息、桶ACL、桶内碎片管理、修改桶的存储类别、删除桶等。
示例:以file为源端,以OBS为目的端。 创建配置文件file2obs.conf。参数说明见表1,更多详情请参见这里。
在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。
在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。
在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。
如果您的OBS桶为私有桶,且不希望使用携带签名的URL访问桶内资源,则建议配置以下桶策略:仅允许Nginx代理服务器的IP地址访问OBS桶。 在OBS管理控制台左侧导航栏选择“对象存储”。 在桶列表单击待操作的桶,进入对象页面。 在左侧导航栏,单击“权限控制 > 桶策略”。
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。
为obsutil配置HTTP代理 您可以通过如下两种方式配置HTTP代理。
CDM方式 云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移服务。CDM通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接,从而实现定时、自动地将本地数据搬迁至OBS。
单击“对象存储服务”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账号中的AK和SK进行签名验证,确保通过授权的账号才能访问指定的OBS资源。
在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。
初始化obsfs 在使用obsfs之前,需要将访问密钥(AK和SK)信息写入密钥文件,方便在使用并行文件系统时对使用者的身份进行验证。 本章节以将访问密钥信息写入“/etc/passwd-obsfs”文件为例,介绍具体的操作步骤。
OBS支持CORS规范,允许跨域请求访问OBS中的资源。 在OBS管理控制台左侧导航栏选择“对象存储”。 在桶列表单击待操作的桶,进入对象页面。 在左侧导航栏,单击“权限控制 > CORS规则”。 单击“创建”,系统弹出“创建CORS规则”对话框,如图2所示。
cd obsfs源码下载目录/huaweicloud-obs-obsfs obsfs生成后保存在以下路径:obsfs源码下载目录/huaweicloud-obs-obsfs/src 安装obsfs 生成obsfs成功后,使用cd命令进入以下路径执行bash install_obsfs.sh
资源成本及规划 最佳实践中涉及的资源如下: 表1 资源说明 资源 资源说明 弹性云服务器(ECS) Windows系统:需安装OBS Browser+ Linux系统:需安装obsutil 对象存储服务(OBS) OBS作为数据存储资源池,以减轻服务器负担。
obsutil性能调优最佳实践 obsutil对大于50MB的文件/对象默认采用分段方式进行上传、下载和复制,与分段任务相关的参数在.obsutilconfig配置文件中,如表1所示。
OBS连接 介绍 通过OBS连接,可以对对象存储服务(Object Storage Service,简称OBS)抽取或加载文件,支持CSV、JSON和二进制格式。 连接样例 本示例为连接样例消息体。
下载obsfs软件包 obsfs下载地址如表1所示。
从当前使用obsutil的ECS查找临时访问密钥,如果临时访问密钥不为空,结束查找,否则使用匿名用户访问OBS服务。 访问密钥不为空是指至少ak和sk同时不为空,token可为空。
ObsClient初始化 功能说明 ObsClient是访问OBS服务的Go客户端,它为调用者提供一系列与OBS服务进行交互的接口,用于管理、操作桶(Bucket)和对象(Object)等OBS服务上的资源。