检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为obsutil配置HTTP代理 您可以通过如下两种方式配置HTTP代理。
OBS最佳实践汇总 本文汇总了基于对象存储服务(OBS,Object Storage Service)常见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松构建基于OBS的存储业务。
CDM方式 云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移服务。CDM通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接,从而实现定时、自动地将本地数据搬迁至OBS。
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考IAM中创建DIS委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考IAM中创建DIS委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。
obsutil上传下载速度慢 OBS不限速,obsutil也不会对客户数据传输进行限流。 采用obsutil进行文件上传下载,如果通过公网,受公网带宽限制;如果通过内网,受网卡、磁盘IO及是否有其它进程抢占资源的限制。
资源成本及规划 最佳实践中涉及的资源如下: 表1 资源说明 资源 资源说明 弹性云服务器(ECS) Windows系统:需安装OBS Browser+ Linux系统:需安装obsutil 对象存储服务(OBS) OBS作为数据存储资源池,以减轻服务器负担。
OBS Manager 约束限制 该功能依赖于OBS服务。 功能 通过OBS Manager节点可以将OBS文件移动或复制到指定目录下。 参数 用户可参考表1,表2和表3配置OBS Manager节点的参数。
OBS支持CORS规范,允许跨域请求访问OBS中的资源。 在OBS管理控制台左侧导航栏选择“对象存储”。 在桶列表单击待操作的桶,进入对象页面。 在左侧导航栏,单击“权限控制 > CORS规则”。 单击“创建”,系统弹出“创建CORS规则”对话框,如图2所示。
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考IAM中创建DIS委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。
obsutil性能调优最佳实践 obsutil对大于50MB的文件/对象默认采用分段方式进行上传、下载和复制,与分段任务相关的参数在.obsutilconfig配置文件中,如表1所示。
出于DNS解析性能和OBS服务可靠性的考虑,不允许将Endpoint设置为IP,必须使用域名访问OBS服务。 父主题: 初始化
ObsClient初始化(Go SDK) 功能说明 ObsClient是访问OBS服务的Go客户端,它为调用者提供一系列与OBS服务进行交互的接口,用于管理、操作桶(Bucket)和对象(Object)等OBS服务上的资源。
cd obsfs源码下载目录/huaweicloud-obs-obsfs obsfs生成后保存在以下路径:obsfs源码下载目录/huaweicloud-obs-obsfs/src 安装obsfs 生成obsfs成功后,使用cd命令进入以下路径执行bash install_obsfs.sh
示例:以file为源端,以OBS为目的端。 创建配置文件file2obs.conf。参数说明见表1,更多详情请参见这里。
下载obsfs软件包 obsfs下载地址如表1所示。
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。
出于DNS解析性能和OBS服务可靠性的考虑,不允许将endpoint设置为IP,必须使用域名访问OBS服务。 父主题: 初始化
虚拟专用网络VPN网关允许访问的VPC子网网段,需要包含OBS的网段,详细请提交工单或联系对象存储服务的客户经理获取。 创建虚拟专用网络,请参考创建VPN网关。 专线虚拟网关允许访问的VPC子网网段,需要包含OBS的网段,详细请提交工单或联系对象存储服务的客户经理获取。
添加自有OBS桶/其他桶,需要开通且已使用过OBS服务,开通OBS服务请参见开通并使用OBS桶。 如果添加其他桶,则需设置该桶的权限为“公共读/公共读写”或者该桶为当前账户拥有权限的私有桶。 约束条件 DSC不支持OBS的并行文件系统。