什么是对象存储迁移服务 对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移服务,可以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中,也可以在对象存储服务
说明: 当请求OBS服务完成但获取到的HTTP状态码为408、5XX时,或者请求OBS服务发生超时错误时会进行重试。 [0, 5] maxConnections 可选 配置允许打开的最大HTTP连接数。默认为1000。
初始化obsfs 在使用obsfs之前,需要将访问密钥(AK和SK)信息写入密钥文件,方便在使用并行文件系统时对使用者的身份进行验证。 本章节以将访问密钥信息写入“/etc/passwd-obsfs”文件为例,介绍具体的操作步骤。
图1 为Flink用户组新增OBS路径读和写的权限 对接OBS后,如需通过Ranger配置组件关于OBS相关路径的权限策略,需确保OBS服务已开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS服务运维人员。 父主题: MRS集群服务对接OBS示例
如果您的OBS桶为私有桶,且不希望使用携带签名的URL访问桶内资源,则建议配置以下桶策略:仅允许Nginx代理服务器的IP地址访问OBS桶。 在OBS管理控制台左侧导航栏选择“对象存储”。 在桶列表单击待操作的桶,进入对象页面。 在左侧导航栏,单击“权限控制 > 桶策略”。
客户端到OBS服务端的网络时延过大,请检查客户端到OBS服务端的网络健康状况。 父主题: 异常处理
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。
示例:以file为源端,以OBS为目的端。 创建配置文件file2obs.conf。参数说明见表1,更多详情请参见这里。
例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务。 图2 创建委托 “持续时间”选择“永久”并单击“完成”。
为obsutil配置HTTP代理 您可以通过如下两种方式配置HTTP代理。
VPN和OBS可以直接通信吗? 可以。 用户站点通过VPN访问OBS服务,需要使用VPC终端节点服务。需要为内网DNS和OBS分别申请两个终端节点。 在用户侧配置云的内网DNS和路由 父主题: 组网与使用场景
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。
CDM方式 云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移服务。CDM通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接,从而实现定时、自动地将本地数据搬迁至OBS。
要接入OBS服务,您需要拥有一组有效的访问密钥(AK和SK)用来进行签名认证。 具体可参考OBS服务环境搭建。 获取AK和SK之后,您便可以按照以下步骤进行初始化。 创建OBS客户端 配置OBS客户端 配置SDK日志 父主题: 初始化
要接入OBS服务,您需要拥有一组有效的访问密钥(AK和SK)用来进行签名认证。 具体可参考OBS服务环境搭建。 获取AK和SK之后,您便可以按照以下步骤进行初始化。 创建OBS客户端 配置OBS客户端 配置SDK日志 父主题: 初始化
相关操作 用户也可以通过调用OBS API接口,选择服务端加密SSE-KMS方式(SSE-KMS方式是指OBS使用KMS提供的密钥进行服务端加密)上传文件,详情请参考《对象存储服务API参考》。 父主题: 云服务使用KMS加解密数据
obsutil上传下载速度慢 OBS不限速,obsutil也不会对客户数据传输进行限流。 采用obsutil进行文件上传下载,如果通过公网,受公网带宽限制;如果通过内网,受网卡、磁盘IO及是否有其它进程抢占资源的限制。
要接入OBS服务,您需要拥有一组有效的访问密钥(AK和SK)用来进行签名认证。具体可参考OBS服务环境搭建。 获取AK和SK之后,您便可以按照以下步骤进行初始化。 具体可参考OBS服务环境搭建。 获取AK和SK之后,您便可以按照以下步骤进行初始化。
资源成本及规划 最佳实践中涉及的资源如下: 表1 资源说明 资源 资源说明 弹性云服务器(ECS) Windows系统:需安装OBS Browser+ Linux系统:需安装obsutil 对象存储服务(OBS) OBS作为数据存储资源池,以减轻服务器负担。
VPN和OBS可以直接通信吗? 可以。 用户站点通过VPN访问OBS服务,需要使用VPC终端节点服务。需要为内网DNS和OBS分别申请两个终端节点。 然后在用户侧配置云的内网DNS和路由。 父主题: 组网与使用场景