OBS数据迁移 搬迁本地数据至OBS 使用备份软件实现本地数据备份至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移
配置密钥 要接入OBS服务,您需要拥有一组有效的访问密钥(AK和SK)用来进行签名认证。具体可参考OBS服务环境搭建。 获取AK和SK之后,您便可以按照以下步骤进行初始化。 创建OBS客户端 配置OBS客户端 父主题: 初始化
通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。
OBS数据访问 在ECS上通过内网访问OBS 通过Nginx反向代理访问OBS
数据直传OBS Web端通过PostObject接口直传OBS Web端直传OBS并设置上传回调 移动应用直传 小程序直传OBS
macOS/Linux操作系统卸载步骤: 运行which obsutil找到obsutil命令的路径: which obsutil /obsutil/obsutil 运行rm -rf PATH删除obsutil命令: rm -rf /obsutil/obsutil PATH为obsutil
利用obsutil上传软链接 obsutil支持上传文件/文件夹时上传软链接指向的真实路径。您可通过在运行上传/增量同步上传时指定命令级参数:link,来实现上传软链接的功能。
什么是对象存储迁移服务 对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移服务,可以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中,也可以在对象存储服务
父主题: MRS集群服务对接OBS示例
说明: 当请求OBS服务完成但获取到的HTTP状态码为408、5XX时,或者请求OBS服务发生超时错误时会进行重试。 [0, 5] maxConnections 可选 配置允许打开的最大HTTP连接数。默认为1000。
初始化obsfs 在使用obsfs之前,需要将访问密钥(AK和SK)信息写入密钥文件,方便在使用并行文件系统时对使用者的身份进行验证。 本章节以将访问密钥信息写入“/etc/passwd-obsfs”文件为例,介绍具体的操作步骤。
如果您的OBS桶为私有桶,且不希望使用携带签名的URL访问桶内资源,则建议配置以下桶策略:仅允许Nginx代理服务器的IP地址访问OBS桶。 在OBS管理控制台左侧导航栏选择“对象存储”。 在桶列表单击待操作的桶,进入对象页面。 在左侧导航栏,单击“权限控制 > 桶策略”。
图1 为Hudi用户组赋予OBS路径读和写权限 对接OBS后,如需通过Ranger配置组件关于OBS相关路径的权限策略,需确保OBS服务已开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS服务运维人员。 父主题: MRS集群服务对接OBS示例
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。
为obsutil配置HTTP代理 您可以通过如下两种方式配置HTTP代理。
客户端到OBS服务端的网络时延过大,请检查客户端到OBS服务端的网络健康状况。 父主题: 异常处理
创建OBS桶 登录华为云官方网站,访问对象存储服务。 单击“进入控制台”进入对象存储服务管理控制台。 单击页面右上角的“创建桶”,根据需求选择桶规格后,单击“立即创建”。
CDM方式 云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移服务。CDM通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接,从而实现定时、自动地将本地数据搬迁至OBS。
例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务。 图2 创建委托 “持续时间”选择“永久”并单击“完成”。
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考IAM中创建DIS委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。