创建用户并使用OMS 如果您需要对您所拥有的OMS进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证
使用“源端/目的端双写方案”方案迁移增量对象数据 操作场景 本章节指导用户使用“源端/目的端双写方案”方案迁移增量对象数据。此方案优势在于可以确保业务零中断。 主要迁移步骤如下所示: 用户在全量迁移前,需配置业务同时向源端和目的端写数据,保证增量数据在两端都存在。 使用OMS完成源端数据的全量迁移
迁移归档存储数据 操作场景 当源端对象存储有数据处于归档状态,直接使用OMS迁移,解冻时间长导致迁移时间较长,可参考以下方案。 如果不提前使用恢复归档存储,全量依靠OMS自动恢复功能,每个对象触发解冻后,会等待1-5分钟(具体时间由源端对象存储决定),最终导致迁移速度缓慢,影响您的整体迁移进度
API概览 对象存储迁移服务提供了版本查询接口和任务管理接口,如表1所示。 表1 对象存储迁移服务接口列表 类型 说明 获取项目ID和任务ID 查询用户的项目ID和任务ID。 查询API版本信息列表 查询对象存储迁移服务的API版本信息。 查询指定API版本信息 查询对象存储迁移服务指定
快速入门 场景描述 本节以调用一系列API创建一个对象数据迁移任务为例,介绍使用API的基本流程。 API的调用方法请参见如何调用API。 涉及接口 获取IAM用户Token(使用密码):用于鉴权认证。 创建迁移任务:通过源端和目的端的AK和SK创建迁移任务。 查询指定ID的任务详情
隐私声明 请您在使用我们的产品(或服务)前,仔细阅读并了解本《隐私声明》。 本产品(或服务)的核心业务功能为对象存储数据迁移。 为了完成核心业务功能所需,您同意授权我们收集和使用您的个人信息或个人敏感信息,包括源端云厂商AK和SK、CDN鉴权密钥、目的端华为云AK和SK,以及调用您的华为云用户
产品优势 对象存储迁移服务具备的优势主要有如下几点: 简单易用 对象存储迁移服务的使用方法简单,您通过登录管理控制台创建迁移任务后,即可等待系统完成迁移,中途无需额外操作。 安全认证 对象存储迁移服务的鉴权支持AK/SK方式,启动数据传输时会充分认证身份的合法性,避免数据被盗用。
风险提示 OMS根据源端厂商对象存储服务和华为云对象存储服务接口及协议,进行认证和一致性校验,涉及MD5、SHA1、CRC64以及基于MD5的HMAC算法的使用,存在因源端发生hash碰撞,导致要迁移的数据和实际迁移的数据不一致的风险,为确保数据一致性,可以在迁移后再次对源端、目的端数据进行完整的内容校验
产品功能 对象选择 选择源端对象:支持多种对象选择方式,包括文件/文件夹、对象列表、指定对象前缀、指定URL列表。 按条件过滤源端对象:支持迁移指定时间后的源端对象。 多任务创建 对于大容量、大规模的对象迁移,对象存储迁移服务提供了创建迁移任务组功能,能够自动划分并创建迁移任务,最大化利用服务的并发性能
SDK概述 本文介绍了对象存储迁移服务(OMS)提供的SDK语言版本,列举了最新版本SDK的获取地址。 SDK列表 表1提供了OMS服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档
约束与限制 OMS迁移任务限制如表1所示。 表1 OMS迁移任务限制 类别 限制 多版本对象迁移 OMS默认只迁移源端多版本对象中的最新版本,不支持迁移历史版本的对象存储数据。 目的端桶存储类别 目的端桶的存储类别为:标准存储、低频访问存储、归档存储和深度归档存储。 迁移网络 支持公网迁移
数据保护技术 OMS通过以下方式,保障数据迁移的安全性和完整性。 完整性校验:数据迁移完成后,默认通过对象大小/最后修改时间完成数据的完整性校验。详细介绍请参见一致性校验策略。 个人数据加密保护:为了确保您个人数据的安全性,OMS系统通过加密存储个人数据、控制个人数据访问权限以及记录操作日志等方法
迁移网络模型 对象存储迁移服务(OMS)的网络模型设计考虑了数据的传输效率、安全性和可靠性。OMS支持大文件分片、大量数据的快速迁移。同时,它还支持断点续传功能,即使在迁移过程中遇到网络中断等异常情况,也能从断点处继续传输,确保数据的完整性和迁移的连续性。 图1 网络模型图 场景一
查看审计日志 通过云审计服务,您可以记录与对象存储迁移服务相关的操作事件,如下列各表所示。 您可以查看这些操作,以评估对服务的影响,具体请参见查看追踪事件。 在云审计的事件查询条件中,“事件来源”选择“OMS”。 表1 云审计服务支持的对象存储迁移服务资源类型列表 资源名称 资源类型
创建任务 功能介绍 调用该接口添加迁移任务。创建任务成功后,任务会被自动启动,不需要额外调用启动任务命令。 注意事项: 单个租户在过去24小时内最多可创建200个迁移任务。 单个租户名下处于“等待中”状态的迁移任务达到50个时不可再创建任务。 URI POST /v1/{project_id
删除任务 功能介绍 调用该接口删除迁移任务。 正在运行的任务不允许删除,如果删除会返回失败。 URI DELETE /v1/{project_id}/objectstorage/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id
启动任务 功能介绍 任务暂停或失败后,调用该接口以启动任务。 URI PUT /v1/{project_id}/objectstorage/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 task_id
停止任务 功能介绍 当任务正在运行中时,调用该接口停止任务。 URI PUT /v1/{project_id}/objectstorage/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 task_id
错误码 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 状态码 错误码 错误信息 描述 处理措施 200 S3M.1012 The number of object assessments that can be create each time
使用“回源配置方案”迁移增量对象数据 本节指导用户使用回源配置方案迁移增量对象数据。 优势 此方案优势在于: 业务零中断,增量迁移间未同步的数据通过回源配置保证用户无感知。 可靠性高,割接前可提前验证,迁移后可校验。 操作流程 “回源配置方案”迁移增量对象数据流程图,如图1所示。