云服务器内容精选

  • 查看迁移任务详情 登录管理控制台,进入“对象存储迁移服务”页面。 在迁移任务列表的右上角,设置条件过滤迁移任务。 迁移任务组ID:如果迁移任务通过创建迁移任务组生成,输入任务组ID,可以筛选出该任务组下面的所有迁移任务。 任务组ID的具体信息,需要从迁移任务组页面获取。 任务状态:各状态说明参见表1。 表1 迁移任务状态 状态 说明 等待中 迁移任务创建后正在进行后台初始化操作或等待其他正在迁移中的任务完成。 迁移中 迁移任务进行中,对象数据正在从其他云服务商迁移至华为云。 暂停 迁移任务暂停,可手动恢复任务。 暂停中 正在暂停迁移任务。 迁移成功 迁移任务已正常迁移完成。 迁移失败 迁移任务失败,未成功完成迁移。失败的任务可手动重启。 单击迁移任务右下角的“详情”,可查看对象总数/已迁移对象数、成功对象列表路径、失败对象列表路径、忽略对象列表路径以及您在创建迁移任务时设置的各项参数信息。
  • 设置流量控制策略 迁移过程中,您可以根据实际情况,随时新增/修改/删除流量控制策略。 登录管理控制台,进入“对象存储迁移服务”页面。 在迁移任务列表,找到需要新增/修改流量控制策略的任务。单击迁移任务右下角的“详情”。 单击“流量控制”旁边的按钮。 如需新增流量控制,单击“新增流量控制”,设置“开始时间”、“结束时间”和“限制最大流量”。 如需修改流量控制,根据您的实际要求,修改“开始时间”、“结束时间”和“限制最大流量”。 如需删除流量控制,单击对应记录操作列的按钮。 限制最大流量的数值范围:1~ 200MB/s 。 最多可以创建5条记录。 单击“确定”,完成流量控制策略设置。
  • 查看迁移记录 迁移过程中,会生成迁移记录如成功对象、失败对象、忽略对象等列表文件,存放在您的目的桶中。 获取对象列表的方法请参见下表。 如果... 那么... 已迁移对象数大于0 在任务详情中找到“成功对象列表路径”,单击路径链接跳转到OBS控制台,下载相应的txt文件,查看成功对象列表。 说明: 成功对象列表路径说明:oms/task/任务名称/success_object_lists/时间戳.success_list.txt。 忽略对象数大于0 在任务详情中找到“忽略对象列表路径”,单击路径链接跳转到OBS控制台,下载相应的txt文件,查看忽略对象列表。 说明: 忽略对象列表路径说明:oms/task/任务名称/skip_object_lists/时间戳.skip_list.txt。 失败对象数大于0 在任务详情中找到“失败对象列表路径”,单击路径链接跳转到OBS控制台,下载相应的txt文件,查看失败对象列表。 说明: 失败对象列表路径说明:oms/task/任务名称/failed_object_lists/时间戳.failed_list.txt。 失败对象列表错误码详细说明参见查看失败对象列表。
  • 前提条件 已注册华为账号并开通华为云,完成实名认证。 已获取源端和目的端账号的AK/SK。 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。获取方式参见源端桶权限获取。 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权限获取。 已在华为云OBS服务中创建桶。 24小时内,单个Region内创建迁移任务组数量未满300个。 您过去24小时内已创建的迁移任务未满1000000个。 您名下处于“等待中”状态的迁移任务未满1000000个。
  • 背景信息 对象存储迁移服务支持迁移以下的源端云服务商或数据源类型: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云 七牛云 青云 百度云 金山云 优刻得 HTTP/HTTPS数据源 本节以华为云为源端数据源为例进行介绍,其余云服务商创建迁移任务组的详细步骤,您可以参考各云服务商迁移教程。 迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产生的费用都遵从源端云服务提供商的计费规则并由其向您收取。
  • 前提条件 已注册华为账号并开通华为云,完成实名认证。 已获取源端和目的端账号的AK/SK。 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。获取方式参见源端桶权限获取。 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权限获取。 已在OBS服务中创建桶。 您过去24小时内已创建的迁移任务未满1000000个。 您名下处于“等待中”状态的迁移任务未满1000000个。
  • 适用场景 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。 如果单个桶数据量大于3 TB或对象个数大于500万,建议您创建迁移任务组来进行迁移。 OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。
  • 迁移是否会影响目的端桶的已有数据 对象存储迁移对目的端桶已有数据的影响,主要看目的端桶与源端桶是否有同名对象。 不存在同名对象,OMS迁移服务对目的桶已有数据无影响。 迁移过程中,不会修改目的端桶的已有数据。 迁移完成后,不会删除目的端桶的已有数据。 存在同名对象,会根据创建任务/任务组时,高级选项中的同名对象覆盖方式来执行覆盖规则。规则说明参见表1。 表1 同名对象覆盖规则说明 覆盖规则 说明 大小/最后修改时间对比覆盖 对于源端和目的端存在的同名对象,如果对象大小相同,则保留最后修改时间较新的对象;如果对象大小不同,则源端覆盖目的端。 不覆盖 对于源端和目的端存在的同名对象,跳过源端对象,保留目的端对象。 全覆盖 对于源端和目的端存在的同名对象,源端对象直接覆盖目的端对象。 父主题: 产品咨询
  • 最佳实践汇总 本文汇总了基于对象存储迁移服务(Object Storage Migration Service,OMS)常见应用场景的操作实践,每个实践我们提供详细的方案描述和操作指导,用于指导您快速实现对象存储数据迁移。 表1 OMS最佳实践一览表 最佳实践 使用场景 优势 使用“回源配置方案”迁移增量对象数据 大批量数据迁移场景使用,优先选择此方案。此方案受OBS限制,具体的约束请见数据回源。 业务零中断,增量迁移间未同步的数据通过回源配置保证用户无感知。 可靠性高:割接前用户业务校验充分,增量迁移时全量扫描校验确保数据无遗漏。 使用“源端/目的端双写方案”方案迁移增量对象数据 适用大批量数据迁移且OBS回源不支持场景。由于需要客户同时对源端和目的端写数据,因此总体费用比“回源配置方案”高。 适用于双云备份场景: 业务零中断,业务切换时间根据客户业务确认,可随意调整。 一次迁移,操作简单。 使用"多次同步方案"迁移增量对象数据 少量数据快速增量迁移场景使用: 客户自动识别增量对象列表,然后使用OMS对象列表迁移; 记录迁移开始时间,设置迁移指定时间 速度快,业务短时间中断,操作简单。 增量迁移时长评估: 增量迁移时长=识别增量数据的时间(源端桶和目的端桶比对识别新增数据)+增量数据迁移时间。 迁移归档存储数据 源端存在归档存储数据,可使用此方案。 先解冻后迁移,相对直接使用OMS迁移:迁移速度较快。
  • 保留源端存储类型转换说明 配置存储策略选择“保留源端存储类型”时,源端存储类型与华为云存储类型之间的转换关系参见表1。括号内的数值分别代表:每月每GB容量费用|每万次读取请求费用|每万次写入请求费用|每GB标准取回费用(标准存储类型不涉及)。表中费用数据仅供参考,具体以各云厂商提供的数据为准。 下表中各云厂商的费用参考区域:华为云、百度云、阿里云、腾讯云、金山云为北京区域,谷歌云、亚马逊云为中国香港区域,微软云为东亚区域,七牛云、优刻得为中国大陆,按量优惠取最贵收费,若存在冗余存储而官方存储类型未区分取非冗余储存价格,单位:元。 下表中不存在的云厂商存储类型统一转换为华为云OBS标准存储。
  • 修订记录 发布日期 修订记录 2024-05-07 第十五次正式发布。 新增阿里云OSS配置同步请求 新增腾讯云COS配置同步请求 2024-03-22 第十四次正式发布。 新增自动检查并重启失败的迁移任务 新增青云QingStor迁移至华为云OBS教程 新增谷歌云storage迁移至华为云OBS教程 新增亚马逊云S3迁移至华为云教程 新增微软云Blob迁移至华为云OBS教程 新增其他迁移场景 2022-11-10 第十三次正式发布。 更新各云服务商迁移教程。 2022-06-01 第十二次正式发布。 新增归档数据迁移方案章节。 2021-11-16 第十一次正式发布。 新增HTTP/HTTPS 数据源迁移至华为云OBS教程章节。 2021-10-27 第十次正式发布。 新增金山云KS3迁移至华为云OBS教程章节。 2021-10-25 第九次正式发布。 新增优刻得US3迁移至华为云OBS教程章节。 2021-10-20 第八次正式发布。 新增百度云BOS迁移至华为云OBS教程章节。 2021-07-28 第七次正式发布。 新增七牛云迁移至华为云OBS教程章节。 2021-06-26 第六次正式发布。 新增腾讯云COS迁移至华为云OBS教程章节。 2021-06-15 第五次正式发布。 新增阿里云OSS迁移至华为云OBS教程章节。 2021-05-21 第四次正式发布。 新增华为云OBS之间迁移教程章节。 2021-03-16 第三次正式发布。 更新使用“回源配置方案”迁移增量对象数据章节。 更新使用“源端/目的端双写方案”方案迁移增量对象数据章节。 更新使用"多次同步方案"迁移增量对象数据章节。 更新迁移归档存储数据章节。 2020-12-08 第二次正式发布。 新增使用“回源配置方案”迁移增量对象数据。 新增使用“源端/目的端双写方案”方案迁移增量对象数据。 新增使用"多次同步方案"迁移增量对象数据。 新增迁移归档存储数据。 2019-08-31 第一次正式发布。
  • 操作步骤 登录管理控制台,进入“对象存储迁移服务”页面。 在左侧导航树,选择“同步任务”。 单击任务ID记录左侧的,查看同步任务执行情况。如图1所示。具体的参数说明参见表1。 图1 监控同步任务 表1 监控同步任务 参数 说明 接收同步请求对象数(本月) 统计本月截止目前接收到的来自源端发送的同步请求对象数量。 同步对象数(本月) 成功 统计本月截止目前同步成功的对象,可通过对象列表在目的桶中查看同步成功对象列表。 失败 统计本月截止目前同步失败的对象,可通过对象列表在目的桶中查看同步失败对象列表。 忽略 统计本月截止目前同步忽略的对象,可通过对象列表在目的桶中查看忽略对象列表。 说明: 当目的端已存在的对象(对象名、大小相同,且创建时间在源端之后),OMS不会进行迁移,计为忽略对象。 同步对象容量(本月) 统计本月截止目前已成功同步对象的总量大小。 对象列表 OMS会将同步成功对象、失败对象、忽略对象记录为对应的列表,存放于目的桶中,可通过OBS获取这些列表进行同步对象数量及名称校验。具体信息请查看表2。 同步请求接收地址 将源端同步请求发送到本地址,触发同步。同步请求接口请参考创建同步事件。 表2 对象列表信息介绍 对象类型 所在目录 列表内容 成功对象 oms/sync_task/同步任务ID/success_object_lists 发生时间(参照当前区域所属时区)+ 对象名称(未经过URL编码) + 对象大小(单位:Byte) 失败对象 oms/sync_task/同步任务ID/failed_object_lists 例如:oms/sync_task/同步任务ID/failed_object_lists/oms-task-sync-test-20210107111623197_596 说明: 该目录下存放的是迁移过程中同步失败对象。 oms/sync_task/同步任务ID/failed_object_lists/creation_failures 例如:oms/sync_task/同步任务ID/failed_object_lists/creation_failures/ 1609833838031_5ff41d6e85e877149d44bb55_4.failed_list.txt 说明: 该目录下存放的是迁移任务未创建成功导致的失败对象。导致迁移任务创建失账号可能原账号欠费、账号被冻结、无权限。 失败原因+ 发生时间(参照当前区域所属时区) + 失败对象(经过URL编码) + 失败对象(未经过URL编码) + 源端SDK返回的错误码 忽略对象 oms/sync_task/同步任务ID/skip_object_lists 发生时间(参照当前区域所属时区)+ 对象名称(未经过URL编码) + 对象大小(单位:Byte) 待同步对象 oms/sync_task/同步任务ID/object_lists 待同步对象名称。 说明: 在目的桶的“oms/sync_task/同步任务ID/object_lists”路径下,OMS会自动将接收到的待同步对象名称汇总后保存在txt类型的对象列表文件中。 页面展示的统计数据并非实时数据,大约存在一个小时左右的延迟,仅供参考。
  • 操作步骤 登录管理控制台,进入“对象存储迁移服务”页面。 在左侧导航树,选择“同步任务”。 单击“创建同步任务”。 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入“创建同步任务”页面。 选择源端/目的端。 1. 选择源端,具体参数说明参见表1。 表1 源端选择参数 参数 说明 数据源 待迁移的源端云服务提供商,包括: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云 七牛云 青云 百度云 金山云 优刻得 appID 如果源端云服务提供商为腾讯云,则需要输入该参数,appID 是您腾讯云账户的一个标识。 访问密钥 源端云服务提供商的访问密钥(AK)。最大长度是100个字符。 私有访问密钥 源端云服务提供商的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。 是否指定桶名 当您不具备列举桶权限,但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数,通过指定源端桶的路径来进行迁移。 设置说明参见表2。 表2 “是否指定桶名”的设置说明 如果... 那么... 开启“是否指定桶名” 在“选择区域”下拉框中选择源端桶所在区域。 在“桶名或路径”文本框中输入源端桶名或带桶名的路径。 单击“连接源端桶”。 对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,会提示连接桶成功。 关闭“是否指定桶名”(默认设置) 单击“列举源端桶”。 对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,且您的账号具有列举桶名的权限,则会在“桶名”中列举您名下的所有桶。 在“桶名”中选择待迁移数据所在的桶。 2. 选择目的端,具体参数参见表3。 表3 目的端选择参数 参数 说明 访问密钥 华为云的访问密钥(AK)。最大长度是100个字符。 私有访问密钥 华为云的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。 输入访问密钥和私有访问密钥后,请单击“连接目的端桶”。 桶名 存放迁移数据的华为云OBS桶。 单击“下一步”,设置任务参数。具体选项参见表4。 表4 任务参数 参数 说明 元数据迁移方式 忽略元数据:OMS只迁移源端ContentType元数据。 保留元数据:OMS会迁移支持范围内的元数据。 服务端加密 如果勾选“KMS”,所有数据在迁移到OBS服务后都将被加密存储。 说明: 使用KMS服务端加密可能会降低迁移速率10%左右。 当前区域支持KMS加密时,此参数才可用。 解冻归档数据 归档类型的对象存储要实现迁移,必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时,可以勾选此选项。 勾选:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。 注意: 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里云、金山云、腾讯云。 在数据迁移时,系统会对所有数据发起取回操作,源端云服务商会收取相应的API调用费用和存储费用。 默认取回时间为3天,当迁移对象数超过300 w或容量大小超过3 TB时,为避免迁移时间过长,数据再次归档后导致迁移失败,请选择迁移任务组方式迁移。 在迁移任务开始后,暂停/重启操作会导致所有取回重新执行,造成解冻周期延长、存储费用增加,请谨慎操作。 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目的端桶的存储类型保持一致,与源端对象存储类型无关。 不勾选:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。 说明: 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里云、金山云、腾讯云。 解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参考各云服务提供商的相关文档。 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是归档数据取回费用,这些均由源端云服务提供商向您收取。 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目的端桶的存储类型保持一致,与源端对象存储类型无关。 一致性校验 默认按照大小/最后修改时间策略进行校验。 单击“下一步”,进入确认信息页面。 确认同步任务信息的设置,并启动同步。 1. 浏览各项同步任务参数的设置是否正确。 如果有误,可以单击“上一步”返回之前的页面进行修改。 2. 单击“启动同步”。 提示任务提交成功。返回任务列表查看该同步任务。 关于状态说明,参见表5 同步任务状态。 表5 同步任务状态 状态 说明 同步中 表明源端对象存储服务的数据正在进行同步。 说明: 创建同步任务后,该任务状态显示为同步中,仅代表可以接受源端发送的同步请求并进行同步,需要您前往源端完成同步请求的配置,详情请参见源端配置同步请求。通过源端配置,使得源端新增/修改对象能够发送同步请求。配置完成后,您的数据将开始进行同步迁移。 已停止 表明停止对源端对象存储服务数据的同步。 说明: 如要停止对源端对象存储服务数据的同步,请先在源端执行暂停操作,建议等待十五分钟后,然后在同步任务页面单击“停止”。否则由于时间差可能会造成部分已接收到的同步请求对象同步失败。 操作同步任务。 1. 启动同步任务。 状态为“已停止”的同步任务,才可执行同步任务的重新启动。 停止后再次启动同步任务,出于安全考虑,系统不保存个人数据,需要重新输入源端,目的端访问密钥以及私有访问密钥,完成身份验证。 2. 停止同步任务。 状态为“同步中”的同步任务,才可执行同步任务的停止。 如要停止对源端对象存储服务数据的同步,请先在源端执行暂停操作,建议等待十五分钟后,然后在同步任务页面单击“停止”。否则由于时间差可能会造成部分已接收到的同步请求对象同步失败。 3. 删除同步任务。 状态为“已停止”的同步任务,才可执行同步任务的删除。
  • 前提条件 已注册华为账号并开通华为云,完成实名认证。 已获取源端和目的端账号的AK/SK。 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。获取方式参见源端桶权限获取。 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权限获取。 已在华为云OBS服务中创建桶。 您过去24小时内已创建的迁移任务未满1000000个。 您名下处于“等待中”状态的迁移任务未满1000000个。 您名下处于“同步中”状态的同步任务未满5个。
  • 创建源端和目的端的访问密钥(AK/SK)并授权 源端: 如果源端为华为云OBS桶,检查对应账号是否有AK/SK以及列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容等权限。如果没有,请参见创建访问密钥(AK/SK)和源端桶权限获取创建AK/SK并添加权限。 如果源端为其他云服务商,请参见各云服务商迁移教程中的准备工作创建AK/SK并添加权限。 目的端:请参见创建访问密钥(AK/SK)和目的端桶权限获取创建AK/SK并添加权限。