云服务器内容精选

  • 适用场景 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。 OMS 默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。 在迁移过程中,系统将自动在目的端桶创建一个名为“OMS”的临时文件夹。严禁手动操作此文件夹,包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。
  • 前提条件 已 注册华为账号 并开通华为云,完成实名认证。 已获取源端和目的端账号的AK/SK。 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。获取方式参见源端桶权限获取。 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权限获取。 已在华为云OBS服务中创建桶。 24小时内,单个Region内创建迁移任务组数量未满300个。 您过去24小时内已创建的迁移任务未满1000000个。 您名下处于“等待中”状态的迁移任务未满1000000个。
  • 背景信息 对象存储迁移 服务支持迁移以下的源端云服务商或数据源类型: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云 七牛云 青云 百度云 金山云 优刻得 HTTP/HTTPS数据源 本节以华为云为源端数据源为例进行介绍,其余云服务商创建迁移任务组的详细步骤,您可以参考各云服务商迁移教程。 迁移过程中,对象存储迁移服务会调用源端云服务提供商的 对象存储服务 接口,所产生的费用都遵从源端云服务提供商的计费规则并由其向您收取。
  • 响应参数 状态码:200 表10 响应Body参数 参数 参数类型 描述 group_id String 创建的迁移任务组id 最小长度:1 最大长度:100 状态码:400 表11 响应Body参数 参数 参数类型 描述 error_msg String 错误信息。 error_code String 错误码。 状态码:403 表12 响应Body参数 参数 参数类型 描述 error_msg String 错误信息。 error_code String 错误码。 状态码:500 表13 响应Body参数 参数 参数类型 描述 error_msg String 错误信息。 error_code String 错误码。
  • 请求示例 创建迁移任务组任务,以hw/目录下的txt文件中的对象列表信息作为华为云桶bucket的源端数据,迁移至目的端桶zzww。 POST https://{endpoint}/v2/{project_id}/taskgroups { "enable_failed_object_recording" : true, "src_node" : { "bucket" : "hw-src", "cloud_type" : "HuaweiCloud", "ak" : "******", "sk" : "******", "region" : "cn-north-7", "list_file" : { "obs_bucket" : "list-file-bucket", "list_file_key" : "hw/" } }, "enable_kms" : false, "task_type" : "LIST", "enable_restore" : false, "dst_node" : { "bucket" : "zzww", "cloud_type" : "HEC", "ak" : "******", "sk" : "******", "region" : "cn-north-7" }, "enable_metadata_migration" : true } 创建迁移任务组任务,将前缀为Objectlist的对象从源端桶src-bucket迁移至目的端桶dst-bucket。 POST https://{endpoint}/v2/{project_id}/taskgroups { "src_node" : { "region" : "cn-north-4", "ak" : "******", "sk" : "******.", "bucket" : "src-bucket", "cloud_type" : "HuaweiCloud", "object_key" : [ "Objectlist" ] }, "dst_node" : { "region" : "cn-north-4", "ak" : "******", "sk" : "******", "bucket" : "dst-bucket" }, "task_type" : "PREFIX", "enable_failed_object_recording" : true, "enable_kms" : false, "bandwidth_policy" : [ { "max_bandwidth" : 1048576, "start" : "00:01", "end" : "23:59" } ] } 创建迁移任务组任务,以test01/路径下的txt文件作为URL列表目录,迁移至目的端桶jjyy。 POST https://{endpoint}/v2/{project_id}/taskgroups { "src_node" : { "cloud_type" : "URLSource", "list_file" : { "obs_bucket" : "url-file-bucket", "list_file_key" : "test01/" } }, "description" : "", "dst_node" : { "region" : "cn-north-4", "ak" : "******", "sk" : "******.", "bucket" : "jjyy", "cloud_type" : "HEC" }, "enable_failed_object_recording" : true, "enable_restore" : false, "enable_metadata_migration" : false, "enable_kms" : false, "task_type" : "URL_LIST" }
  • 查看迁移任务组详情 登录管理控制台,进入“对象存储迁移服务”页面。 在左侧导航树,选择“迁移任务组”。 右侧切换到“迁移任务组”页面。 在迁移任务组列表的右上角,设置迁移状态以过滤任务组。 任务组状态说明参见表1。 表1 迁移任务组状态 状态 说明 等待中 迁移任务组创建后正在进行后台初始化操作。 创建任务 正在创建任务组中的迁移任务。 监控任务执行 任务组中的迁移任务正在进行中。 暂停 任务组中的迁移任务已暂停,可手动恢复。 创建任务失败 任务组中的迁移任务创建失败。 迁移失败 未成功完成迁移。失败的任务可手动重启。 迁移完成 已正常完成迁移。 暂停中 正在暂停任务组中的迁移任务。 等待删除中 任务组中的迁移任务正在启动删除。 删除中 正在删除任务组中的迁移任务。 单击“任务组ID”,可查看已迁移对象数/对象总数、任务进度、迁移速率、源端/目的端信息以及您在创建迁移任务时设置的各项参数信息。
  • 设置流量控制策略 迁移过程中,您可以根据实际情况,随时新增/修改/删除流量控制策略。 登录管理控制台,进入“对象存储迁移服务”页面。 在迁移任务组列表,找到需要新增/修改/删除流量控制策略的任务组。单击“任务组ID”。 单击“流量控制”旁边的按钮。 如需新增流量控制,单击“新增流量控制”,设置“开始时间”、“结束时间”和“限制最大流量”。 如需修改流量控制,根据您的实际要求,修改“开始时间”、“结束时间”和“限制最大流量”。 如需删除流量控制,单击对应记录操作列的按钮。 限制最大流量的数值范围:1~ 200MB/s 。 最多可以创建5条记录。参数中流量控制策略的时间不能重叠。 单击“确定”,完成流量控制策略设置。
  • 查看迁移记录 迁移过程中,会生成迁移记录如成功对象、失败对象、忽略对象等列表文件,存放在您的目的桶中。 获取对象列表的方法请参见下表。 如果... 那么... 已迁移对象数大于0 在任务详情中找到“成功对象列表路径”,单击路径链接跳转到OBS控制台,下载相应的txt文件,查看成功对象列表。 说明: 成功对象列表路径说明:oms/task_group/任务组ID/success_object_lists/任务名称/时间戳.success_list.txt。 忽略对象数大于0 在任务详情中找到“忽略对象列表路径”,单击路径链接跳转到OBS控制台,下载相应的txt文件,查看忽略对象列表。 说明: 忽略对象列表路径说明:oms/task_group/任务组ID/skip_object_lists/任务名称/时间戳.skip_list.txt。 失败对象数大于0 在任务详情中找到“失败对象列表路径”,单击路径链接跳转到OBS控制台,下载相应的txt文件,查看失败对象列表。 说明: 失败对象列表路径说明:oms/task_group/任务组ID/ failed_object_lists/任务名称/时间戳.failed_list.txt 失败对象列表错误码详细说明参见查看失败对象列表。