适用场景 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景，迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。 OMS 默认会将等待超过30天未调度的任务自动设置为失败，并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中，请控制创建任务的频率。 如果单个对象大小超过500G，建议您通过提交工单的方式，开通并发分片白名单配置，提升迁移速率。 在迁移过程中，系统将自动在目的端桶创建一个名为“OMS”的临时文件夹。严禁手动操作此文件夹，包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。

前提条件 已 注册华为账号 并开通华为云，完成实名认证。 已获取源端和目的端账号的AK/SK。 源端桶对应账户需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容。获取方式参见源端桶权限获取。 目的端桶需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容，上传对象，列举已上传段，取回归档存储对象。获取方式参见目的端桶权限获取。 已在华为云OBS服务中创建桶。 24小时内，单个Region内创建迁移任务组数量未满300个。 您过去24小时内已创建的迁移任务未满1000000个。 您名下处于“等待中”状态的迁移任务未满1000000个。

背景信息 对象存储迁移 服务支持迁移以下的源端云服务商或数据源类型： 华为云 亚马逊云（中国） 阿里云 微软云 腾讯云 谷歌云 七牛云 青云 百度云 金山云 优刻得 HTTP/HTTPS数据源 本节以华为云为源端数据源为例进行介绍，其余云服务商创建迁移任务组的详细步骤，您可以参考各云服务商迁移教程。 迁移过程中，对象存储迁移服务会调用源端云服务提供商的 对象存储服务 接口，所产生的费用都遵从源端云服务提供商的计费规则并由其向您收取。

前提条件 已注册华为账号并开通华为云，完成实名认证。 已获取源端和目的端账号的AK/SK。 源端桶对应账户需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容。获取方式参见源端桶权限获取。 目的端桶需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容，上传对象，列举已上传段，取回归档存储对象。获取方式参见目的端桶权限获取。 已在OBS服务中创建桶。 您过去24小时内已创建的迁移任务未满1000000个。 您名下处于“等待中”状态的迁移任务未满1000000个。

适用场景 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景，通过创建对象存储迁移任务，可将对象数据进行快速迁移。 如果单个桶数据量大于3 TB或对象个数大于500万，建议您创建迁移任务组来进行迁移。若需更高的迁移效率，建议使用迁移中心MgC的存储迁移工作流进行迁移。迁移中心MgC提供独享的集群资源，能够动态扩展迁移性能，最高支持20Gbit/s带宽。 OMS默认会将等待超过30天未调度的任务自动设置为失败，并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中，请控制创建任务的频率。 如果单个对象大小超过500G，建议您通过提交工单的方式，开通并发分片白名单配置，提升迁移速率。 在迁移过程中，系统将自动在目的端桶创建一个名为“OMS”的临时文件夹。严禁手动操作此文件夹，包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。

响应参数 状态码：200 表10 响应Body参数 参数 参数类型 描述 group_id String 创建的迁移任务组id 最小长度：1 最大长度：100 状态码：400 表11 响应Body参数 参数 参数类型 描述 error_msg String 错误信息。 error_code String 错误码。 状态码：403 表12 响应Body参数 参数 参数类型 描述 error_msg String 错误信息。 error_code String 错误码。 状态码：500 表13 响应Body参数 参数 参数类型 描述 error_msg String 错误信息。 error_code String 错误码。

请求示例 创建迁移任务组任务，以hw/目录下的txt文件中的对象列表信息作为华为云桶bucket的源端数据，迁移至目的端桶zzww。 POST https://{endpoint}/v2/{project_id}/taskgroups { "enable_failed_object_recording" : true, "src_node" : { "bucket" : "hw-src", "cloud_type" : "HuaweiCloud", "ak" : "******", "sk" : "******", "region" : "cn-north-7", "list_file" : { "obs_bucket" : "list-file-bucket", "list_file_key" : "hw/" } }, "enable_kms" : false, "task_type" : "LIST", "enable_restore" : false, "dst_node" : { "bucket" : "zzww", "cloud_type" : "HEC", "ak" : "******", "sk" : "******", "region" : "cn-north-7" }, "enable_metadata_migration" : true } 创建迁移任务组任务，将前缀为Objectlist的对象从源端桶src-bucket迁移至目的端桶dst-bucket。 POST https://{endpoint}/v2/{project_id}/taskgroups { "src_node" : { "region" : "cn-north-4", "ak" : "******", "sk" : "******.", "bucket" : "src-bucket", "cloud_type" : "HuaweiCloud", "object_key" : [ "Objectlist" ] }, "dst_node" : { "region" : "cn-north-4", "ak" : "******", "sk" : "******", "bucket" : "dst-bucket" }, "task_type" : "PREFIX", "enable_failed_object_recording" : true, "enable_kms" : false, "bandwidth_policy" : [ { "max_bandwidth" : 1048576, "start" : "00:01", "end" : "23:59" } ] } 创建迁移任务组任务，以test01/路径下的txt文件作为URL列表目录，迁移至目的端桶jjyy。 POST https://{endpoint}/v2/{project_id}/taskgroups { "src_node" : { "cloud_type" : "URLSource", "list_file" : { "obs_bucket" : "url-file-bucket", "list_file_key" : "test01/" } }, "description" : "", "dst_node" : { "region" : "cn-north-4", "ak" : "******", "sk" : "******.", "bucket" : "jjyy", "cloud_type" : "HEC" }, "enable_failed_object_recording" : true, "enable_restore" : false, "enable_metadata_migration" : false, "enable_kms" : false, "task_type" : "URL_LIST" }

请求示例 将group_id为xxxxxxxx的任务的限速时段设置为00:01-23:59，限速值设置为50000000Byte/s /v2/{project_id}/tasks/batch-update { "group_id" : "xxxxxxxx", "bandwidth_policy" : [ { "start" : "00:01", "end" : "23:59", "max_bandwidth" : 50000000 } ] } 将id为111,222的任务的限速时段设置为00:01-23:59，限速值设置为50000000Byte/s /v2/{project_id}/tasks/batch-update { "ids" : [ 111, 222 ], "bandwidth_policy" : [ { "start" : "00:01", "end" : "23:59", "max_bandwidth" : 50000000 } ] }

查看迁移任务组详情 登录管理控制台，进入“对象存储迁移服务”页面。 在左侧导航树，选择“迁移任务组”。 右侧切换到“迁移任务组”页面。 在迁移任务组列表的右上角，设置迁移状态以过滤任务组。 任务组状态说明参见表1。 表1 迁移任务组状态 状态 说明 等待中 迁移任务组创建后正在进行后台初始化操作。 创建任务 正在创建任务组中的迁移任务。 监控任务执行 任务组中的迁移任务正在进行中。 暂停 任务组中的迁移任务已暂停，可手动恢复。 创建任务失败 任务组中的迁移任务创建失败。 迁移失败 未成功完成迁移。失败的任务可手动重启。 迁移完成 已正常完成迁移。 暂停中 正在暂停任务组中的迁移任务。 等待删除中 任务组中的迁移任务正在启动删除。 删除中 正在删除任务组中的迁移任务。 单击“任务组ID”，可查看已迁移对象数/对象总数、任务进度、迁移速率、源端/目的端信息以及您在创建迁移任务时设置的各项参数信息。

设置流量控制策略 迁移过程中，您可以根据实际情况，随时新增/修改/删除流量控制策略。 登录管理控制台，进入“对象存储迁移服务”页面。 在迁移任务组列表，找到需要新增/修改/删除流量控制策略的任务组。单击“任务组ID”。 单击“流量控制”旁边的按钮。 如需新增流量控制，单击“新增流量控制”，设置“开始时间”、“结束时间”和“限制最大流量”。 如需修改流量控制，根据您的实际要求，修改“开始时间”、“结束时间”和“限制最大流量”。 如需删除流量控制，单击对应记录操作列的按钮。 限制最大流量的数值范围：1~ 200MB/s 。 最多可以创建5条记录。参数中流量控制策略的时间不能重叠。 单击“确定”，完成流量控制策略设置。

查看迁移记录 迁移过程中，会生成迁移记录如成功对象、失败对象、忽略对象等列表文件，存放在您的目的桶中。 获取对象列表的方法请参见下表。 如果... 那么... 已迁移对象数大于0 在任务详情中找到“成功对象列表路径”，单击路径链接跳转到OBS控制台，下载相应的txt文件，查看成功对象列表。 说明： 成功对象列表路径说明：oms/task_group/任务组ID/success_object_lists/任务名称/时间戳.success_list.txt。 忽略对象数大于0 在任务详情中找到“忽略对象列表路径”，单击路径链接跳转到OBS控制台，下载相应的txt文件，查看忽略对象列表。 说明： 忽略对象列表路径说明：oms/task_group/任务组ID/skip_object_lists/任务名称/时间戳.skip_list.txt。 失败对象数大于0 在任务详情中找到“失败对象列表路径”，单击路径链接跳转到OBS控制台，下载相应的txt文件，查看失败对象列表。 说明： 失败对象列表路径说明：oms/task_group/任务组ID/ failed_object_lists/任务名称/时间戳.failed_list.txt 失败对象列表错误码详细说明参见查看失败对象列表。

操作步骤 登录 主机迁移服务 管理控制台。 在左侧导航树中，单击“迁移服务器”，进入迁移服务器列表页面。 在迁移服务器列表页面找到待迁移的服务器，单击“迁移阶段/实时状态”或“操作”列的“开始”，右侧弹出“开始”窗口，单击“确定”，开始全量复制。 或勾选待迁移的服务器，单击服务器列表上方的“开始”，右侧弹出“开始”窗口，单击“确定”，开始全量复制。 图1 开始全量复制 在全量复制过程中，系统默认将您的目的端锁定并不可操作，迁移完成后将自动解锁目的端服务器。如您在迁移过程中，需要操作目的端，可解锁目的端，具体操作参见解锁目的端。 迁移过程中，您可以在服务器列表中，单击源端服务器名称，查看迁移进度。 全量复制完成。 在设置迁移目的端“持续同步”选择“否”时，全量复制完成后系统会自动进入下一步：启动目的端，并且启动目的端无需手动操作，系统会自动启动目的端。 在设置迁移目的端“持续同步”选择“是”时，“迁移实时状态”为“持续同步”，说明全量复制已完成。在“启动目的端”之前，系统会自动把源端新增或修改的磁盘数据持续同步到目的端。“启动目的端”需要手动操作，您可参考启动目的端来启动目的端。 在 主机迁移 并割接完成后，通常还需要您根据业务需要对目的端服务器进行一些额外的配置调整。详细介绍请参考主机迁移完成后还需要手动修改哪些配置项？

系统模板介绍 Logstash集群预置了常见的几种Logstash配置文件模板，请参见表1。 表1 Logstash配置文件的系统模板 名称 描述 具体介绍 redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明 elasticsearch 从Elasticsearch类型集群导入数据到Elasticsearch类型集群。 elasticsearch模板说明 jdbc 从jdbc导入数据到Elasticsearch类型集群。 jdbc模板说明 kafka 从kafka导入数据到Elasticsearch类型集群。 kafka模板说明 beats 从beats导入数据到Elasticsearch类型集群。 dis模板说明 dis 从dis导入数据到Elasticsearch类型集群。 beats模板说明