迁移流程 对象存储迁移服务 OMS的迁移工作原理图,如图1所示。 图1 迁移工作原理图 迁移工作流程说明: OMS服务请求获取一定数量的源端对象列表。 源端响应对象列表。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。
数据迁移 根据迁移配置,华为云OMS服务会开始从源端存储系统拉取数据。同时,服务会确保数据的完整性和一致性,避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能,当迁移过程中出现网络中断或其他异常情况时,服务可以从断点处恢复传输,确保数据的完整性和迁移的连续性。
特殊场景迁移实践 迁移归档存储数据 设置“保存到指定前缀”参数
请求方法 HTTP请求方法(也称为操作或动词),它告诉服务你正在请求什么类型的操作。 表2 HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。
查询API版本 功能介绍 查询对象存储迁移服务的API版本信息。 URI GET /v1/{project_id}/objectstorage/version 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。
API V2(推荐) 查询API版本信息 迁移任务管理 同步任务 迁移任务组管理 桶操作 云服务 区域
使用gs_logical_decode_start_observe函数进行监控时,如果复制槽状态为非active,则会报“invalid slot name”错误。 函数解码不支持'\0'字符。 逻辑解码支持的最小节点规格是8U64G,低于该规格不建议使用逻辑解码。
注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
表9 RemoteConstraint 参数 是否必选 参数类型 描述 data_type 否 String 参数解释:数据输入类型,支持数据存储位置(OBS)、ModelArts数据集两种方式。 约束限制:不涉及。 取值范围:不涉及。 默认取值:不涉及。
此类镜像为最基础的镜像,主要应对用户做自定义镜像时基础镜像太大的问题,所以镜像中未安装任何组件;如果需使用OBS SDK相关功能,推荐使用ModelArts SDK进行文件复制等操作,详细操作请参考文件传输。
各云服务商配置同步请求教程 阿里云OSS配置同步请求 腾讯云COS配置同步请求
支持的源端云服务商和数据类型 迁移任务支持的源端云服务商和数据类型包括: 华为云 亚马逊云 阿里云 微软云 腾讯云 谷歌云 七牛云 青云 百度云 金山云 优刻得 HTTP/HTTPS数据源 支持的功能 功能 说明 创建迁移任务 创建对象存储任务,对您的对象数据实施迁移。
业务割接方案最佳实践 使用“回源配置方案”迁移增量对象数据 使用“源端/目的端双写方案”方案迁移增量对象数据 使用"多次同步方案"迁移增量对象数据
迁移任务组 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。以组的方式进行管理,包括进度查询,暂停恢复,失败重启等。 迁移任务组相较于迁移任务,提供更快的迁移速度和可靠性,便于灵活识别异常对象并快速恢复
Token可通过调用获取用户Token接口获取,调用本服务API需要project级别的Token,即调用获取用户Token接口时,请求body中auth.scope的取值需要选择project,如下所示。
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于管理员创建IAM用户接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头
区域 查询云厂商支持的reigon 父主题: API V2(推荐)
400 Common.0011 No jobs found. jobId为空。 传递正确的jobID。 400 Common.0011 query job fail. 通过JobID查询JobVO错误。
根据适用范围,分为全局级条件键和服务级条件键。 全局级条件键(前缀为g:)适用于所有操作,在鉴权过程中,云服务不需要提供用户身份信息,系统将自动获取并鉴权。详情请参见:全局条件键。 服务级条件键(前缀通常为服务缩写,如cfw:)仅适用于对应服务的操作,详情请参见表4。
服务器接收到该对象后,会将其表示的操作应用于目标JSON对象。 在RFC7386协议的定义中,Merge Patch必须包含对一个资源对象的部分描述,即为JSON对象。该JSON对象被提交到服务端后与服务端的当前对象合并,即替换当前资源对象中的列表域,从而创建一个新的对象。