检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SMB -> OBS OBS -> SMB 最大长度(路径+指定前缀)限制为32767字节。 最大文件夹长度限制为226字节。 NAS -> SMB 父主题: 存储迁移
当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会出现同名对象。
从OBS到NAS的异构迁移过程中,由于OBS允许大小写不同的同名对象/文件/文件夹存在,而文件系统不允许任何形式的同名文件/文件夹,因此源端OBS中大小写不同的同名文件/文件夹将根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会出现同名文件/文件夹
对象存储终端节点 填写日志桶所在区域的终端节点(Endpiont),获取方法请参见地区和终端节点。单击“校验”,获取桶列表。 桶名称 在下拉列表中,选择需要作为日志桶的桶名。 自定义文件夹(可选) 指定日志文件和内容校验结果在日志桶内的存放文件夹,填写以“/”开头的文件夹路径。
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? OBS迁移到NAS,如果源端存在同名但大小写不同的对象,会如何处理?
通过HTTP迁移Ceph存储数据到华为云OBS 本文介绍如何使用迁移中心(MgC)的存储迁移工作流,实现通过HTTP协议将Ceph存储的数据迁移至华为云对象存储服务(OBS)的方法。
说明: 在数据迁移时,系统会对所有数据发起取回操作,源端云服务商会收取相应的API调用费用和存储费用。 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解冻归档数据功能直接迁移,需要在源端先手动解冻后再迁移。
通过HTTP迁移MinIO存储数据到华为云OBS 本文介绍如何使用迁移中心(MgC)的存储迁移工作流,实现通过HTTP协议将MinIO存储的数据迁移至华为云对象存储服务(OBS)的方法。
已在OBS服务中创建桶。 操作步骤 在阿里云OSS生成桶清单。 登录阿里云OSS控制台,单击Bucket列表。 进入Bucket列表,单击对应的Bucket名称。 进入文件列表页面,单击数据管理>Bucket清单。
spark.hadoop.odps.end.point:填写源端MaxCompute服务所在地域的VPC网络Endpoint信息。各地域VPC网络Endpoint信息请参考Endpoint对照表。
使用CDN迁移 通过列表迁移方式迁移对象存储数据
存储类型介绍 各云厂商的对象存储服务针对用户业务对存储性能、成本的不同诉求,将对象的存储级别进行了区分,区分的普遍依据是对象的访问频度、访问时延、最低存储时间、最低存储单元、数据可靠性、数据可用性等。
例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog.tableWriteProvider 填写tunnel
例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog.tableWriteProvider 填写tunnel
对象存储迁移计费说明 在进行对象存储迁移过程中,会产生华为云OBS、源端云厂商API请求费用,详情请参考OMS计费说明。 创建迁移集群计费说明 在创建迁移集群时,会产生以下费用: 创建Master节点、迁移节点和列举节点会产生ECS服务费用。
使用CDN迁移 MGC支持微软云BLOB、腾讯云COS、七牛云KODO、金山云KS3、阿里云OSS、亚马逊S3等云服务厂商使用CDN迁移。 约束与限制 通常使用CDN迁移比直连OBS迁移速度要慢。 当前只支持手动校验密钥是否正确和域名是否可以正常解析。
确保该AK/SK具备以下最小权限要求: 拥有OSS服务的只读权限:AliyunReadOnlyAccess 拥有MaxCompute服务的只读权限:AliyunMaxComputeReadOnlyAccess 配置权限的方法参考为RAM用户授权。
确保该AK/SK具备以下最小权限要求: 拥有OSS服务的只读权限:AliyunReadOnlyAccess 拥有MaxCompute服务的只读权限:AliyunMaxComputeReadOnlyAccess 配置权限的方法参考为RAM用户授权。
使用OBS桶:用于配置OBS桶后,将大数据任务日志文件上传到OBS桶。 前提条件 已成功连接迁移中心。 配置华为云凭证 在MgC Agent(原Edge)控制台的总览页面,单击页面右上角的“查看配置”按钮,右侧弹出连接配置窗口。 在华为云账号框中,单击“配置”按钮。
对象存储迁移服务 (Object Storage Migration Service,OMS) 提供对象存储迁移能力,可以将其他云平台对象存储服务中的数据迁移至华为云对象存储服务OBS中。