stics S3 s3:GetBucketPolicy AmazonS3ReadOnlyAccess s3:GetBucketLocation s3:GetBucketAcl s3:GetBucketVersioning s3:ListAllMyBuckets s3:GetLifecycleConfiguration
置)中的步骤1~步骤2 XEN实例变更为KVM实例(Linux-手动配置)中的步骤1~步骤3 源端为Windows主机,请参考XEN实例变更为KVM实例(Windows)中的步骤1~步骤3安装驱动。 迁移实施 跨可用区迁移的详细操作请参考小数量主机跨可用区迁移。 父主题: 可用区迁移
参数值:2 如果源端是阿里云 EMR并且配置了Spark 3来处理Delta Lake数据,请添加如下参数: 参数名:jars 参数值:'/opt/apps/DELTALAKE/deltalake-current/spark3-delta/delta-core_2.12-*.jar
金山云 KS3 七牛云 KODO 优刻得 US3 亚马逊 S3 微软云BLOB NAS_GFS(谷歌云文件系统) NAS_SMB(SMB/CIFS文件系统) NAS_NFS_V3_MOUNT(非标准NFSV3协议的文件系统) NAS_NFS_V3_PROTOCOL(标准NFSV3协议的文件系统)
参数值:2 如果源端是阿里云 EMR并且配置了Spark 3来处理Delta Lake数据,请添加如下参数: 参数名:jars 参数值:'/opt/apps/DELTALAKE/deltalake-current/spark3-delta/delta-core_2.12-*.jar
参数值:2 如果源端是阿里云 EMR并且配置了Spark 3来处理Delta Lake数据,请添加如下参数: 参数名:jars 参数值:'/opt/apps/DELTALAKE/deltalake-current/spark3-delta/delta-core_2.12-*.jar
/opt/cloud/MgC-Agent/tools/plugins/collectors/bigdata-migration/hadoop3 执行如下命令,删除目录下的旧包。 rm -f hadoop-c* hadoop-m* hadoop-y* zookeeper-* hbase-*
用户自定义。 集群 选择创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明 参数 说明 备注 数据站点类型 根据实际需求选择,推荐“NAS_NFS_V3_PROTOCOL(标准NFSV3协议的文件系统)”,以便获取更优的列举性能。 - 文件存储服务地址
参数值:2 如果源端是阿里云 EMR并且配置了Spark 3来处理Delta Lake数据,请添加如下参数: 参数名:jars 参数值:'/opt/apps/DELTALAKE/deltalake-current/spark3-delta/delta-core_2.12-*.jar
件。 分区上限:用于限制查询或处理的分区数量,避免不必要的全表扫描或处理大量不需要的数据。默认为3,取值范围:1~50。 例如,设置分区上限为3,系统只处理降序排序后分区列表中的前3个分区。 单SQL字段上限:每条SQL查询的表的字段上限。单SQL查询的字段数越多,执行时间越长,
件。 分区上限:用于限制查询或处理的分区数量,避免不必要的全表扫描或处理大量不需要的数据。默认为3,取值范围:1~50。 例如,设置分区上限为3,系统只处理降序排序后分区列表中的前3个分区。 单SQL字段上限:每条SQL查询的表的字段上限。单SQL查询的字段数越多,执行时间越长,
https://sms-resource-intl-ap-southeast-3.obs.ap-southeast-3.myhuaweicloud.com SMS服务域名 sms.ap-southeast-3.myhuaweicloud.com 源端主机需要能够访问下表依赖服务的域名。
查看迁移实时状态 当主机工作流进行到“全量复制”和“增量同步”步骤时,如图3所示,单击资源的任务详情,可以直接跳转到SMS控制台的对应迁移任务详情页面,查看源端服务器详情、目的端配置信息、迁移状态以及错误信息提示等,如图4所示。 图3 主机迁移阶段 图4 SMS迁移任务详情 保留SMS迁移任务
master节点为系统默认创建,无需配置。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明 参数 说明 备注 数据站点类型 目前支持迁移的源端存储类型包括: 华为云 OBS 阿里云 OSS 百度云 BOS 腾讯云 COS 金山云 KS3 七牛云 KODO 优刻得 US3 亚马逊 S3 微软云BLOB NAS_GFS(谷歌云文件系统)
元数据连接为MaxCompute类型时,该参数为必填参数,不能为空。其他元数据连接类型,该参数为可选参数,不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和MgC Agent所安装主机的计算资源。 参数配置完成后,单击“确认”按钮,创建元数据同步任务完成。
元数据连接为MaxCompute类型时,该参数为必填参数,不能为空。其他元数据连接类型,该参数为可选参数,不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和MgC Agent所安装主机的计算资源。 参数配置完成后,单击“确认”按钮,创建元数据同步任务完成。
master节点为系统默认创建,无需配置。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明 参数 说明 备注 数据站点类型 目前支持迁移的源端存储类型包括: 华为云 OBS 阿里云 OSS 百度云 BOS 腾讯云 COS 金山云 KS3 七牛云 KODO 优刻得 US3 亚马逊 S3 微软云BLOB NAS_GFS(谷歌云文件系统)
ping 通远程服务器。如果可以ping通,请执行步骤2。 确认远程服务器的 WinRM 服务5985端口是否已对执行机开放。确认开放请执行步骤3。 检查远程服务器的登录凭证是否正确。确认凭证正确无误后,请执行后续步骤。 登录连接失败的远程服务器,以管理员身份打开 PowerShell。
法列表,找出不在步骤2.提供的默认变量值中的算法。然后参考表3,根据实际的错误信息选择对应的处理方法。 例如,“serverProposal=”后的算法列表中包括“ed25519”,但默认变量值中没有包含该算法。 表3 错误信息和处理方法 错误信息 处理方法 algorithmN
果在填写问卷时有疑问,或者需要咨询专业团队的意见,可以单击页面右上角的“导出”按钮,导出问卷,待专业团队进行分析并答复后,再导入问卷。 图3 导出、导入问卷 确定所有问卷问题的答复后,单击页面右上角的“保存”按钮,运维架构调研完成。 父主题: 上云调研