检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数值:2 如果源端是阿里云 EMR并且配置了Spark 3来处理Delta Lake数据,请添加如下参数: 参数名:jars 参数值:'/opt/apps/DELTALAKE/deltalake-current/spark3-delta/delta-core_2.12-*.jar
参数值:2 如果源端是阿里云 EMR并且配置了Spark 3来处理Delta Lake数据,请添加如下参数: 参数名:jars 参数值:'/opt/apps/DELTALAKE/deltalake-current/spark3-delta/delta-core_2.12-*.jar
参数值:2 如果源端是阿里云 EMR并且配置了Spark 3来处理Delta Lake数据,请添加如下参数: 参数名:jars 参数值:'/opt/apps/DELTALAKE/deltalake-current/spark3-delta/delta-core_2.12-*.jar
金山云 KS3 七牛云 KODO 优刻得 US3 亚马逊 S3 微软云BLOB NAS_GFS(谷歌云文件系统) NAS_SMB(SMB/CIFS文件系统) NAS_NFS_V3_MOUNT(非标准NFSV3协议的文件系统) NAS_NFS_V3_PROTOCOL(标准NFSV3协议的文件系统)
/opt/cloud/MgC-Agent/tools/plugins/collectors/bigdata-migration/hadoop3 执行如下命令,删除目录下的旧包。 rm -f hadoop-c* hadoop-m* hadoop-y* zookeeper-* hbase-*
参数值:2 如果源端是阿里云 EMR并且配置了Spark 3来处理Delta Lake数据,请添加如下参数: 参数名:jars 参数值:'/opt/apps/DELTALAKE/deltalake-current/spark3-delta/delta-core_2.12-*.jar
件。 分区上限:用于限制查询或处理的分区数量,避免不必要的全表扫描或处理大量不需要的数据。默认为3,取值范围:1~50。 例如,设置分区上限为3,系统只处理降序排序后分区列表中的前3个分区。 单SQL字段上限:每条SQL查询的表的字段上限。单SQL查询的字段数越多,执行时间越长,
https://sms-resource-intl-ap-southeast-3.obs.ap-southeast-3.myhuaweicloud.com SMS服务域名 sms.ap-southeast-3.myhuaweicloud.com 源端主机需要能够访问下表依赖服务的域名。
件。 分区上限:用于限制查询或处理的分区数量,避免不必要的全表扫描或处理大量不需要的数据。默认为3,取值范围:1~50。 例如,设置分区上限为3,系统只处理降序排序后分区列表中的前3个分区。 单SQL字段上限:每条SQL查询的表的字段上限。单SQL查询的字段数越多,执行时间越长,
查看迁移实时状态 当主机工作流进行到“全量复制”和“增量同步”步骤时,如图3所示,单击资源的任务详情,可以直接跳转到SMS控制台的对应迁移任务详情页面,查看源端服务器详情、目的端配置信息、迁移状态以及错误信息提示等,如图4所示。 图3 主机迁移阶段 图4 SMS迁移任务详情 保留SMS迁移任务
用户自定义。 集群 选择创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明 参数 说明 备注 数据站点类型 根据实际需求选择,推荐“NAS_NFS_V3_PROTOCOL(标准NFSV3协议的文件系统)”,以便获取更优的列举性能。 - 文件存储服务地址
元数据连接为MaxCompute类型时,该参数为必填参数,不能为空。其他元数据连接类型,该参数为可选参数,不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和MgC Agent所安装主机的计算资源。 参数配置完成后,单击“确认”按钮,创建元数据同步任务完成。
元数据连接为MaxCompute类型时,该参数为必填参数,不能为空。其他元数据连接类型,该参数为可选参数,不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和MgC Agent所安装主机的计算资源。 参数配置完成后,单击“确认”按钮,创建元数据同步任务完成。
ping 通远程服务器。如果可以ping通,请执行步骤2。 确认远程服务器的 WinRM 服务5985端口是否已对执行机开放。确认开放请执行步骤3。 检查远程服务器的登录凭证是否正确。确认凭证正确无误后,请执行后续步骤。 登录连接失败的远程服务器,以管理员身份打开 PowerShell。
master节点为系统默认创建,无需配置。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明 参数 说明 备注 数据站点类型 目前支持迁移的源端存储类型包括: 华为云 OBS 阿里云 OSS 百度云 BOS 腾讯云 COS 金山云 KS3 七牛云 KODO 优刻得 US3 亚马逊 S3 微软云BLOB NAS_GFS(谷歌云文件系统)
果在填写问卷时有疑问,或者需要咨询专业团队的意见,可以单击页面右上角的“导出”按钮,导出问卷,待专业团队进行分析并答复后,再导入问卷。 图3 导出、导入问卷 确定所有问卷问题的答复后,单击页面右上角的“保存”按钮,运维架构调研完成。 父主题: 上云调研
master节点为系统默认创建,无需配置。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明 参数 说明 备注 数据站点类型 目前支持迁移的源端存储类型包括: 华为云 OBS 阿里云 OSS 百度云 BOS 腾讯云 COS 金山云 KS3 七牛云 KODO 优刻得 US3 亚马逊 S3 微软 Blob NAS_GFS
以访问。命令格式分别为:ping {源端主机IP地址}、telnet {源端主机IP地址} {端口}。 如果IP和端口均能连通,请执行步骤3.。 如果IP或端口不通,请检查源端主机安全组入方向规则中,协议端口号为TCP:22和ICMP:全部的源地址是否配置为安装MgC Agent
登录MgC Agent控制台。 在左侧导航树选择“资源管理”,进入资源列表页面。 单击列表上方的“添加资源”按钮,弹出添加资源窗口。 根据表3,配置参数。 表3 添加资源参数说明 参数 说明 资源名称 支持用户自定义。 资源类型 支持下拉框选择:REDIS。 接入方式 输入接入IP,资源的
在资源采集页面的资源列表,单击主机资源的资源数量,进入资源列表页面的主机页签。 单击主机采集设备列表或凭证列的“配置”,弹出配置窗口。 根据表3,配置参数。 表3 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。 接入IP