-
管理集群配置 - 云数据迁移 CDM
管理集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时,能够简化复杂的连接参数配置,如图1所示。
-
管理单个作业 - 云数据迁移 CDM
删除作业:选择作业操作列的“更多 > 删除”可删除作业。 停止作业:选择作业操作列的“更多 > 停止”可停止作业。 查看作业JSON:选择作业操作列的“更多 > 查看作业JSON”,可查看该作业的JSON定义。
-
执行Spark SQL写入Hudi失败怎么办? - 云数据迁移 CDM
解决方法 在DataArts Studio或者Hue或者spark-beeline上执行drop table将表从metastore中删除,然后作业配置 “不存在时创建”重跑作业。或者删除后自己执行建表语句重建一个Hudi表。 对于MOR表来说,删表需要把ro与rt表也同时删除。
-
作业从旧集群导出,再导入到新的集群失败怎么解决? - 云数据迁移 CDM
让客户在导出的json 文件中将删除以下配置项,重新导入作业到新集群,导入成功。
-
管理集群标签 - 云数据迁移 CDM
(可选)在标签列表中,单击标签操作列“删除”,删除CDM集群标签。 通过以下两种方式筛选出所配置标签的资源。 在标签管理服务中,选择资源搜索条件,单击“搜索”即可筛选出所配置标签的资源。 在集群列表中,单击标签搜索,筛选出所配置标签的资源。 父主题: 管理集群
-
步骤2:创建连接 - 云数据迁移 CDM
前提条件 已拥有RDS for MySQL实例,已获取连接MySQL数据库的数据库名称、用户名、密码,且拥有MySQL数据库的读、写和删除权限。 已拥有DWS集群,已获取连接DWS数据库的数据库名称、用户名、密码,且拥有DWS数据库的读、写和删除权限。
-
不支持数据类型转换规避指导 - 云数据迁移 CDM
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。
-
如何使用Java调用CDM的Rest API创建数据迁移作业? - 云数据迁移 CDM
这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例,介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。 需要提前准备以下数据: 云账号的用户名、账号名和项目ID。 创建一个CDM集群,并获取集群ID。
-
作业任务参数说明 - 云数据迁移 CDM
作业运行完是否删除:可选择是否自动删除作业。
-
文件增量迁移 - 云数据迁移 CDM
这种增量迁移方式,只追加写入文件,不会更新或删除已存在的记录。 关键配置:文件/路径过滤器+定时执行作业。 前提条件:源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。