Haydn解决方案工厂-项目实施开发:CDM作业一键生成

时间:2023-11-01 16:24:59

CDM作业一键生成

云数据迁移CDM,是一种高效、易用的数据集成服务。Haydn集成CDM,支持批量生成CDM作业并在指定的CDM实例中运行。

前提:

  1. 已在实施责任人“HaydnTrial_TE”所属账号下创建CDM集群。
  2. 已在该CDM服务中创建数据连接,用户把在Haydn上生成的CDM作业同步至创建好的CDM集群中并执行作业。本实践中涉及两个源端MySQL数据库、一个目标端MRS Hudi,则需要先把这三个数据连接创建完成,参考新建CDM数据连接
    图10 CDM数据连接

步骤:

  1. 在“作业管理”下选择“CDM作业”页签,添加CDM实例。
    图11 添加CDM实例
  2. 点击【更多】按钮下的【一键生成作业】,进入作业配置详情页。
    图12 一键生成作业
  3. 配置作业详情。可手工添加或批量增加,若已在数据探源中生成入湖清单,则支持从入湖清单导入。
    • 源连接名称:选择源端系统连接,即,在数据探源中创建两个源端MySQL数据连接;
    • 目的连接名称:选择在数据探源中MRS-Hudi数据连接。
      图13 从入湖清单导入
  4. 配置完成后点击【提交】。可选择是否同步生成质量检查作业,若选择,则将会在实施质量检查作业中生成检查作业。
    图14 提交作业配置
    图15 作业信息

    要运行CDM作业,请确保有相应的数据连接以及连接的数据库存在,如,目标端MRS Hudi数据库要存在。

  5. 一键同步作业:将配置好的CDM作业同步至CDM集群中,以便后续可在CDM集群中执行作业。
    图16 一键同步作业
  6. 点击【同步历史】,查看同步历史。
    图17 查看同步历史

    您也可以进入CDM集群中查看作业并运行作业。

    图18 查看CDM集群作业
support.huaweicloud.com/bestpractice-haydncsf/haydncsf_06_0033.html