Haydn解决方案工厂-项目实施开发:ETL 一键同步

时间:2023-11-01 16:24:59

ETL 一键同步

数据治理中心DataArts Studio是针对企业数字化运营诉求提供的具有数据全生命周期管理和智能数据管理能力的一站式治理运营平台,Haydn集成DataArts Studio,支持将方案设计中“ETL映射设计”部分形成的ETL脚本同步到DataArts Studio作业指定的目录。

前提:

  1. 已在实施责任人“HaydnTrial_TE”所属账号下开通DataArts Studio服务。
  2. 已在该DataArts Studio服务中创建MRS Hudi数据连接(spark_hudi_proxy_cnt),以便基于数据连接同步作业以及后续在DataArts Studio中执行脚本。为了后续能正确执行脚本,请创建与ETL映射中需要用到的数据库类型相同的连接,如,本实践中的ETL映射需要同步的数据来源与目标端均为MRS Hudi,则在DataArts Studio服务中需要创建MRS Hudi连接

步骤:

  1. 在“作业管理”下选择“DataArts Studio作业”页签,添加数据治理实例。选择本账号下的数据治理(DataArts Studio)所属region、实例以及空间。
    图5 添加数据治理实例
  2. 同步ETL Mapping。
    图6 同步ETL Mapping
  3. 配置ETL Mapping。本实践中,需要将ETL映射配置好的ETL映射同步至DataArts Studio中。
    • 实施作业名称:自定义;
    • 关联需求:可选,可与交付需求创建的相关需求关联起来(本实践与需求“数据治理”下的“构建智慧门店数据资产”关联),关联后该ETL作业将会自动在实施进度管理中展示;
    • ETL Mapping名称:选择ETL映射中配置好的ETL映射;
    • DataArts Studio目录:选填需要将该ETL映射同步至DataArts Studio的具体目录;
    • 连接名称:选择在DataArts Studio中创建好的MRS Hudi连接。
      图7 配置ETL Mapping
  4. 点击【同步历史】,查看同步结果。
    图8 查看同步结果

    您也可以进入该DataArts Studio实例中查看同步结果并执行脚本。

    图9 查看同步结果
support.huaweicloud.com/bestpractice-haydncsf/haydncsf_06_0033.html