Haydn解决方案工厂-交付方案设计:ETL映射

时间:2023-11-01 16:24:59

ETL映射

根据业务场景需要,可将数据从源端数据中进行移动和转换到指定的目标数据表中。如,本实践中需要将SDI层的门店表映射至DWI层的门店表。

图27 新建ETL映射
表2 ETL映射参数说明

参数

本实践填写参考

说明

映射名称

门店表映射

自定义

数据库数据类型

MRS_SPARK

支持DWS、MRS_HIVE、MRS_SPARK,与物理模型数据类型一致

映射方式

INSERT

  • INSERT:插入数据
  • MERGE:加载数据时,插入目标表中不存在的数据,更新目标表中存在的数据

源模型

SDI层的Smart_Store_physical

需要进行ETL映射的源端物理模型,需要在物理模型设计中先完成设计

目标模型

DWI层的Smart_Store_physical_dwi

需要进行ETL映射的目标端物理模型,需要在物理模型设计中先完成设计

目标表

t_user_store_info

选择目标模型中配置的表

是否删除数据

选择是否删除目标模型中的表数据

源表

t_user_store_info

选择源模型中配置的表

图28 ETL映射设计-1
图29 ETL映射设计-2
图30 ETL映射设计-预览

本小节展示的ETL映射是将SDI层的门店表映射至DWI层的门店表,实际应用中可以根据需要进行整合处理再映射。

support.huaweicloud.com/bestpractice-haydncsf/haydncsf_06_0032.html