数据治理中心 DATAARTS STUDIO-配置数据血缘:自动血缘解析

时间:2024-04-19 16:12:18

自动血缘解析

自动血缘解析无需进行手动配置,当数据开发作业中包含如表1所示节点及场景时,系统支持自动解析血缘关系。

解析SQL节点的血缘时,支持多SQL解析及列级血缘解析,单条SQL语句不支持SQL中含有分号的场景。

表1 支持自动血缘解析的作业节点及场景

作业节点

支持场景

DLI SQL

  • 支持解析DLI中表与表之间数据插入产生的血缘。
  • 支持通过建表语句产生的OBS文件到DLI表之间的血缘。

DWS SQL

支持Insert into等DML操作产生的DWS表之间的血缘。

MRS Hive SQL

支持Insert into/overwrite等DML操作产生的MRS表之间的血缘。

MRS Spark SQL

支持Insert into/overwrite等DML操作产生的MRS表之间的血缘。

CDM Job

支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。

ETL Job

支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。

support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0561.html