云服务器内容精选

华为云首页用户手册

通过数据地图查看数据血缘关系

数据治理中心 DATAARTS STUDIO-数据血缘方案概述:什么是数据血缘

什么是数据血缘大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的血缘关系还包含了一些特有的特征：归属性：一般来说，特定的数据归属特定的组织或者个人，数据具有归属性。多源性：同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。可追溯性：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。层次性：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。图1 数据血缘关系示例

数据治理中心 DATAARTS STUDIO 通过数据地图查看数据血缘关系
数据治理中心 DATAARTS STUDIO-数据血缘方案概述:DataArts Studio数据血缘实现方案

DataArts Studio数据血缘实现方案数据血缘的产生： DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。手动配置血缘，是在数据开发作业节点中，自定义血缘关系的输入表和输出表。注意手动配置血缘时，此节点的自动血缘解析将不生效。支持手动配置血缘的节点类型请参见手动配置血缘。数据血缘的展示：首先在数据目录组件完成元数据采集任务，当数据开发作业满足自动血缘解析要求或已手动配置血缘，然后成功完成作业调度后，则可以在数据目录模块可视化查看数据血缘关系。

数据治理中心 DATAARTS STUDIO 通过数据地图查看数据血缘关系
数据治理中心 DATAARTS STUDIO-配置数据血缘:自动血缘解析

自动血缘解析自动血缘解析无需进行手动配置，当数据开发作业中包含如表1所示节点及场景时，系统支持自动解析血缘关系。解析SQL节点的血缘时，支持多SQL解析及列级血缘解析，单条SQL语句不支持SQL中含有分号的场景。表1 支持自动血缘解析的作业节点及场景作业节点支持场景 DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。支持通过建表语句产生的OBS文件到DLI表之间的血缘。 DWS SQL 支持Insert into等DML操作产生的DWS表之间的血缘。 MRS Hive SQL 支持Insert into/overwrite等DML操作产生的MRS表之间的血缘。 MRS Spark SQL 支持Insert into/overwrite等DML操作产生的MRS表之间的血缘。 CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。

数据治理中心 DATAARTS STUDIO 通过数据地图查看数据血缘关系
数据治理中心 DATAARTS STUDIO-查看数据血缘:启动作业调度

启动作业调度登录DataArts Studio控制台。选择实例，单击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。图1 选择数据开发在数据开发控制台，单击左侧导航栏中的作业开发按钮，进入作业开发页面后，打开已完成血缘配置的作业。在数据开发中，当作业进行“执行调度”时，系统开始解析血缘关系。测试运行不会解析血缘。图2 作业调度待调度作业成功运行完成后，等待约1分钟左右，数据血缘关系即可生成成功。

数据治理中心 DATAARTS STUDIO 通过数据地图查看数据血缘关系