数据治理中心 DATAARTS STUDIO-字段映射界面无法显示所有列怎么处理?:原因分析

时间:2024-04-28 17:34:30

原因分析

由于HBase/CloudTable无Schema,每条数据的列数不固定,在字段映射界面CDM通过获取样值的方式有较大概率无法获得所有列,此时作业执行完后会造成目的端的数据不全。

这个问题,可以通过以下方法解决:
  1. 在CDM的字段映射界面增加字段。
  2. 在CDM的作业管理界面直接编辑作业的JSON(修改“fromJobConfig.columns”“toJobConfig.columnList”这2个参数)。
  3. 导出作业的JSON文件到本地,在本地手动修改JSON文件中的参数后(原理同2相同),再导回CDM。

推荐使用方法1,下面以HBase导到DWS为例进行说明。

support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0103.html