数据管理与分析-数据服务开发:作业模板开发

时间:2024-04-26 09:42:16

作业模板开发

作业模板实际上是参数化的数据模型。在线作业开发中用到的作业类型都是通过对模板的开发产生的,模板的开发是通过studio开发dbr或dsr模板文件,开发的过程与ETL模型开发相同,不同的是模板开发对数据源和表都有新的标记定义,如:数据源填写时用%{source}进行标记,表填写时用[sourcetablename]进行标记。在开发场景中使用到该模板时可对数据源和表的变量进行映射。

在作业中需要进行数据转换、数据质量检验和数据脱敏的时候需要使用到业务调度dsr来进行模型组合完成,dsr能够在模型之间传递变量和结果集。这个是作业流目前所做不到的,需要共享平台提供底层工程化的支撑来完成有前后条件的这种模型的执行。

当前基础模板包含以下几类:

  • 全量同步;
  • HBase到文件同步
  • 全文对比同步、
  • 触发器同步
  • 时间戳同步
  • 数据库到文件同步
  • 全量同步
  • 文件到数据库同步
  • MySQLtoHBASE数据脱敏
  • CanalClientToHBase同步
  • DBToHbase
  • MongoDBToHBaseSingleTable
  • MongoDBToHBase
  • DBToDBDesensitization。

除上述模板之外,可依据项目实际需求进行开发。采用模板化的在线开发,能简化使用难度,不需要专业开发人员进行模型的开发和设计。

图9 作业模板开发
support.huaweicloud.com/primetonmams-dma/primetonmams_14.html