数据治理中心 DATAARTS STUDIO-Kafka增量抽取最佳实践:操作步骤
时间：2025-11-20 16:36:18
下载数据治理中心 DATAARTS STUDIO用户手册完整版
复制链接到剪贴板
分享文章到微博
分享文章到朋友圈
操作步骤
- 配置作业参数变量。
- 起始时间：startTime:#{DateUtil.format(DateUtil.addHours(Job.planTime,-1),"yyyy-MM-dd HH:mm:ss")}，表示任务调度时间前一个小时。
- 结束时间：endTime:endTime:#{DateUtil.format(Job.planTime,"yyyy-MM-dd HH:mm:ss")}，表示任务调度时间。
图1 配置作业参数变量
- 配置读取Kafka任务。
将“消费记录策略”设置为“起止时间”，将“起始时间”设置为变量${startTime}，“结束时间”设置为变量${endTime}。
图2 配置读取Kafka任务
- 配置调度策略。
将任务配置调度周期为【小时】，任务将按小时调度并抽取一个小时内的Kafka消息。
图3 配置调度周期
support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1535.html
