MAPREDUCE服务 MRS-配置同步任务的心跳和数据判齐:数据判齐消息字段含义
数据判齐消息字段含义
字段名 |
描述 |
---|---|
cdl_job_name |
本批次数据所属同步任务名称 |
target_table_schema |
本批次数据写入Schema名称 |
target_table_name |
本批次数据写入Hudi表名称 |
target_table_path |
本批次数据保存的Hudi表路径 |
total_num |
本批次数据总数 |
cdl_original_heartbeat |
本批次数据中包含的心跳数据的最大时间, 如果本批次不包含心跳数据则值为空 |
cdl_last_heartbeat |
本批次数据中包含的心跳数据的最小时间,如果本批次不包含心跳数据则取“event_time_min”的值 |
insert_num |
本批次数据insert事件总数 |
update_num |
本批次数据update事件总数 |
delete_num |
本批次数据delete事件总数 |
event_time_min |
本批次数据源端最小事务提交时间 |
event_time_max |
本批次数据源端最大事务提交时间 |
event_time_avg |
本批次数据源端平均事务提交时间 |
kafka_timestamp_min |
本批次数据发送到Kafka的最小时间 |
kafka_timestamp_max |
本批次数据发送到Kafka的最大时间 |
begin_time |
本批次数据开始写入Hudi的时间 |
end_time |
本批次数据写入Hudi的结束时间 |
cdc_partitioned_time |
心跳表的时间分区字段 |
cdc_last_update_date |
该条判齐记录写入时间 |