MAPREDUCE服务 MRS-配置同步任务的心跳和数据判齐:配置从Postgresql抓取数据到Hudi任务的心跳表
配置从Postgresql抓取数据到Hudi任务的心跳表
- 在需要同步的Postgresql数据库下执行以下命令创建一张心跳表,心跳表归属cdc_cdl Schema,表名为cdc_heartbeat,主键为cdl_job_id:
DROP TABLE IF EXISTS cdc_cdl.cdc_heartbeat;
CREATE TABLE cdc_cdl.cdc_heartbeat (
cdl_job_id int8 NOT NULL,
cdl_last_heartbeat timestamp(6)
);
ALTER TABLE cdc_cdl.cdc_heartbeat ADD CONSTRAINT cdc_heartbeat_pkey PRIMARY KEY (cdl_job_id);
- 心跳表创建完成后,在CDL WebUI界面创建从Postgresql抓取数据到Hudi的同步任务并启动即可收到心跳数据。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是Yarn_如何使用Yarn
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 什么是Manager_Manager的功能_MRS运维管理
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- 消息队列_数据交换问题_处理异步任务-华为云
- mysql数据库的特点_mysql数据库同步_安装mysql数据库
- 数据库如何迁移上云