华为云首页用户手册

MAPREDUCE服务 MRS-配置同步任务的心跳和数据判齐:配置opengauss到Hudi任务的心跳表

MAPREDUCE服务 MRS-配置同步任务的心跳和数据判齐:配置opengauss到Hudi任务的心跳表

时间：2024-04-22 14:52:05

MAPREDUCE服务 MRS 创建CDL作业前准备

配置opengauss到Hudi任务的心跳表

在需要同步的opengauss数据库下执行以下命令创建一张心跳表，心跳表归属cdc_cdl Schema，表名为cdc_heartbeat，主键为cdl_job_id：
DROP TABLE IF EXISTS cdc_cdl.cdc_heartbeat;

CREATE TABLE cdc_cdl.cdc_heartbeat (

cdl_job_id int8 NOT NULL,

cdl_last_heartbeat timestamp(6)

);

ALTER TABLE cdc_cdl.cdc_heartbeat ADD CONSTRAINT cdc_heartbeat_pkey PRIMARY KEY (cdl_job_id);
将该心跳表加入到DRS任务，以确保心跳表数据正常发送到DRS Kafka。
在CDL WebUI界面配置opengauss的thirdparty-kafka连接时增加opengauss的连接信息，如果opengauss部署为一主多备模式，需在“host”填写所有的IP。
配置完成之后，在CDL WebUI界面创建从thirdparty-kafka抓取数据到Hudi的任务并启动即可收到心跳数据。

上一篇：MAPREDUCE服务 MRS-配置同步任务的心跳和数据判齐:配置从Postgresql抓取数据到Hudi任务的心跳表

下一篇：MAPREDUCE服务 MRS-配置同步任务的心跳和数据判齐:配置从Postgresql抓取数据到Hudi任务的心跳表

MAPREDUCE服务 MRS-配置同步任务的心跳和数据判齐:配置opengauss到Hudi任务的心跳表

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题