华为云首页用户手册

MAPREDUCE服务 MRS-Flink流式读Hudi表规则

MAPREDUCE服务 MRS-Flink流式读Hudi表规则

时间：2024-05-20 14:54:49

MAPREDUCE服务 MRS Flink流式读Hudi表规范

Flink流式读Hudi表规则

Flink流式读Hudi表参数规范如下所示。

表1 Flink流式读Hudi表参数规范
参数名称	是否必填	参数描述	示例
Connector	必填	读取表类型。	hudi
Path	必填	表存储的路径。	根据实际情况填写
table.type	必填	Hudi表类型，默认值为COPY_ON_WRITE。	MERGE_ON_READ
hoodie.datasource.write.recordkey.field	必填	表的主键。	根据实际填写
write.precombine.field	必填	数据合并字段。	根据实际填写
read.tasks	选填	读Hudi表task并行度，默认值为4。	4
read.streaming.enabled	必填	true：开启流式增量模式。 false：批量读。	根据实际填写，流读场景下为true
read.streaming.start-commit	选填	指定 ‘yyyyMMddHHmmss’ 格式的起始commit（闭区间），默认从最新commit。	-
hoodie.datasource.write.keygenerator.type	选填	上游表主键生成类型。	COMPLEX
read.streaming.check-interval	选填	流读检测上游新提交的周期，默认值为1分钟。	5（流量大建议使用默认值）
read.end-commit	选填	Stream增量消费，通过参数read.streaming.start-commit指定起始消费位置； Batch增量消费，通过参数read.streaming.start-commit指定起始消费位置，通过参数read.end-commit指定结束消费位置（闭区间），即包含起始、结束的commit。默认到最新commit。	-
changelog.enabled	选填	是否写入changelog消息。默认值为false，CDC场景填写为true。	false

父主题： Flink流式读Hudi表规范

上一篇：MAPREDUCE服务 MRS-Flink性能调优规则:合理设置并行度

下一篇：MAPREDUCE服务 MRS-Flink SQL逻辑开发建议:聚合函数中case when语法改写成filter语法

MAPREDUCE服务 MRS-Flink流式读Hudi表规则

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题