MapReduce服务 MRS-ClickHouse消费Kafka数据异常:解决办法

时间:2023-11-01 16:19:38

解决办法

使用以下命令修改表的“kafka_skip_broken_messages”属性:

# ALTER test.user_log MODIFY SETTINGS kafka_skip_broken_messages=10000
  • 10000可以根据数据中脏数据的比例进行调整。
  • kafka_skip_broken_messages:Kafka消息解析器对每个块的架构不兼容消息的容忍度,默认值:0。

    例如:kafka_skip_broken_messages = N,则引擎会跳过N条无法解析的Kafka消息。

support.huaweicloud.com/trouble-mrs/mrs_03_0736.html