MAPREDUCE服务 MRS-Kafka应用开发建议:避免写入单条记录超大的数据

时间：2024-05-28 14:22:56

MAPREDUCE服务 MRS Kafka应用开发规范

避免写入单条记录超大的数据

单条记录超大的数据在影响处理效率的同时还可能写入失败，此时需要在初始化Kafka生产者实例时根据情况调整“max.request.size ”值，在初始化消费者实例时调整“max.partition.fetch.bytes”值。

例如，参考本例，可以将max.request.size 、max.partition.fetch.bytes配置项设置为“5252880”：

         // 协议类型:当前支持配置为SASL_PLAINTEXT或者PLAINTEXT 
         props.put(securityProtocol, kafkaProc.getValues(securityProtocol, "SASL_PLAINTEXT"));
         // 服务名
         props.put(saslKerberosServiceName, "kafka");
         props.put("max.request.size", "5252880");

         // 安全协议类型
         props.put(securityProtocol, kafkaProc.getValues(securityProtocol, "SASL_PLAINTEXT"));
         // 服务名 
         props.put(saslKerberosServiceName, "kafka");
         props.put("max.partition.fetch.bytes","5252880");

上一篇：MAPREDUCE服务 MRS-Doris数据导入规范:Doris数据导入建议

下一篇：MAPREDUCE服务 MRS-ClickHouse应用开发建议:合理设置分区键，控制分区数在一千以内，分区字段使用整型