分布式消息服务KAFKA版-为什么限制Topic的总分区数?

时间:2024-04-24 11:11:39

为什么限制Topic的总分区数?

Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。

不同规格配置的Topic总分区数不同,如下表所示。

表1 Kafka实例规格(集群版实例)

实例规格

代理个数范围

单个代理TPS

单个代理分区上限

单个代理建议消费组数

单个代理客户端总连接数上限

存储空间范围

单个代理流量规格(MB/s)

kafka.2u4g.cluster.small

3~30

20000

100

15

2000

300GB~300000GB

40

kafka.2u4g.cluster

3~30

30000

250

20

2000

300GB~300000GB

100

kafka.4u8g.cluster

3~30

100000

500

100

4000

300GB~600000GB

200

kafka.8u16g.cluster

3~50

150000

1000

150

4000

300GB~1500000GB

375

kafka.12u24g.cluster

3~50

200000

1500

200

4000

300GB~1500000GB

625

kafka.16u32g.cluster

3~50

250000

2000

200

4000

300GB~1500000GB

750

表2 Kafka实例规格(单机版实例)

实例规格

代理个数

单个代理TPS

单个代理分区上限

单个代理建议消费组数

单个代理客户端总连接数上限

存储空间范围

单个代理流量规格(MB/s)

kafka.2u4g.single.small

1

20000

100

15

2000

100GB~10000GB

40

kafka.2u4g.single

1

30000

250

20

2000

100GB~10000GB

100

support.huaweicloud.com/kafka_faq/kafka-faq-200426025.html