分布式消息服务KAFKA版-产品规格:实例规格和网络带宽说明

时间:2024-06-06 09:35:44

实例规格和网络带宽说明

Kafka实例的网络带宽主要由以下两个部分组成:

  1. 实例Broker对应的网络带宽
  2. 实例Broker的磁盘所对应的带宽值(不同类型的磁盘对应的带宽值不同,具体参考:如何选择磁盘类型

注意事项:

  • Kafka默认情况下测试均为尾读场景(即仅消费最新生产的数据),而不是冷读场景(即从头开始消费历史数据的场景)。
  • 老规格实例(即实例规格为100MB/s等)的带宽指的是实例所有Broker对应的网络带宽总和

新规格实例(即实例规格为kafka.2u4g.cluster等)的流量规格测算模型说明如下:

  • 测试模型读写比例为1:1
  • 默认Topic的副本数为3
  • 实例网络总流量 = 单个代理流量规格 * 代理数量
  • 实例整体流量 = 业务流量 + 代理节点间数据复制流量

参考上述测算模型说明,假如当前规格为kafka.2u4g.cluster,单个代理流量规格为100MB/s,代理数量为3,实例网络总流量、最大读流量和最大写流量分别为多少?

  1. 实例网络总流量 = 单个代理流量规格 * 代理数量 = 100MB/s * 3 = 300MB/s
  2. 最大读流量 = 实例网络总流量 / 默认副本数 / 2 = 300MB/s / 3 / 2 = 50MB/s
  3. 最大写流量 = 实例网络总流量 / 默认副本数 / 2 = 300MB/s / 3 / 2 = 50MB/s
support.huaweicloud.com/productdesc-kafka/Kafka-specification.html