检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
950808 转 1
预约咨询
工单提交
我有建议
未实名认证
已实名认证
100%兼容开源社区Kafka,业务代码无需改造,即可快速上云
无需专门部署、运维,只需专注业务本身,华为云提供更专业、更可靠的全托管Kafka队列服务
高吞吐量,低延时,消息队列性能高
业务操作可追溯;支持SASL_SSL机制对身份认证和数据通道加密传输,确保数据传输过程中不被窃取或篡改
提供Kafka业务迁移、客户端参数配置建议、客户端使用规范和告警参数设置的最佳实践。
Kafka业务迁移
Kafka迁移指将生产与消费消息的客户端切换成连接新Kafka,部分还涉及将持久化的消息文件迁移到新的Kafka。主要涉及到以下2类场景:业务上云且不希望业务有中断和在云上变更业务部署。
使用MirrorMaker跨集群数据同步
使用MirrorMaker进行不同Kafka集群间的数据同步,可以确保Kafka集群的可用性和可靠性。
Kafka客户端参数配置建议
Kafka客户端的配置参数非常多,本章分别提供Producer和Consumer中常用的几个参数配置。
Kafka客户端使用规范
介绍Kafka的Consumer使用规范、Producer使用规范和Topic使用规范。
设置消费组可消费消息数超过阈值时,发送告警短信/邮件
如果您想要在消费组可消费消息数超过阈值时,通过短信/邮件及时收到通知信息,可以参考本章节设置告警通知。
购买Kafka实例
05:25
连接未开启SASL的Kafka实例
04:57
扩容Kafka实例
04:46
更多Kafka问题请前往 了解更多
Kafka 1.1.0、2.3.0和2.7版本。
Kafka实例依赖ZK进行管理,开放ZK可能引发误操作导致业务受损,ZK仅Kafka内部使用,不对外提供服务。
存储空间主要是指用于存储消息(包括副本中的消息)、日志和元数据所需要的空间。选择存储空间时,需要选择磁盘类型和磁盘大小。
假设业务存储数据保留天数内磁盘大小为100GB,则磁盘容量最少为100GB*副本数 + 预留磁盘大小100GB。Kafka集群中,每个Kafka节点会使用33GB的磁盘作为日志和Zookeeper数据的存储,因而实际可用存储会小于购买存储。
其中,副本数在创建Topic时可以选择,默认为3副本存储。如果开启了Kafka自动创建Topic功能,自动创建的Topic默认为3副本,副本数可以通过“配置参数”页签中的“default.replication.factor”修改。
Kafka实例支持跨AZ容灾,在购买实例时,选择多个可用区即可实现跨AZ容灾。
如果您需要提高Kafka实例的可靠性,在创建实例时,建议选择3个或以上的可用区,不支持选择2个可用区。原因如下:
每个Kafka实例包含3个Zookeeper节点,Zookeeper集群用来管理Kafka实例的配置,如果Zookeeper集群出现问题,Kafka实例将无法正常运行。至少2个Zookeeper节点正常运行,才能保证Zookeeper集群正常运行。
假设选择2个可用区,可用区1有1个Zookeeper节点,可用区2有2个Zookeeper节点。如果可用区1故障,则Kafka实例能正常使用;如果可用区2故障,则不能正常使用。Kafka实例可用的场景只有50%,所以不支持选择2个可用区。
支持以下两种策略:
1、生产受限策略:该策略场景下一旦磁盘使用达到容量阈值95%,会导致后续生产失败,但保留了当前磁盘中的数据,直至数据自然老化(Kafka原有的老化机制,数据默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。
2、自动删除策略:该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据可能会丢失。
以上两种策略的需要基于业务对数据和业务的可靠性来进行选择,只能作为极端场景下的一个种处理方式。建议业务购买时保证有充足的磁盘容量,避免磁盘的使用达到容量阈值。
Kafka SASL_SSL开关不支持购买实例后修改,在购买时,请慎重选择,如果购买后需要修改,需要重新购买实例。
Kafka扩容带宽/代理个数/存储空间,都不会影响业务的使用。
Kafka扩容代理规格,在扩容过程中,节点会重启,可能造成闪断。若Topic为单副本,扩容期间无法对该Topic生产消息或消费消息。
Kafka实例创建成功后,实例版本不支持升级。您可以重新创建Kafka实例,实现升级Kafka实例的版本。
Kafka功能总览
介绍华为云Kafka服务的所有功能,以及此功能支持的区域。
Kafka 产品介绍
本手册介绍了Kafka的产品优势、应用场景和产品规格差异等。
Kafka 快速入门
本手册介绍Kafka入门的基本流程,主要包括创建和连接Kafka实例的操作。