检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启或关闭实例自动创建Topic功能 功能介绍 开启或关闭实例自动创建Topic功能。 调用方法 请参见如何调用API。
配置了“自动删除”策略,磁盘容量到达95%时,为什么没有自动删除最早的消息? 问题现象 Kafka实例每个代理(即broker)的存储空间为100GB,配置了“自动删除”策略,并创建了一个180分区的Topic,磁盘容量到达95%时,没有自动删除最早的消息。
修改自动创建Topic的配置,会触发重启吗? 开启或者关闭“Kafka自动创建Topic”,会导致Kafka重启。 父主题: Topic和分区问题
自动续费 自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致Kafka实例被自动删除。自动续费的规则如下所述: 以Kafka实例的到期日计算第一次自动续费日期和计费周期。 Kafka实例自动续费周期根据您开通自动续费的途径不同,遵循不同的规则。
扩容上限 设置自动扩容存储空间的上限,实例总存储空间到达此上限后,实例不会再自动扩容存储空间。 单击“确定”,完成自动磁盘扩容的设置。 设置成功后,在Kafka实例概览页面的“实例信息”区域,查看“自动磁盘扩容”变为“开启”。 关闭自动扩容存储空间 登录Kafka控制台。
配置Kafka自动创建Topic “Kafka自动创建Topic”表示向一个未创建的Topic生产或消费消息时,系统会自动创建此Topic,此Topic的默认参数值如表1所示。
或者是自动生成Topic功能? 支持自动生成Topic功能,但不支持Topic批量导入功能,仅支持批量导出Topic功能。 通过以下任意一种方法,开启自动生成Topic功能: 创建实例时,开启Kafka自动创建Topic。
如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除?
配置Kafka自动创建消费组 开启“Kafka自动创建消费组”功能后,当消费者进入未创建的消费组时,系统会自动创建该消费组。若关闭此参数,则需在消费消息前手动创建消费组,否则会导致消费失败。 约束与限制 新创建的Kafka实例默认开启自动创建消费组功能。
实例删除后,实例中原有的数据将被删除,且没有备份,请谨慎操作。 调用方法 请参见如何调用API。
这是MirrorMaker为了防止Topic循环备份进行的设置。
这是MirrorMaker为了防止Topic循环备份进行的设置。
0 ~ 10485760 单位:字节 10485760 auto.create.groups.enable 是否开启自动创建消费组功能。 2023年4月25日及以后创建的实例支持在控制台修改此参数,在此之前创建的实例默认开启自动创建消费组功能,无法在控制台关闭此功能。
可能原因3:磁盘容量超过95%,且“容量阈值策略”设置为“自动删除”。 “容量阈值策略”设置为“自动删除”,表示磁盘容量达到95%时,系统会删除最早的10%的消息,以保证磁盘容量充足。当磁盘容量超过95%时,未到达老化时间的消息也会被删除,所以可能会导致部分消息查询不到。
开启Smart Connect Smart Connect用于Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步,实现数据的备份或迁移。 Smart Connect的使用流程为: 开启Smart Connect。
配置Kafka数据转储至OBS 本章节介绍如何创建转储的Smart Connect任务,通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中,实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。
如果Kafka实例未开启自动创建Topic功能,在连接实例前,请先创建Topic,否则会连接失败。 已下载client.jks证书。如果没有,在控制台单击Kafka实例名称,进入实例详情页面,在“连接信息 > SSL证书”所在行,单击“下载”。
对于包年/包月的Kafka实例,如果不再使用,单击“操作”栏下的“更多 > 退订”,退订成功后,Kafka实例会自动被删除。 删除的实例能否恢复取决于是否开启回收站策略,如果未开启回收站策略,实例删除后,实例中原有的数据将被删除,且没有备份。
根因描述 实例开启了自动创建Topic功能,且有消费者正在连接该Topic。如果没有停止业务,删除Topic后,还会有消息生产行为,并自动创建Topic。 问题解决措施 关闭Kafka自动创建Topic功能,才可以正常删除Topic。
副本数 您可以为每个Topic设置副本的数量,Kafka会自动在每个副本上备份数据,当其中一个Broker故障时数据依然是可用的,副本数越大可靠性越高。更多关于副本的介绍,请参见Kafka相关概念。 该参数设置为1时,表示只有一份数据。 取值范围:1~实例的代理数量。