检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录Kafka Manager的帐号是否可以设置为只读帐号? 不支持设置为只读帐号。 父主题: Kafka Manager问题
设置用户权限 功能介绍 设置用户权限。 Kafka实例开启SASL功能时,才支持多用户管理的功能。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/instances/{instance_id}/topics/accesspolicy 表1 路径参数
配置Topic 创建Kafka Topic 设置Kafka Topic权限 Topic管理
实施步骤 分区数的设置需结合集群规模、消费者数量及扩展性综合考量,以下针对这些因素提供具体设置建议: 表1 分区数设置建议 考量因素 配置建议 集群规模 分区数建议设置为Broker数量的整数倍。 若设置不合理,可能导致各Broker上的分区数量不均,进而造成集群负载不均衡。
600000 log.retention.hours 实例级消息老化时间(小时为单位)。 如果Topic已经设置了老化时间,则此参数对此Topic不生效。仅在Topic未设置老化时间时,此参数才对此Topic生效。 1 ~ 168 单位:小时 72 max.connections.per
在Topic名称左侧的方框中,勾选待设置用户权限的Topic,单击页面上方的“设置用户权限”,弹出“批量设置权限”对话框。 为用户批量设置Topic权限。 批量设置权限页面不展示已设置的权限,且设置之后会覆盖之前的权限。例如:“test”用户初始拥有“发布+订阅”Topic01权限,在批量设置Topic权
重置Kafka Manager密码 如果您忘记了创建实例时设置的Kafka Manager密码,通过重置Manager密码功能,重新设置一个新的密码,可使用新密码登录Kafka Manager。 2023年5月17日及以后创建的实例不提供重置Kafka Manager密码功能。 前提条件
测试场景:连接内网访问明文接入、磁盘类型为超高I/O的实例。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围(GB) 单个代理流量规格(MB/s) kafka.2u4g.cluster.small 3~30
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址,无法登录Kafka Manager,报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。
Kafka实例创建成功后,您可以根据业务需要,扩容基准带宽、代理个数、存储空间、代理规格,或者缩容代理规格。 扩容存储空间有次数限制,只能扩容20次。 支持区域: 全部 变更实例规格 公网访问 您需要通过公网地址访问Kafka实例时,可开启实例的公网访问功能,并设置公网带宽。当开启成功后,您还可以根据需
变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理,业务也不受影响。 扩容基准带宽/代理数量时,系统会根据当前磁盘大小进行相应比例的存储空间扩容。例如扩容前实例的代理数为3,每个代理的磁盘大小为200GB,扩容后实例的代理数为10,此时代理的磁盘大小依旧为200GB,但是总磁盘大小为2000GB。
Connect功能。 关闭Smart Connect 关闭Smart Connect功能。 变更规格 扩容存储空间 扩容代理数量 扩容基准带宽 扩容代理规格 缩容代理规格 创建流控 创建用户/客户端/Topic流控。 编辑流控 修改流控参数。 删除流控 删除用户/客户端/Topic流控。
消息堆积数图表 在“创建告警规则”页面,设置告警名称。告警名称需要符合命名规则:只能由中文、英文字母、数字、下划线、中划线组成。 图3 设置告警名称 在“创建告警规则”页面,设置监控范围。保持当前设置,无需修改。 在“创建告警规则”页面,设置告警策略。 图4 设置告警策略 告警策略:连续1次
不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围(GB) 单个代理流量规格(MB/s) kafka.2u4g.cluster.small 3~30
SASL_SSL功能,此时Topic支持配置ACL权限。在Kafka控制台的“实例管理 > Topic管理”页面,在需要设置用户权限的Topic所在行,单击“用户权限”,为用户设置不同的权限。 具体操作请参考设置Topic权限。 父主题: Topic和分区问题
扩容存储空间有次数限制,最多扩容20次。 单机实例不支持修改存储空间。 基准带宽/代理数量 集群实例只支持增加基准带宽/代理数量,不支持减小基准带宽/代理数量。 单机实例不支持修改代理数量。 代理规格 集群实例支持扩容/缩容代理规格。 若Topic为单副本,扩容/缩容期间无法对该Topic生产消息或消费消息,会造成业务中断。
出于性能考虑,Kafka控制台限定单个Topic的分区数上限为200。 新增分区分配 设置新增分区所在代理。 自动分配:Kafka服务自动为新增分区分配代理。 手动分配:在下拉框中为新增分区分配代理,分配的代理数量不能小于Topic的副本数。 设置成功后,在Topic列表页面,查看修改后的分区数。 登录Kafka控制台。
在弹出的“重置消费进度”对话框中,参考表3,设置重置消费进度参数。 表3 重置消费进度参数说明 参数 说明 重置类型 选择重置类型: 时间:重置消费进度到指定的时间。 偏移量:重置消费进度到指定的偏移量。 “重置所有消费进度”只支持重置消费进度到指定时间。 时间 当“重置类型”为“时间”时,需要设置此参数。 选
消息超过老化时间,消息仍存在的原因 问题现象:消息超过设置的老化时间(如果Topic已设置老化时间,则“实例管理 > 配置参数”中的log.retention.hours值对此Topic不生效。仅当Topic未设置老化时间时,该参数值才会生效。),消息仍存在。 可能原因1:Top
扩容/缩容过程中生产消息失败 可能原因:在扩容/缩容代理规格的过程中,代理采用滚动重启的方式进行实例变更。在重启过程中,分区Leader会进行切换,此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。