检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接Kafka网络要求 客户端可以通过公网连接Kafka实例,也可以通过内网连接Kafka实例。使用内网连接时,注意以下几点: 如果客户端和Kafka实例部署在同一个VPC内,网络默认互通。 如果客户端和Kafka实例部署在不同VPC中,由于VPC之间逻辑隔离,客户端和Kafka
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题: 连接实例
单击Kafka实例的名称,进入实例的“概览”页面。 在“连接信息”区域,获取并记录“内网连接地址”的IPv6地址。在“网络”中,获取并记录虚拟私有云和子网。 图3 实例详情页 在管理控制台左上角单击,选择“网络 > 弹性公网IP EIP”,进入“弹性公网IP”页面。 在左侧导航栏单击“共享带宽”,进入“共享带宽”页面。
在“概览”页面的“连接信息”区域,获取并记录Kafka实例的内网连接地址。在“网络”区域,获取并记录Kafka实例所在的虚拟私有云和子网。 图1 Kafka实例信息 步骤二:购买公网NAT网关 在管理控制台左上角单击,选择“网络 > NAT网关”,进入“公网NAT网关”页面。 单击“购买公网N
IP)和对应的Port ID。 图2 Kafka实例的网卡地址(listeners IP)和对应的Port ID 在“概览”页面的“网络”区域,查看Kafka实例所在的VPC名称。 图3 查看Kafka实例所在的VPC名称 单击VPC名称,进入VPC基本信息页签,获取VPC ID。 图4 获取VPC ID
华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 网络安全专用产品安全检测证书&软件著作权证书 另外,华为云安全服务提供了网络安全专用产品安全检测证书、软件著作权等证书,供用户下载和参考。具体请查看合规资质证书。 图3 网络安全专用产品安全检测证书&软件著作权证书
thon或者python3,查看Python是否已经安装。python命令只能查询Python 2.x版本,python3命令只能查询Python 3.x版本,如果无法确认Python版本,请分别输入两个命令查看结果。 以Python 3.x为例,得到如下回显,说明Python已安装。
Kafka是否支持跨AZ容灾?已经购买的实例在哪里查看是否为跨AZ? Kafka实例支持跨AZ容灾,在购买实例时,选择多个可用区即可实现跨AZ容灾。 已购买的实例,在Kafka控制台“概览”页面的“网络”区域,查看可用区数量。多于一个可用区时,表示已实现跨AZ容灾。 图1 实例网络信息 父主题: 实例问题
在左侧导航栏选择“实例管理 > 消息查询”,进入消息列表页面。 Kafka实例支持两种查询消息的方法:按偏移量查询和按创建时间查询。 如果您知道消息所在Topic的分区和偏移量,可以使用按偏移量查询消息,具体查询参数参见表1。 表1 按偏移量查询消息 参数名称 说明 Topic名称 选择待查询消息的Topic名称。
建议分批查看。 前提条件 已创建Kafka实例,且实例中有可消费的消息。 查看Kafka监控数据 登录Kafka控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 通过以下任意一种方法,查看监控数据。 查看所有监控数据:在Kafka实例名称后,单击“查看监控数据”
以下几个方面进行排查。 检查网络 检查Consumer和Producer的配置 客户端连接问题-Java客户端 客户端连接问题-Go客户端 检查网络 在连接Kafka实例前,需要确保客户端与Kafka实例之间可以相互连接,如果无法连接,建议先检查网络连接是否正常。 已开启sasl
go version go version go1.16.5 linux/amd64 如果未安装Go,参考如下步骤安装。 #下载Go安装包。 wget https://go.dev/dl/go1.16.5.linux-amd64.tar.gz #解压安装包到“/usr/loca
ms/Kafka服务端节点数”。 修改Kafka客户端的“request.timeout.ms”大于“127s”。 修改Kafka客户端Linux系统的网络参数“net.ipv4.tcp_syn_retries”为“3”。
了解Kafka实例的价格,请参考分布式消息服务Kafka版价格详情。 在控制台查看消息,请参考查看Kafka消息。 查看消费进度,请参考查看Kafka消费进度。 查看Kafka实例的监控指标,请参考查看Kafka监控数据。
开启公网访问后,在哪查看公网IP地址? 在Kafka控制台,单击Kafka实例名称,进入实例详情页面。在“概览”页签,查看公网IP地址(即“公网连接地址”)。 如果您需要连接Kafka实例,请参考连接Kafka。 父主题: 连接问题
IP的连接数,即修改max.connections.per.ip参数值。 前提条件 已连接客户端和Kafka实例之间的网络,具体网络要求请参考连接Kafka网络要求。 已配置正确的安全组。 客户端访问关闭SASL的Kafka实例前,Kafka实例需要配置正确的安全组规则,否则会连接失败。安全组规则的配置请参考表2。
n_rate 网络入流量 统计Broker节点每秒网络访问流入流量。 2020年6月及以后购买的实例,支持此监控项。 0~1000000000 Byte/s 1024(IEC) Kafka实例节点 1分钟 broker_total_bytes_out_rate 网络出流量 统计Broker节点每秒网络访问流出流量。
out_recycleTaskSuccess 回收站恢复实例失败 kafka out_recycleTaskFailure 查看审计日志 查看DMS for Kafka云审计日志,请参考查看审计事件。
前提条件 已准备一台Linux系统的服务器,并安装Java Development Kit 1.8.111或以上版本,配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。 步骤一:制作客户端验证服务端的证书 登录Linux系统的服务器,执行以下命令,生成server
列数据容量”查看,具体步骤请参考查看Kafka监控数据。在不影响业务的前提下,建议适当调小Topic老化时间并等待消息老化,减少迁移数据,加快迁移速度。分区平衡任务结束后可重新调整为初始值。 前提条件 确保分区平衡的目标Broker磁盘容量充足,在磁盘存储统计中查看每个Broke