连接Kafka-华为云

分布式消息服务KAFKA版-跨VPC访问Kafka实例:验证接口连通性

验证接口连通性参考连接未开启SASL的Kafka实例或者连接已开启SASL的Kafka实例，测试是否可以生产和消费消息。测试接口连通性时，注意以下几点：连接Kafka实例的地址为“advertised.listeners IP:9011”，以图9为例，连接Kafka实例的地址为“192.168.0.71:9011,192.168.0.11:9011,192.168.0.21:9011”。在Kafka实例安全组的入方向规则中放通9011端口，以及198.19.128.0/17网段的地址。如果Kafka实例的子网配置了网络ACL功能，需要在网络ACL的入方向规则中放通198.19.128.0/17网段的地址，以及VPC终端节点涉及的子网。 198.19.128.0/17是为VPC终端节点分配的网段，使用VPC终端节点需要放通此网段。

分布式消息服务KAFKA版连接Kafka

分布式消息服务KAFKA版-跨VPC访问Kafka实例:背景描述

背景描述 Kafka客户端和Kafka实例在同一区域的不同VPC中，由于VPC之间逻辑隔离，Kafka客户端和Kafka实例不能直接通信。您可以通过以下任意一个方式实现跨VPC访问：创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问。具体步骤请参考VPC对等连接说明。创建一个云连接实例，然后在创建的云连接实例中加载需要互通的VPC，实现跨VPC访问。具体步骤请参考同区域同账号VPC互通。利用VPC终端节点在不同VPC间建立跨VPC的连接通道，实现Kafka客户端通过内网访问Kafka实例。

分布式消息服务KAFKA版连接Kafka

分布式消息服务KAFKA版-连接未开启SASL的Kafka实例:前提条件

前提条件已配置正确的安全组。访问未开启SASL的Kafka实例时，实例需要配置正确的安全组规则，具体安全组配置要求，请参考表2。已获取连接Kafka实例的地址。如果是使用内网通过同一个VPC访问，实例端口为9092，实例连接地址获取如下图。图1 使用内网通过同一个VPC访问Kafka实例的连接地址（实例未开启SASL）图2 使用内网通过同一个VPC访问Kafka实例的连接地址（实例未开启SASL）如果是公网访问，实例端口为9094，实例连接地址获取如下图。图3 公网访问Kafka实例的连接地址（实例未开启SASL）图4 公网访问Kafka实例的连接地址（实例未开启SASL）如果Kafka实例未开启自动创建Topic功能，在连接实例前，请先创建Topic。已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本，确保Kafka实例版本与命令行工具版本相同。已创建弹性云服务器，如果使用内网通过同一个VPC访问实例，请设置弹性云服务器的VPC、子网、安全组与Kafka实例的VPC、子网、安全组一致。在弹性云服务器中安装Java Development Kit 1.8.111或以上版本，并配置JAVA_HOME与PATH环境变量，具体方法如下：使用执行用户在用户家目录下修改“.bash_profile”，添加如下行。其中“/opt/java/jdk1.8.0_151”为JDK的安装路径，请根据实际情况修改。 export JAVA_HOME=/opt/java/jdk1.8.0_151 export PATH=$JAVA_HOME/bin:$PATH 执行source .bash_profile命令使修改生效。

分布式消息服务KAFKA版连接Kafka

分布式消息服务Kafka版-Kafka Manager:查看Kafka Manager

查看Kafka Manager 在进入Kafka Manager集群管理页面后，您可以查看Kafka集群的监控、代理等信息。集群信息页单击Clusters中的集群列表，即可进入集群信息页。如图3所示。图中①区域表示功能导航栏 Cluster: 集群，统计集群列表和集群详情。 Brokers: 代理，统计当前集群中各代理的状态信息。 Topic: 队列，统计当前集群中的kafka队列。 Preferred Replica Election: 强制进行一次队列leader的最优选举（不建议用户操作）。 Reassign Partitions: 进行分区副本的重分配（不建议用户操作）。 Consumers: 统计集群中的消费组状态。图中②区域表示集群信息统计，包含集群的Topic数和集群的代理数。图3 集群信息页集群所有代理统计页单击功能导航栏中的Brokers，即可进入代理统计页。如图4所示。图中①区域代理列表，包含总的字节流入和字节流出。图中②集群监控信息。图4 所有代理统计页具体代理统计页单击id列表中具体的Broker，即可查看对应代理的统计信息。如图5所示。图中①区域表示对应代理总的统计信息，包括队列数、分区数、分区leader数、消息速率占比、写入字节占比以及流出字节占比。图中②区域表示代理监控信息。图5 具体Broker信息查看实例的Topic 在导航栏选择Topic，并在下拉列表中选择List。页面如图6所示，展示了队列列表以及分区数等。列表中以“__”开头的队列为内部队列，严禁操作，否则可能导致业务问题。图6 查看实例的Topic 队列详情页单击具体的Topic名称，进入如图7所示页面。图中①区域表示队列基本信息，包括副本数(Replication)，分区数(Number of Partitions)，消息数(Sum of partition offsets)等。图中②区域表示代理与队列分区的对应关系。图中③区域表示该队列的消费组列表。单击消费组名称可进入该消费组的详情页。图中④区域表示队列的配置信息。详情参考Kafka队列官方配置文档(https://kafka.apache.org/documentation/#topicconfigs)。图中⑤区域表示队列监控数据统计。图中⑥区域表示队列分区信息，包括分区消息数(Latest Offset)，分区leader(Leader)，副本列表(Replicas)，同步副本列表(In Sync Replicas)。图7 队列详情页查看消费组列表导航栏中单击Consumers，即可查看当前集群中的消费组列表。只显示14天内有消费记录的消费组。图8 集群的消费组列表查看消费组详情页单击消费组名称可进入消费组详情页面，展示消费组消费的所有队列列表以及每个队列的可消费数（Total Lag）。图9 消费组详情页面查看消费组队列详情页单击队列名称，即可进入详情页面，查看消费组消费在队列中每个分区的消费状态。包括分区编号（Partition）、分区消息数（LogSize）、分区消费进度（Consumer Offset）、分区剩余可消费数（Lag）和最近消费该分区的消费者（Consumer Instance Owner）。图10 消费组队列详情页面

分布式消息服务Kafka版连接Kafka

分布式消息服务Kafka版-Kafka Manager:登录Kafka Manager

登录Kafka Manager 创建一台与Kafka实例相同VPC和相同安全组的Windows服务器，详细步骤请参考购买并登录Windows弹性云服务器。如果是已经开启了公网访问，该步骤为可选，在本地浏览器中即可访问，不需要单独的Windows弹性云服务器。在实例详情信息页面，获取Kafka Manager地址。未开启公网访问时，Kafka Manager地址为“Manager内网访问地址”。图1 Kafka Manager内网访问地址已开启公网访问时，Kafka Manager地址为“Manager公网访问地址”。图2 Kafka Manager公网访问地址在浏览器中输入Kafka Manager的地址，进入Kafka Manager登录页面。如果是开启了公网访问，在本地浏览器输入Kafka Manager地址访问；如果没有开启公网访问，需要登录1的弹性云服务器，然后在浏览器输入Kafka Manager地址访问。输入创建实例时设置的Kafka Manager用户名和密码，即可管理Kafka集群。

分布式消息服务Kafka版连接Kafka

云服务器内容精选

连接Kafka

7*24

备案

专业服务

退订

建议反馈

售前咨询热线