政府-Kafka的安装

时间：2024-05-07 09:29:21

政府

Kafka的安装

Kafka集群安装

上传confluent安装包

表1 上传confluent安装包
安装服务器	gx01节点、gx02节点、gx03节点
程序名称	Kafka
上传路径	/opt/
程序安装路径	/usr/local/confluent

安装步骤
 在gx01节点、gx02和gx03三个节点对应的服务器分别执行第一步至第六步的步骤。
1. 进入confluent-5.0.0.tar安装包的/opt/目录；命令行界面输入：
```
cd /opt/
```
  图1 进入
2. 解压confluent-5.0.0.tar安装包；命令行界面输入：
```
tar -xvf confluent-5.0.0.tar
```
  图2 解压
3. 将解压后的文件移动至/usr/local/confluent目录下；命令行界面输入：
```
mv confluent-5.0.0 /usr/local/confluent
```
  图3 移动
4. 进入/usr/local/confluent目录下；命令行界面输入：
```
cd /usr/local/confluent/
```
  图4 进入
5. zookeeper集群配置，编辑zookeeper.properties配置文件；命令行界面输入：
```
cd etc/kafka/
vim zookeeper.properties
```
  图5 配置文件1
  
  图6 配置文件2
6. 更改zookeeper.properties配置文件的参数；命令行界面输入：
```
server.1=IP1:2888:3888
server.2=IP2:2888:3888
server.3=IP3:2888:3888
```
  此处配置的IP1、IP2、IP3分别为gx01、gx02、gx03三个节点的服务器地址。
  
  图7 配置文件参数
7. kafka集群配置，编辑server.properties配置文件；命令行界面输入：
```
vim server.properties
```
  图8 编辑
8. 更改server.properties配置文件的参数
  1# 集群中各节点broker.id必须唯一
```
broker.id=0
```
  图9 更改1
  2# host.name和 advertised.listeners为各节点的主机IP
```
host.name=【本机IP】
advertised.listeners=PLAINTEXT://【本机IP】:9092
```
  图10 修改2
  
  图11 修改3
  
  图12 修改4
  3# 修改zookeeper.connect为zookeeper集群配置地址，三个节点修改的一致
```
zookeeper.connect=IP1:2181,IP2:2181,IP3:2181
```
  图13 修改5
  :wq保存退出！
9. schema-registry 集群配置；命令行界面输入：
```
cd ../../etc/schema-registry/
vim schema-registry.properties
```
  图14 配置
10. 更改schema-registry.properties配置文件
   1# 修改listeners为各节点主机IP
```
listeners=http://【本机IP】:8086
```
  图15 更改1
  
  2# 修改kafkastore.connection.url为三个节点的主机IP，三个节点修改的一致
```
kafkastore.connection.url=IP1:2181,IP2:2181,IP3:2181
```
  图16 更改2
  
  :wq保存退出！
11. kafka connect集群配置；命令行界面输入：
```
vim connect-avro-distributed.properties
```
  图17 更改3
12. 更改connect-avro-distributed.properties配置文件
   1# 修改bootstrap.servers为三个节点的主机IP，三个节点修改的一致
```
bootstrap.servers=IP1:9092,IP2:9092,IP3:9092
```
  图18 主机IP1
  
  2# 修改key.converter.schema.registry.url为三个节点的主机IP，三个节点修改的一致
```
key.converter.schema.registry.url=http://IP1:8086,http://IP2:8086,http://IP3:8086
```
  图19 主机IP2
  
  3# 修改value.converter.schema.registry.url为三个节点的主机IP，三个节点修改的一致
```
value.converter.schema.registry.url=http://IP1:8086,http://IP2:8086,http://IP3:8086
```
  图20 主机IP3
  
  4# 修改rest.host.name为各节点的主机IP
```
rest.host.name=【本机IP】
```
  图21 主机IP4
  
  :wq保存退出！
13. kafka rest 配置
   命令行界面输入：
```
cd ../kafka-rest/
vim kafka-rest.properties
```
  图22 配置
14. 更改kafka-rest.properties配置文件
   1# 修改host.name为各节点主机IP
```
host.name=【本机IP】
```
  图23 更改主机IP1
  
  2# 修改schema.registry.url为三个节点的主机IP，三个节点修改的一致
```
schema.registry.url=http://IP1:8086,http://IP2:8086,http://IP3:8086
```
  图24 更改主机IP2
  
  3# 修改bootstrap.servers为三个节点的主机IP，三个节点修改的一致
```
bootstrap.servers=IP1:9092,IP2:9092,IP3:9092
```
  图25 更改主机IP3
  
  :wq保存退出！
15. 创建myid文件
   在三个节点/home/confluent/confluent.data/zookeeper/data目录下，创建myid文件并写入对应编号；命令行界面输入：
```
--没有路径创建路径；mkdir -p /home/confluent/confluent.data/zookeeper/data
cd /home/confluent/confluent.data/zookeeper/data/
```
  执行：touch myid
```
vim myid
```
  图26 创建myid文件
Confluent启动
 分别进入三个节点主机的 cd /usr/local/confluent/bin/目录下；命令行界面输入：
```
./confluent start schema-registry
```
图27 Confluent启动
Confluent状态查看
 分别进入三个节点主机的/usr/local/confluent/bin/目录下；命令行界面输入：
```
./confluent status
```
启动命令
```
./confluent start schema-registry
```
5.5 版本启动
```
./confluent local start schema-registry
```
Confluent关闭
 分别进入三个节点主机的/usr/local/confluent/bin/目录下；命令行界面输入：
```
./confluent stop schema-registry
```