使用Kafka,实现Windows主机和Linux虚拟机的传输

发布时间 2023-07-04 16:32:05作者: 七秋

要在Windows主机和Linux虚拟机之间使用Kafka进行数据传输,需要按照以下详细步骤进行操作:


在Windows主机上:
1. 下载并安装Java Development Kit(JDK),确保在Windows上安装了Java。
2. 下载Apache Kafka,可以从官方网站(https://kafka.apache.org/downloads)下载最新版本的Kafka。
3. 解压Kafka安装包到Windows主机的目录中。

在Linux虚拟机上:
1. 创建并配置一个Linux虚拟机,确保虚拟机的网络配置正确,可以与Windows主机进行通信。
2. 在Linux虚拟机中安装Java Development Kit(JDK)。
3. 下载并解压相同版本的Kafka安装包,确保Linux虚拟机上也有Kafka可用。

配置Kafka:
1. 在Windows主机上,进入Kafka安装目录,编辑config/server.properties`文件。
2. 修改advertised.listeners属性,设置为Linux虚拟机的IP地址和Kafka端口号。例如:advertised.listeners=PLAINTEXT://<Linux虚拟机的IP地址>:9092。(经过实操发现Windows主机上可不设置)

3. 启动Zookeeper服务:在Kafka安装目录中运行以下命令:.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties。4. 启动Kafka服务:在Kafka安装目录中运行以下命令:.\bin\windows\kafka-server-start.bat .\config\server.properties。


创建Kafka主题:
1. 在Windows主机上,打开一个新的命令行终端。
2. 进入Kafka安装目录,并导航到.\bin\windows目录。
3. 创建一个新的Kafka主题,运行以下命令:kafka-topics.bat --create --topic <topic_name> --bootstrap-server <Linux虚拟机的IP地址>:9092 --partitions 1 --replication-factor 1。
(将<topic_name>替换为你要创建的主题名称

发送消息到Kafka主题:

1. 在Windows主机上,打开pycharm。
2. 运行相对应的代码。

注:图中的Kafka_servers='虚拟机的IP地址:9092'

虚拟机IP地址可通过下图所示命令获取

 特别注意:虚拟机IP地址为ens33后的inet,不是第二段inet后的!!!!!!!!!

3.运行代码后切换到Linux系统ubantu界面中

 

从Kafka主题接收消息:
1. 在Linux虚拟机上,打开终端。执行Kafka的启动命令。

 对应路径根据自己的Kafka存放位置进行改变

2. 打开pycharm,执行消费者代码。

从图中控制台看出,Windows主机里的start.txt里的内容已通过Kafka传输到Linux虚拟机里

附Windows主机里的start.txt

 

通过以上步骤,你可以在Windows主机和Linux虚拟机之间使用Kafka进行数据传输。记得根据实际情况修改IP地址、端口号和主题名称等参数。