欢迎光临
我们一直在努力

Windows安装Apache Kafka保姆级教程(图文详解+可视化管理工具)

文章目录

  • 一、前言
  • 二、环境准备
    • 2.1 系统要求
    • 2.2 安装Java环境
  • 三、下载与解压Kafka
    • 3.1 下载Kafka
    • 3.2 解压Kafka
  • 四、配置Kafka
    • 4.1 目录结构说明
    • 4.2 修改配置文件
  • 五、启动Kafka服务
    • 5.1 启动Zookeeper
    • 5.2 启动Kafka服务器
    • 5.3 解决wmic命令问题
  • 六、测试Kafka功能
    • 6.1 创建Topic
    • 6.2 查看Topic列表
    • 6.3 测试生产者和消费者
  • 七、设置为Windows服务(可选)
    • 7.1 下载NSSM工具
    • 7.2 创建Zookeeper服务
    • 7.3 创建Kafka服务
    • 7.4 启动服务
  • 八、验证安装
    • 8.1 检查服务状态
    • 8.2 安装Kafka Tool可视化工具
  • 九、常见问题解决
    • 9.1 端口占用问题
    • 9.2 内存不足问题
    • 9.3 路径问题
    • 9.4 防火墙问题
  • 十、总结

一、前言

Apache Kafka是一个分布式流处理平台,广泛用于构建实时数据管道和流应用程序。本教程将详细介绍如何在Windows系统上安装和配置Kafka,适合初学者跟随操作。 在这里插入图片描述

二、环境准备

2.1 系统要求

  • Windows 7/8/10/11 (64位)
  • 至少4GB内存
  • 至少2GB可用磁盘空间

2.2 安装Java环境

Kafka需要Java 8或更高版本支持。

  • 访问Oracle官网下载JDK 8或以上版本
  • 选择Windows版本下载
  • 💡 提示:可以参考这篇博客来安装JDK 8:JDK8保姆级安装教程

    三、下载与解压Kafka

    3.1 下载Kafka

  • 访问Kafka官网:https://kafka.apache.org/downloads
  • 选择最新稳定版本的二进制文件
  • 推荐下载Scala 2.13版本
  • ⚠️ 注意:本教程使用kafka_2.13-3.5.1版本,该版本自带ZooKeeper。进入官网下载页面后下拉,找到kafka_2.13-3.5.1版本下载。

    下载页面

    文件名类似:kafka_2.13-3.5.1.tgz

    3.2 解压Kafka

  • 将下载的文件解压到简单路径,如:C:\\kafka
  • 避免路径中包含空格和中文字符
  • 解压目录

    四、配置Kafka

    4.1 目录结构说明

    解压后的Kafka目录包含以下重要文件夹:

    • bin/windows/ – Windows批处理脚本
    • config/ – 配置文件
    • libs/ – 依赖库
    • logs/ – 日志文件(启动后生成)

    4.2 修改配置文件

    编辑server.properties

  • 进入config目录
  • 用记事本打开server.properties文件
  • 配置文件

  • 修改以下关键配置:
  • # 数据存储目录(改为Windows路径格式)
    log.dirs=C:/kafka/kafka_2.13-3.5.1/kafka-logs

    # 监听地址
    listeners=PLAINTEXT://localhost:9092

    # Zookeeper连接地址
    zookeeper.connect=localhost:2181

    配置修改1 配置修改2 配置修改3

    五、启动Kafka服务

    5.1 启动Zookeeper

    Kafka依赖Zookeeper进行集群协调。

  • 打开命令提示符
  • 切换到Kafka安装目录:cd C:\\kafka\\kafka_2.13-3.5.1
  • 启动Zookeeper:bin\\windows\\zookeeper-server-start.bat config\\zookeeper.properties
  • 启动Zookeeper

    看到"binding to port 0.0.0.0/0.0.0.0:2181"表示启动成功。

    5.2 启动Kafka服务器

  • 新开一个命令提示符窗口
  • 切换到Kafka目录:cd C:\\kafka\\kafka_2.13-3.5.1
  • 启动Kafka服务器:bin\\windows\\kafka-server-start.bat config\\server.properties
  • 5.3 解决wmic命令问题

    如果遇到'wmic' 不是内部或外部命令错误,说明wmic不在系统PATH环境变量中。

    解决方案一:添加wmic到PATH

  • 打开文件资源管理器,导航到 C:\\Windows\\System32\\Wbem
  • 检查是否存在wmic.exe
  • 如果存在,将该目录添加到PATH环境变量中,不存在的话使用解决方案二:安装wmic工具
  • 添加方式:

    • 打开环境变量设置
    • 在系统变量中找到Path,点击编辑
    • 点击新建,添加:C:\\Windows\\System32\\Wbem

    环境变量1 环境变量2

    解决方案二:安装wmic工具

    如果上述目录中不存在wmic.exe:

  • 进入Windows设置页面
  • 点击系统 → 可选功能
  • 点击查看功能
  • 搜索wmic,勾选后点击下一步
  • 点击添加,等待安装完成
  • 安装wmic1 安装wmic2 安装wmic3 安装wmic4

    安装完成后测试: 测试wmic

    重新启动Kafka: 重新启动

    看到"started (kafka.server.KafkaServer)"表示启动成功。

    六、测试Kafka功能

    6.1 创建Topic

  • 新开第三个命令提示符窗口
  • 创建测试Topic:cd C:\\kafka\\kafka_2.13-3.5.1
    bin\\windows\\kafka-topics.bat –create –topic test-topic –bootstrap-server localhost:9092 –partitions 1 –replication-factor 1
  • 创建Topic

    6.2 查看Topic列表

    bin\\windows\\kafka-topics.bat –list –bootstrap-server localhost:9092

    查看Topic

    6.3 测试生产者和消费者

    启动消费者:

    bin\\windows\\kafka-console-consumer.bat –topic test-topic –from-beginning –bootstrap-server localhost:9092

    启动生产者(新窗口):

    bin\\windows\\kafka-console-producer.bat –topic test-topic –bootstrap-server localhost:9092

    在生产者窗口输入消息,消费者窗口应该能实时接收到。

    测试消息

    七、设置为Windows服务(可选)

    ⚠️ 注意:执行此步骤前,请关闭所有之前打开的Zookeeper和Kafka窗口,防止端口占用。

    7.1 下载NSSM工具

  • 下载NSSM(Non-Sucking Service Manager):NSSM官网
  • 解压到C:\\nssm目录
  • NSSM下载 NSSM解压

    7.2 创建Zookeeper服务

    cd C:\\nssm\\nssm-2.24\\win64
    nssm install ZookeeperService

    在弹出界面中配置:

    • Path: C:\\kafka\\kafka_2.13-3.5.1\\bin\\windows\\zookeeper-server-start.bat
    • Arguments: C:\\kafka\\kafka_2.13-3.5.1\\config\\zookeeper.properties

    配置Zookeeper服务

    7.3 创建Kafka服务

    nssm install KafkaService

    配置参数:

    • Path: C:\\kafka\\kafka_2.13-3.5.1\\bin\\windows\\kafka-server-start.bat
    • Arguments: C:\\kafka\\kafka_2.13-3.5.1\\config\\server.properties

    配置Kafka服务

    7.4 启动服务

  • 打开"服务"管理器(Win + R,输入 services.msc)
  • 找到"ZookeeperService"和"KafkaService"服务
  • 先启动ZookeeperService,再启动KafkaService
  • 可设置启动类型为"自动",实现开机自启
  • Zookeeper服务 Kafka服务

    八、验证安装

    8.1 检查服务状态

    cd C:\\kafka\\kafka_2.13-3.5.1
    bin\\windows\\kafka-broker-api-versions.bat –bootstrap-server localhost:9092

    验证安装

    8.2 安装Kafka Tool可视化工具

  • 访问下载页面:https://www.kafkatool.com/download.html
  • 下载并安装offsetexplorer_64bit.exe
  • Kafka Tool下载

    安装步骤:

    • 双击安装文件
    • 选择"I accept the agreement"
    • 自定义安装目录
    • 完成安装

    安装步骤1 安装步骤2 安装步骤3

    配置连接:

  • 启动Kafka Tool
  • 点击File → Add New Connection
  • 配置连接参数:
    • Cluster name: Local Kafka
    • Kafka Cluster Version: 3.5
    • Bootstrap servers: localhost:9092
  • 点击Test测试连接
  • 配置连接 连接成功 管理界面

    九、常见问题解决

    9.1 端口占用问题

    现象: 启动时报错"Address already in use"

    解决方案:

    # 检查端口占用
    netstat -ano | findstr :9092
    netstat -ano | findstr :2181

    结束占用进程或修改端口配置

    9.2 内存不足问题

    现象: 启动时内存溢出

    解决方案: 修改bin\\windows\\kafka-server-start.bat文件中的JVM参数:

    set "KAFKA_HEAP_OPTS=-Xmx512M -Xms512M"

    9.3 路径问题

    现象: 找不到文件或目录

    解决方案:

    • 确保路径不包含中文和空格
    • 使用正斜杠"/“代替反斜杠”"
    • 检查配置文件中的路径设置

    9.4 防火墙问题

    现象: 远程无法连接Kafka

    解决方案: 在Windows防火墙中开放9092和2181端口

    十、总结

    通过本教程,我们成功在Windows系统上完成了Apache Kafka的完整安装和配置,包括Java环境准备、Kafka下载解压、配置文件修改、服务启动、功能测试以及可选的Windows服务配置。现在已经拥有了一个完全可用的Kafka环境,可以开始构建实时数据流应用程序,进行消息队列的生产和消费操作。

    赞(0)
    未经允许不得转载:171主机测评 » Windows安装Apache Kafka保姆级教程(图文详解+可视化管理工具)
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址