前言
第一次部署Kafka时，最容易遇到的情况不是服务完全起不来，而是Kafka和ZooKeeper看起来都已经启动，真正发送消息时却发现生产者、消费者或者远程客户端连不上。
这类问题往往集中在几个环节：Java环境是否正常、Kafka和ZooKeeper配置是否正确、Broker端口有没有监听，以及客户端连接的地址是否真正可达。
本文以CentOS环境为例，从Java和Kafka安装开始，配置单节点Kafka与ZooKeeper，并通过控制台生产者和消费者验证消息发送与接收链路。
在本地消息测试跑通之后，还会继续处理一个开发环境中比较常见的问题：Kafka运行在内网服务器，而开发电脑位于其他网络，无法直接连接Broker进行测试。
最后将通过cpolar为对应的TCP服务建立公网入口，演示从外部网络连接测试环境的基本思路，把Kafka安装、消息验证和远程调试这几个步骤串成一条完整链路。
1.安装前准备
1.1 操作系统要求
Kafka可以在多种 [Linux 发行版](https://so.csdn.net/so/search?q=Linux 发行版&spm=1001.2101.3001.7020)上运行，本文以CentOS 7为例，其他发行版步骤类似，只需调整包管理命令。
1.2 java环境要求
Kafka基于Java开发，需安装 JDK 8 或以上版本：
java -version
1.3 安装JDK
下载 JDK
- Oracle 官网或 OpenJDK 官网下载 Linux 版本
- 示例（OpenJDK 8）：
wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
解压安装包
mkdir -p /usr/local/java
tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz -C /usr/local/java
配置环境变量 在 /etc/profile 末尾追加：
export JAVA_HOME=/usr/local/java/jdk1.8.0_41
export PATH=$PATH:$JAVA_HOME/bin
使配置生效：
source /etc/profile
验证安装
java -version
2.安装 Kafka
2.1 下载 Kafka
- 官网下载
- 示例版本：3.6.2
linux系统可以直接命令一键安装：
wget https://downloads.apache.org/kafka/3.9.1/kafka_2.13-3.9.1.tgz
tar -xzf kafka_2.13-3.9.1.tgz
mv kafka_2.13-3.9.1 kafka
2.2 创建数据日志目录
在kafka解压目录同一路径下：创建一个kafka_data，用于装kafka和zookeeper的log和数据等：
mkdir -p /opt/kafka_data
mkdir -p /opt/kafka_data/zookeeper
mkdir -p /opt/kafka_data/log
mkdir -p /opt/kafka_data/log/kafka
mkdir -p /opt/kafka_data/log/zookeeper
2.3 配置Kafka配置文件
编辑这个文件：
broker.id=0
port=9092
host.name=ip
log.dirs=/opt/kafka_data/log/kafka
zookeeper.connect=localhost:2181
2.4 配置zookeeper配置文件
dataDir=/opt/kafka_data/zookeeper
dataLogDir=/opt/kafka_data/log/zookeeper
clientPort=2181
maxClientCnxns=100
tickTimes=2000
initLimit=10
syncLimit=5
3.启动与停止Kafka
3.1开启ZooKeeper
开启ZooKeeper：
./zookeeper-server-start.sh ../config/zookeeper.properties &
3.2启动Kafka：
./kafka-server-start.sh ../config/server.properties &
验证是否启动成功：
jps
输出应包含：
QuorumPeerMain
Kafka
3.3停止zookeeper
./zookeeper-server-stop.sh ../config/zookeeper.properties &
3.4停止kafkfa
./kafka-server-stop.sh ../config/server.properties &
4.创建生产者topic和消费者topic简单示例
在一个终端执行创建生产者： (推消息到shan)
cd /opt/bin/ #进入kafka目录
./kafka-console-producer.sh –broker-list 192.168.42.140:9092 –topic wd_test #wd_test你要建立的topic名
在一个终端执行创建消费者： （从shan上消费消息)
cd /opt/bin/ #进入kafka目录
./kafka-console-producer.sh –broker-list 192.168.42.140:9092 –topic wd_test #消费shan中topic消息
查看效果： 一个终端不断输入推送的消息，另一个终端则消费这个消息
查看当前主题：
./kafka-topics.sh –zookeeper localhost:2181 –list
你正在家里远程办公，突然接到任务：需要验证一个新业务模块的消息生产与消费逻辑。
但Kafka集群部署在公司内网测试环境，没有公网IP，防火墙也不开放9099/9092端口——你既无法连接Broker创建Topic，也无法从本地启动生产者或消费者进行调试。
传统的做法是：
- 提交代码到CI/CD触发部署（慢）
- 求运维临时开防火墙（麻烦）
- 或干脆去公司（不现实）
有没有更敏捷的方式？
有！借助内网穿透工具，我们可以将内网Kafka的9092端口安全暴露到公网。
只需一条隧道命令，你的本地开发机就能像在内网一样：
- 通过 kafka-topics.sh 创建测试 Topic
- 用 kafka-console-producer.sh 发送消息
- 用 kafka-console-consumer.sh 实时消费验证
整个过程无需改动 Kafka 配置、无需网络权限审批，5 分钟打通内外网，让开发调试回归高效。
跟我一起来操作吧~
5.安装cpolar内网穿透工具
cpolar 可以将你本地电脑中的服务（如 SSH、Web、数据库）映射到公网。即使你在家里或外出时，也可以通过公网地址连接回本地运行的开发环境。
❤️以下是安装cpolar步骤：
使用一键脚本安装命令：
sudo curl https://get.cpolar.sh | sh
安装完成后，执行下方命令查看cpolar服务状态：（如图所示即为正常启动）
sudo systemctl status cpolar
Cpolar安装和成功启动服务后，在浏览器上输入虚拟机主机IP加9200端口即:【ip:9200】访问Cpolar管理界面，使用Cpolar官网注册的账号登录,登录后即可看到cpolar web 配置界面,接下来在web 界面配置即可：
打开浏览器访问本地9200端口，使用cpolar账户密码登录即可,登录后即可对隧道进行管理。
6.配置公网地址
通过配置，你可以在本地 WSL 或 Linux 系统上运行 SSH 服务，并通过 Cpolar 将其映射到公网，从而实现从任意设备远程连接开发环境的目的。
- 隧道名称：可自定义，本例使用了:zookeeper，注意不要与已有的隧道名称重复
- 协议：tcp
- 本地地址：2181
- 端口类型：随机临时TCP端口
- 地区：China Top
创建成功后，打开左侧在线隧道列表,可以看到刚刚通过创建隧道生成了公网地址，接下来就可以在其他电脑或者移动端设备（异地）上，使用任意一个地址在终端中访问即可。
-
tcp 表示使用的协议类型
-
2.tcp.cpolar.top是 Cpolar 提供的域名
-
13917是随机分配的公网端口号
通过Cpolar提供的公网地址和端口，Kafka就能从本地启动生产者或消费者进行调试啦！
生产：
./kafka-console-producer.sh –broker-list 2.tcp.cpolar.top:13917 –topic shan
消费：
./kafka-console-consumer.sh –bootstrap-server 2.tcp.cpolar.top:13917 –topic shan
7.保留固定TCP公网地址
使用cpolar为其配置TCP地址，该地址为固定地址，不会随机变化。
选择区域和描述：有一个下拉菜单，当前选择的是“China Top”。 右侧输入框，用于填写描述信息。 保留按钮：在右侧有一个橙色的“保留”按钮，点击该按钮可以保留所选的TCP地址。 列表中显示了一条已保留的TCP地址记录。
-
地区：显示为“China Top”。
-
地址：显示为“26.tcp.cpolar.top:13166”。
登录cpolar web UI管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道Kafka，点击右侧的编辑。
修改隧道信息，将保留成功的TCP端口配置到隧道中。
- 端口类型：选择固定TCP端口
- 预留的TCP地址：填写保留成功的TCP地址
点击更新。
创建完成后，打开在线隧道列表，此时可以看到随机的公网地址已经发生变化，地址名称也变成了保留和固定的TCP地址。
最后就可以使用命令测试啦！
总结
完成以上配置后，一套单节点Kafka测试环境已经可以运行。
Java提供Kafka所需的运行环境，ZooKeeper负责本文所使用部署模式中的协调服务，Kafka Broker则负责接收、保存和提供Topic中的消息。
启动两个服务以后，可以通过Java进程和对应端口确认它们的运行状态，再使用Kafka自带的控制台工具验证消息发送和读取。
生产者向指定Topic写入消息，消费者连接同一个Kafka环境读取消息，通过这一步可以判断Broker的基本生产与消费链路是否正常。
在局域网测试完成后，还可以通过cpolar为需要远程访问的TCP端口建立公网入口，让其他网络中的开发设备能够连接测试环境。
如果只是临时调试，可以使用随机TCP地址；需要持续使用同一个入口时，则可以进一步配置固定TCP地址。
ka所需的运行环境，ZooKeeper负责本文所使用部署模式中的协调服务，Kafka Broker则负责接收、保存和提供Topic中的消息。
启动两个服务以后，可以通过Java进程和对应端口确认它们的运行状态，再使用Kafka自带的控制台工具验证消息发送和读取。
生产者向指定Topic写入消息，消费者连接同一个Kafka环境读取消息，通过这一步可以判断Broker的基本生产与消费链路是否正常。
在局域网测试完成后，还可以通过cpolar为需要远程访问的TCP端口建立公网入口，让其他网络中的开发设备能够连接测试环境。
如果只是临时调试，可以使用随机TCP地址；需要持续使用同一个入口时，则可以进一步配置固定TCP地址。
从Java环境、Kafka与ZooKeeper启动，到Topic消息测试以及公网TCP访问，本文完成了一套Kafka单节点开发测试环境的基础部署与验证流程。
