kafka测试思路

Kafka 中间件测试实战指南

本文系统梳理 Kafka 测试的核心思路与方法，涵盖环境搭建、功能验证、性能压测及自动化测试，适合测试工程师和开发工程师参考。

一、测试环境准备

1.1 环境搭建方式

由于多数读者可能没有现成的 Kafka 测试环境，建议在虚拟机或 Linux 服务器上搭建。

安装包下载：

• 夸克网盘：https://pan.quark.cn/s/5d942c36c845?pwd=pD35
• 提取码：pD35

快速安装步骤：

# 1. 安装 Java 环境（JDK 8+）
# 2. 下载 kafka.tgz 并上传到服务器
# 3. 运行一键安装脚本
./install_kafka_gitee.sh

二、Kafka 核心概念速览

将 Kafka 类比为报社-邮局-家庭模型，便于理解：

消息流转流程

Producer → 指定 Topic/Partition → Leader Broker → Follower 同步(ISR)
↓
Consumer Group ← 消费消息 ← 记录 Offset ← Controller 协调

三、Kafka 高吞吐特性

Kafka 实现高吞吐的三大核心技术：

四、测试方案详解

4.1 功能测试

4.1.1 基础收发功能验证

测试目的：验证 Kafka 基本的消息生产和消费功能

测试步骤：

# 步骤1：创建测试主题（3分区，2副本）
kafka-topics.sh –create –topic test-basic \\
–partitions 3 –replication-factor 2

# 步骤2：启动消费者监听
kafka-console-consumer.sh –topic test-basic –from-beginning

# 步骤3：生产者发送测试消息
kafka-console-producer.sh –topic test-basic
> Kafka功能测试消息1-$(date +%s)
> Kafka功能测试消息2-$(date +%s)
> Kafka功能测试消息3-$(date +%s)

预期结果：消费者窗口成功接收 3 条消息，内容与发送一致。

4.1.2 Broker 高可用测试

测试目的：验证 Leader 故障时的自动切换能力

测试步骤：

# 步骤1：停止指定分区的 Leader Broker
kill -9 <leader_pid>

# 步骤2：观察现象（30秒内）
# – 生产者是否短暂报错后恢复
# – 消费者是否持续消费

# 步骤3：验证新 Leader 选举
kafka-topics.sh –describe –topic test-basic

# 步骤4：恢复宕机 Broker
kafka-server-start.sh config/server[x].properties

# 步骤5：验证该 Broker 成为 Follower
kafka-topics.sh –describe –topic test-basic

关键检查点：

• Leader 切换时间 < 30 秒
• 消息无丢失
• 故障 Broker 恢复后自动加入 ISR

4.1.3 消息顺序性测试

测试目的：验证单分区下的消息顺序保证

# 步骤1：创建单分区主题
kafka-topics.sh –create –topic test-order –partitions 1

# 步骤2：启动消费者并记录消息顺序

# 步骤3：发送 100 条有序消息
for i in $(seq -w 1 100); do
echo "SEQ-$i"
done | kafka-console-producer.sh –topic test-order

# 步骤4：验证消费者接收顺序与发送顺序一致

注意：Kafka 仅保证单分区内的消息顺序，多分区下需业务层保证全局顺序。

4.2 性能测试

4.2.1 生产者吞吐量压测

测试工具：Kafka 自带性能测试脚本

kafka-producer-perf-test.sh \\
–topic test-perf \\
–num-records 100000 \\
–record-size 1024 \\
–throughput -1 \\
–producer-props bootstrap.servers=localhost:9092

测试策略：

关键指标：

• 峰值吞吐量（records/sec）
• 平均延迟（ms）
• P99 延迟（ms）

4.2.2 消息积压与消费能力测试

测试场景：模拟生产者速率远高于消费者速率的场景

步骤1：制造消息积压

# 启动快速生产者（1000 msg/s）
# 启动慢速消费者（100 msg/s，模拟 100ms 处理延迟）
# 持续运行 5 分钟

步骤2：监控积压增长

# 查看消费组 Lag
kafka-consumer-groups.sh –describe –group lag-test-group

步骤3：扩容消费

# 增加消费者实例（从 1 个扩容到 4 个）
# 观察 Lag 下降速度
# 记录积压清空时间

步骤4：验证数据完整性

• 消息总数核对
• 消息顺序验证
• 无消息丢失确认

4.3 自动化测试

4.3.1 健康检查清单

#!/bin/bash
# Kafka 自动化健康检查脚本

echo "=== Kafka 集群健康检查 ==="

# 1. 进程检查
pgrep -f "kafka-server" || echo "[警告] Kafka Broker 未运行"
pgrep -f "zookeeper" || echo "[警告] ZooKeeper 未运行"

# 2. 端口检查
netstat -tlnp | grep -E "9092|2181" || echo "[警告] 端口未监听"

# 3. 网络连通性
kafka-broker-api-versions.sh –bootstrap-server localhost:9092

# 4. 系统负载
uptime

4.3.2 自动化收发测试

#!/bin/bash
# 自动化收发验证

TOPIC="auto-test-$(date +%s)"

# 1. 创建临时主题
kafka-topics.sh –create –topic $TOPIC –partitions 3

# 2. 发送测试消息（含时间戳、序列号、校验和）
echo "TEST-$(date +%s)–$(uuidgen)" | kafka-console-producer.sh –topic $TOPIC

# 3. 消费验证
kafka-console-consumer.sh –topic $TOPIC –from-beginning –timeout-ms 5000

# 4. 清理
kafka-topics.sh –delete –topic $TOPIC

4.3.3 资源监控脚本

# 内存检查
for broker in broker1 broker2 broker3; do
echo "=== $broker 内存状态 ==="
ssh $broker "free -h"
ssh $broker "cat /proc/meminfo | grep -E 'MemTotal|MemAvailable'"
done

# 磁盘检查
for broker in broker1 broker2 broker3; do
echo "=== $broker 磁盘状态 ==="
ssh $broker "df -h /kafka/logs"
ssh $broker "iostat -x 1 3"
done

五、监控指标汇总

六、总结

本文从环境搭建到功能、性能、自动化测试，系统梳理了 Kafka 测试的核心方法。建议在实际测试中：

希望本文对你有所帮助，欢迎留言交流！