Kafka 作为高吞吐量的分布式消息系统，随着业务增长，集群扩容与缩容成为运维工作的重要组成部分。集群扩容通常是在现有集群资源不足时，通过增加 Broker 节点来提升系统处理能力；而集群缩容则是在资源过剩时，移除部分节点以优化成本。无论是扩容还是缩容，都需要谨慎处理数据迁移和分区重分配工作，确保系统的高可用性与数据一致性。
扩容与缩容的核心在于分区重分配，这涉及到副本的迁移、数据同步以及副本因子调整等关键步骤。Kafka 提供了 kafka-reassign-partitions.sh 工具来完成这些操作，但也需要合理规划容量与资源，以避免因操作不当导致系统性能下降或数据丢失。
扩容操作按照以下步骤进行：
2.1 规划新节点
首先评估业务增长趋势和当前集群负载，确定需要增加的 Broker 节点数量。新节点硬件配置应尽量与现有节点保持一致，避免性能瓶颈。规划完成后，部署新的 Kafka Broker 节点并加入现有集群，确保其能正常与其他节点通信。
2.2 创建分区重分配计划
使用以下命令生成建议的分区重分配计划：
bin/kafka-reassign-partitions.sh –zookeeper <zk_host> –broker-list <new_broker_ids> –generate –topics-to-move-json-file topics.json
其中 topics.json 文件内容格式如下：
{
"version": 1,
"topics": [
{
"topic": "topic1",
"partitions": [
{"partition": 0, "replicas": [1, 2, 3]},
{"partition": 1, "replicas": [2, 3, 1]}
]
}
]
}
此命令会生成一个分区重分配计划，将分区副本均匀分布到新加入的 Broker 节点上。
2.3 执行分区重分配
确认重分配计划后，执行以下命令开始数据迁移：
bin/kafka-reassign-partitions.sh –zookeeper <zk_host> –reassignment-json-file reassignment.json –execute
执行后，Kafka 开始将分区副本从原有节点迁移到新节点。可以通过以下命令监控迁移进度：
bin/kafka-reassign-partitions.sh –zookeeper <zk_host> –reassignment-json-file reassignment.json –verify
当所有分区迁移完成且处于 "Completed" 状态时，扩容操作完成。
缩容操作需要更加谨慎，以避免数据丢失或服务中断：
3.1 确定要移除的节点
首先分析集群负载，确定哪些节点可以被安全移除。理想情况下，应选择负载较低且包含重要分区副本较少的节点。缩容前应确保集群副本因子不低于 2，以保障数据可靠性。
3.2 创建分区重分配计划
使用以下命令创建分区重分配计划，将目标节点的分区副本迁移到其他节点：
bin/kafka-reassign-partitions.sh –zookeeper <zk_host> –broker-list <remaining_broker_ids> –generate –topics-to-move-json-file topics.json
确保生成的计划中，所有原来在待移除节点上的分区副本都已被重新分配到其他节点上。
3.3 执行分区重分配并验证
执行重分配计划并监控进度，步骤与扩容相同：
bin/kafka-reassign-partitions.sh –zookeeper <zk_host> –reassignment-json-file reassignment.json –execute
bin/kafka-reassign-partitions.sh –zookeeper <zk_host> –reassignment-json-file reassignment.json –verify
3.4 停止并移除节点
当所有分区迁移完成后，停止目标节点的 Kafka 服务，确认该节点上不再有任何分区副本后，从集群中移除该节点。
合理的容量规划是保障 Kafka 集群长期稳定运行的关键：
4.1 容量评估指标
| 评估指标 | 计算公式 | 说明 |
| — | — | — |
| 每日消息量 | (消息大小 × 消息数量) / 86400 | 评估系统负载 |
| 存储需求 | 消息量 × 保留时间 × 副本因子 | 计算所需存储空间 |
| 带宽需求 | 每日消息量 / 86400 × 网络冗余系数 | 评估网络需求 |
| IOPS 需求 | 每日消息量 / 86400 × IOPS 转换系数 | 评估磁盘性能 |
4.2 集群规模计算
根据业务增长预测，计算未来一段时间内的集群规模：
4.3 扩容时机判断
当集群出现以下迹象时，应考虑扩容：
5.1 最小示例：快速扩容测试
以下是一个快速测试集群扩容的最小示例：
# 创建测试主题
bin/kafka-topics.sh –bootstrap-server localhost:9092 –create –topic test-topic –partitions 3 –replication-factor 2
# 生成重分配计划
echo '{
"version": 1,
"topics": [
{
"topic": "test-topic",
"partitions": [
{"partition": 0, "replicas": [1, 2]},
{"partition": 1, "replicas": [2, 0]},
{"partition": 2, "replicas": [0, 1]}
]
}
]
}' > reassignment.json
# 执行重分配
bin/kafka-reassign-partitions.sh –bootstrap-server localhost:9092 –reassignment-json-file reassignment.json –execute
# 验证重分配状态
bin/kafka-reassign-partitions.sh –bootstrap-server localhost:9092 –reassignment-json-file reassignment.json –verify
5.2 注意事项
flowchart TD
A["启动扩容/缩容"] –> B["评估当前集群状态"]
B –> C["确定操作类型:扩容/缩容"]
C –> D["扩容": 增加Broker节点]
C –> E["缩容": 移除Broker节点]
D –> F["创建分区重分配计划"]
E –> F
F –> G["执行分区重分配"]
G –> H["监控迁移进度"]
H –> I{"是否完成?"}
I –>|"否"| G
I –>|"是"| J["操作完成"]
