欢迎光临
我们一直在努力

Kafka 安装部署

Kafka 安装部署

在这里插入图片描述

一、环境准备

1. 服务器规划

节点角色服务器IP容器名称节点ID(KAFKA_NODE_ID)控制器端口(CONTROLLER)broker端口(PLAINTEXT)
Kafka节点1 ip1 kafka-157 1 9093 9092
Kafka节点2 ip2 kafka-158 2 9093 9092
Kafka节点3 ip3 kafka-159 3 9093 9092

2. 前置条件

  • 所有节点安装 Docker 和 Docker Compose
  • 网络互通:三个节点之间需开放 9092(broker通信)和 9093(控制器通信)端口,关闭防火墙或配置白名单。
  • 目录准备:每个节点创建数据和日志目录,并赋予权限:# 在 ip1、ip2、ip3 分别执行
    mkdir -p /data/kafka/data /data/kafka/logs
    chmod -R 777 /data/kafka # 生产环境建议精细化权限(如设置容器用户ID)

二、集群配置文件(docker-compose.yml)

1. 节点1(ip1)配置文件 kafka.yml

version: "3.8"

services:
kafka:
image: apache/kafka:3.8.0 # 官方镜像
container_name: kafka–157 # 容器名称,需唯一
hostname: kafka–157 # 容器 hostname,用于集群识别
restart: always # 故障自动重启
ports:
– "9092:9092" # broker 对外服务端口(PLAINTEXT协议)
– "9093:9093" # controller 集群通信端口
environment:
# 核心配置(集群必改项)
KAFKA_NODE_ID: 1 # 节点唯一ID(1/2/3,不可重复)
KAFKA_PROCESS_ROLES: broker,controller # 当前节点角色:既是broker也是controller(3.3+ 新架构,无需独立controller节点)
KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093 # 监听地址(0.0.0.0表示所有网卡)
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://ip1:9092 # 对外暴露的地址(客户端连接用,需替换为节点实际IP)
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT # listener与协议映射
KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER # 指定控制器通信的listener名称
KAFKA_CONTROLLER_QUORUM_VOTERS: 1@ip1:9093,2@ip2:9093,3@ip3:9093 # 控制器集群投票节点(node_id@ip:port)

# 存储与日志配置
KAFKA_LOG_DIRS: /var/lib/kafka/data # 数据存储目录(映射到宿主机/data/kafka/data)
KAFKA_LOG_RETENTION_HOURS: 168 # 日志保留时间(7天)
KAFKA_LOG_SEGMENT_BYTES: 1073741824 # 单个日志段大小(1GB)
KAFKA_LOG_RETENTION_CHECK_INTERVAL_MS: 300000 # 日志清理检查间隔(5分钟)

# Topic默认配置
KAFKA_NUM_PARTITIONS: 18 # 默认分区数(根据业务调整,建议偶数)
KAFKA_DEFAULT_REPLICATION_FACTOR: 3 # 默认副本因子(3节点集群建议3,保证高可用)
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 3 # 偏移量 topic 副本因子(需 ≥ 3)
KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 3 # 事务日志副本因子
KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 2 # 事务日志最小同步副本数

# 性能与安全配置
KAFKA_MIN_INSYNC_REPLICAS: 2 # 最小同步副本数(需 ≤ 副本因子,建议副本因子-1)
KAFKA_AUTO_CREATE_TOPICS_ENABLE: "false" # 禁止自动创建topic(需手动创建,避免垃圾topic)
KAFKA_UNCLEAN_LEADER_ELECTION_ENABLE: "false" # 禁止非同步副本成为leader(保证数据一致性)
KAFKA_NUM_NETWORK_THREADS: 4 # 网络线程数(处理客户端请求,建议CPU核心数的1-2倍)
KAFKA_NUM_IO_THREADS: 8 # IO线程数(处理磁盘IO,建议CPU核心数的2-4倍)
KAFKA_HEAP_OPTS: "-Xms2G -Xmx2G" # JVM堆内存(建议为物理内存的50%,最大不超过32G)

networks:
– kafka–net # 自定义网络(如需跨主机通信,需替换为overlay网络或host网络)
volumes:
– /data/kafka/data:/var/lib/kafka/data # 数据目录挂载(宿主机:容器内)
– /data/kafka/logs:/opt/kafka/logs # 日志目录挂载
deploy:
resources:
limits:
cpus: '4' # CPU限制(根据服务器配置调整,建议4核以上)
memory: 4G # 内存限制(需大于堆内存,预留系统和缓存空间)

networks:
kafka-net:
driver: bridge # 单主机用bridge;跨主机需用overlay(如Docker Swarm)或host网络

2. 节点2(ip2)和节点3(ip3)配置调整

节点2和节点3的配置文件与节点1基本一致,只需修改以下参数:

参数节点2(ip2)调整节点3(ip3)调整
container_name kafka-158 kafka-159
hostname kafka-158 kafka-159
KAFKA_NODE_ID 2 3
KAFKA_ADVERTISED_LISTENERS PLAINTEXT://ip2:9092 PLAINTEXT://ip3:9092

三、启动集群

1. 分别在三个节点启动容器

# 在 ip1、ip2、ip3 节点分别执行
docker-compose -f kafka.yml up -d

2. 检查容器状态

# 查看容器是否运行
docker ps | grep kafka

# 查看日志(确认无错误,如控制器选举、集群连接成功)
docker logs -f kafka-157 # 替换为对应节点的容器名称

日志关键成功标志:

  • 节点1日志出现 Controller quorum initialized successfully(控制器集群初始化成功)。
  • 所有节点日志出现 Joined group as a follower 或 Became leader(集群共识达成)。

四、集群验证

1. 检查集群节点状态

在这里插入图片描述

五、性能压测与优化

1. 压测工具使用(内置 kafka-producer-perf-test.sh)

# 在容器内执行(向 isrm-test 压入 100万条消息,每条1KB)
/opt/kafka/bin/kafka-producer-perf-test.sh \\
–topic isrm-test \\
–num-records 1000000 \\
–record-size 1024 \\
–throughput -1 \\ # 不限速,测试最大吞吐量
–producer-props bootstrap.servers=ip1:9092,ip2:9092,ip3:9092

在这里插入图片描述 在这里插入图片描述

在这里插入图片描述

2. 常见性能问题优化

(1)客户端压测失败(吞吐量不足)
  • 检查服务器资源:确保每个节点 CPU 使用率 < 80%,内存充足(避免 swap)。
  • 调整 JVM 堆内存:若堆内存过小(如 < 2G),可增大 KAFKA_HEAP_OPTS(如 -Xms4G -Xmx4G,需同步调整 deploy.resources.memory)。
  • 优化网络线程:增加 KAFKA_NUM_NETWORK_THREADS(如 8,CPU核心数的2倍)和 KAFKA_NUM_IO_THREADS(如 16)。
(2)副本同步延迟
  • 检查磁盘 IO:使用 iostat -x 1 查看磁盘 IO 使用率,若 %util 接近 100%,需更换 SSD 或调整日志目录到独立磁盘。
  • 减少同步副本数:非核心 topic 可降低 replication-factor(如 2),但核心业务建议保持 3。

六、注意事项

  • 跨主机网络:若三个节点在不同服务器,Docker 默认 bridge 网络无法跨主机通信,需:

    • 方案1:使用 network_mode: host(直接使用宿主机网络,需确保端口不冲突)。
    • 方案2:搭建 Docker Swarm 并使用 overlay 网络(适合大规模集群)。
  • 数据备份:定期备份 /data/kafka/data 目录(Kafka 数据目录),避免数据丢失。

  • 版本兼容性:客户端 SDK 版本需与 Kafka 服务端版本兼容(建议客户端版本 ≥ 服务端版本,或遵循 Kafka 版本兼容性文档)。

  • 监控集成:建议通过 Prometheus + Grafana 监控 Kafka 指标(如 kafka_server_BrokerTopicMetrics_MessagesInPerSec 吞吐量、kafka_controller_ActiveControllerCount 控制器状态等)。

  • 七、总结

    通过 Docker Compose 部署 Kafka 3.8.0 集群,核心在于配置文件中控制器集群(CONTROLLER_QUORUM_VOTERS)、节点 ID、监听地址的正确设置,以及确保三节点网络互通。部署完成后,需通过创建 topic、生产消费消息验证集群功能,并根据压测结果优化资源配置,确保高可用和高性能。

    赞(0)
    未经允许不得转载:171主机测评 » Kafka 安装部署
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址