Kafka Offset 深度解析：消息消费进度的追踪与掌控

Kafka Offset 深度解析：消息消费进度的追踪与掌控

• • 一、Offset 概述
  • • 1.1 什么是 Offset？
    • 1.2 Offset 的核心作用
  • 二、Offset 的存储机制
  • • 2.1 Offset 的物理存储
    • 2.2 Offset 的键值结构
    • 2.3 查看 __consumer_offsets 内容
  • 三、Offset 提交的两种方式
  • • 3.1 自动提交（enable.auto.commit=true）
    • 3.2 手动提交（enable.auto.commit=false）
    • • 3.2.1 同步提交 vs 异步提交
      • 3.2.2 手动提交的三种粒度
  • 四、消费进度的完整追踪流程
  • • 4.1 消费者启动时的 Offset 初始化
    • 4.2 消费过程中的 LAG 计算
    • 4.3 使用命令行监控消费进度
  • 五、Offset 重置：手动调整消费进度
  • • 5.1 为什么要重置 Offset？
    • 5.2 重置 Offset 的四种方式
    • 5.3 代码中手动设置消费位置
  • 六、Offset 管理与监控最佳实践
  • • 6.1 生产环境配置建议
    • 6.2 监控指标
    • 6.3 消费进度追踪流程图
  • 七、常见问题与解决方案
  • • 7.1 重复消费
    • 7.2 消息丢失
    • 7.3 Offset 提交失败
  • 八、总结
  • • 8.1 Offset 核心要点回顾
    • 8.2 Offset 完整生命周期图
    • 8.3 一句话总结

摘要：在 Kafka 的世界里，Offset（偏移量）是理解消息消费机制的核心密码。它就像是读者手中的书签，精确记录着消费者在分区中的阅读位置。没有 Offset，消费者每次重启都将迷失在海量消息中。本文将深入剖析 Offset 的本质、存储机制、提交策略以及消费进度的追踪方法，通过流程图和实战代码，帮助读者全面掌握 Kafka 消息消费的进度管理。

一、Offset 概述

1.1 什么是 Offset？

Offset（偏移量）是 Kafka 中消息在 Partition 内的唯一标识，是一个单调递增的整数。每个消息在写入 Partition 时都会被分配一个唯一的 Offset，用于标识消息在该分区中的位置。

#mermaid-svg-bmvPaegM2GcHtFjS{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-bmvPaegM2GcHtFjS .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-bmvPaegM2GcHtFjS .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-bmvPaegM2GcHtFjS .error-icon{fill:#552222;}#mermaid-svg-bmvPaegM2GcHtFjS .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-bmvPaegM2GcHtFjS .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-bmvPaegM2GcHtFjS .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-bmvPaegM2GcHtFjS .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-bmvPaegM2GcHtFjS .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-bmvPaegM2GcHtFjS .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-bmvPaegM2GcHtFjS .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-bmvPaegM2GcHtFjS .marker{fill:#333333;stroke:#333333;}#mermaid-svg-bmvPaegM2GcHtFjS .marker.cross{stroke:#333333;}#mermaid-svg-bmvPaegM2GcHtFjS svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-bmvPaegM2GcHtFjS p{margin:0;}#mermaid-svg-bmvPaegM2GcHtFjS .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-bmvPaegM2GcHtFjS .cluster-label text{fill:#333;}#mermaid-svg-bmvPaegM2GcHtFjS .cluster-label span{color:#333;}#mermaid-svg-bmvPaegM2GcHtFjS .cluster-label span p{background-color:transparent;}#mermaid-svg-bmvPaegM2GcHtFjS .label text,#mermaid-svg-bmvPaegM2GcHtFjS span{fill:#333;color:#333;}#mermaid-svg-bmvPaegM2GcHtFjS .node rect,#mermaid-svg-bmvPaegM2GcHtFjS .node circle,#mermaid-svg-bmvPaegM2GcHtFjS .node ellipse,#mermaid-svg-bmvPaegM2GcHtFjS .node polygon,#mermaid-svg-bmvPaegM2GcHtFjS .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-bmvPaegM2GcHtFjS .rough-node .label text,#mermaid-svg-bmvPaegM2GcHtFjS .node .label text,#mermaid-svg-bmvPaegM2GcHtFjS .image-shape .label,#mermaid-svg-bmvPaegM2GcHtFjS .icon-shape .label{text-anchor:middle;}#mermaid-svg-bmvPaegM2GcHtFjS .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-bmvPaegM2GcHtFjS .rough-node .label,#mermaid-svg-bmvPaegM2GcHtFjS .node .label,#mermaid-svg-bmvPaegM2GcHtFjS .image-shape .label,#mermaid-svg-bmvPaegM2GcHtFjS .icon-shape .label{text-align:center;}#mermaid-svg-bmvPaegM2GcHtFjS .node.clickable{cursor:pointer;}#mermaid-svg-bmvPaegM2GcHtFjS .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-bmvPaegM2GcHtFjS .arrowheadPath{fill:#333333;}#mermaid-svg-bmvPaegM2GcHtFjS .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-bmvPaegM2GcHtFjS .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-bmvPaegM2GcHtFjS .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-bmvPaegM2GcHtFjS .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-bmvPaegM2GcHtFjS .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-bmvPaegM2GcHtFjS .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-bmvPaegM2GcHtFjS .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-bmvPaegM2GcHtFjS .cluster text{fill:#333;}#mermaid-svg-bmvPaegM2GcHtFjS .cluster span{color:#333;}#mermaid-svg-bmvPaegM2GcHtFjS div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-bmvPaegM2GcHtFjS .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-bmvPaegM2GcHtFjS rect.text{fill:none;stroke-width:0;}#mermaid-svg-bmvPaegM2GcHtFjS .icon-shape,#mermaid-svg-bmvPaegM2GcHtFjS .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-bmvPaegM2GcHtFjS .icon-shape p,#mermaid-svg-bmvPaegM2GcHtFjS .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-bmvPaegM2GcHtFjS .icon-shape rect,#mermaid-svg-bmvPaegM2GcHtFjS .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-bmvPaegM2GcHtFjS .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-bmvPaegM2GcHtFjS .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-bmvPaegM2GcHtFjS :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

Partition 0

消息0Offset 0

消息1Offset 1

消息2Offset 2

消息3Offset 3

消息4Offset 4

1.2 Offset 的核心作用

二、Offset 的存储机制

2.1 Offset 的物理存储

Kafka 将消费者的 Offset 存储在一个特殊的 Topic 中：__consumer_offsets。这个 Topic 是 Kafka 内部使用的，用于保存每个消费者组在消费 Partition 时的提交位置。

#mermaid-svg-LboG6Og7elXuDVeR{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-LboG6Og7elXuDVeR .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-LboG6Og7elXuDVeR .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-LboG6Og7elXuDVeR .error-icon{fill:#552222;}#mermaid-svg-LboG6Og7elXuDVeR .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-LboG6Og7elXuDVeR .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-LboG6Og7elXuDVeR .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-LboG6Og7elXuDVeR .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-LboG6Og7elXuDVeR .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-LboG6Og7elXuDVeR .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-LboG6Og7elXuDVeR .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-LboG6Og7elXuDVeR .marker{fill:#333333;stroke:#333333;}#mermaid-svg-LboG6Og7elXuDVeR .marker.cross{stroke:#333333;}#mermaid-svg-LboG6Og7elXuDVeR svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-LboG6Og7elXuDVeR p{margin:0;}#mermaid-svg-LboG6Og7elXuDVeR .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-LboG6Og7elXuDVeR .cluster-label text{fill:#333;}#mermaid-svg-LboG6Og7elXuDVeR .cluster-label span{color:#333;}#mermaid-svg-LboG6Og7elXuDVeR .cluster-label span p{background-color:transparent;}#mermaid-svg-LboG6Og7elXuDVeR .label text,#mermaid-svg-LboG6Og7elXuDVeR span{fill:#333;color:#333;}#mermaid-svg-LboG6Og7elXuDVeR .node rect,#mermaid-svg-LboG6Og7elXuDVeR .node circle,#mermaid-svg-LboG6Og7elXuDVeR .node ellipse,#mermaid-svg-LboG6Og7elXuDVeR .node polygon,#mermaid-svg-LboG6Og7elXuDVeR .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-LboG6Og7elXuDVeR .rough-node .label text,#mermaid-svg-LboG6Og7elXuDVeR .node .label text,#mermaid-svg-LboG6Og7elXuDVeR .image-shape .label,#mermaid-svg-LboG6Og7elXuDVeR .icon-shape .label{text-anchor:middle;}#mermaid-svg-LboG6Og7elXuDVeR .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-LboG6Og7elXuDVeR .rough-node .label,#mermaid-svg-LboG6Og7elXuDVeR .node .label,#mermaid-svg-LboG6Og7elXuDVeR .image-shape .label,#mermaid-svg-LboG6Og7elXuDVeR .icon-shape .label{text-align:center;}#mermaid-svg-LboG6Og7elXuDVeR .node.clickable{cursor:pointer;}#mermaid-svg-LboG6Og7elXuDVeR .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-LboG6Og7elXuDVeR .arrowheadPath{fill:#333333;}#mermaid-svg-LboG6Og7elXuDVeR .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-LboG6Og7elXuDVeR .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-LboG6Og7elXuDVeR .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-LboG6Og7elXuDVeR .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-LboG6Og7elXuDVeR .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-LboG6Og7elXuDVeR .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-LboG6Og7elXuDVeR .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-LboG6Og7elXuDVeR .cluster text{fill:#333;}#mermaid-svg-LboG6Og7elXuDVeR .cluster span{color:#333;}#mermaid-svg-LboG6Og7elXuDVeR div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-LboG6Og7elXuDVeR .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-LboG6Og7elXuDVeR rect.text{fill:none;stroke-width:0;}#mermaid-svg-LboG6Og7elXuDVeR .icon-shape,#mermaid-svg-LboG6Og7elXuDVeR .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-LboG6Og7elXuDVeR .icon-shape p,#mermaid-svg-LboG6Og7elXuDVeR .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-LboG6Og7elXuDVeR .icon-shape rect,#mermaid-svg-LboG6Og7elXuDVeR .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-LboG6Og7elXuDVeR .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-LboG6Og7elXuDVeR .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-LboG6Og7elXuDVeR :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

Kafka 集群

业务 Topic: orders

内置 Topic: __consumer_offsets

提交 Offset

消费

消费

Partition 0

Partition 1

…

Partition 0

Partition 1

消费者组: order-group

2.2 Offset 的键值结构

存储在 __consumer_offsets 中的消息遵循特定的键值格式：

// 消息键结构
group.id + topic + partition

// 消息值结构
{
"offset": 1289, // 当前提交的偏移量
"metadata": "", // 元数据（可选）
"commit_timestamp": 1689123456000 // 提交时间戳
}

2.3 查看 __consumer_offsets 内容

# 1. 查看 __consumer_offsets 的分区数
bin/kafka-topics.sh –describe –topic __consumer_offsets –bootstrap-server localhost:9092

# 2. 查看指定消费者组的 Offset
bin/kafka-consumer-groups.sh –bootstrap-server localhost:9092 \\
–group my-group \\
–describe

# 输出示例
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
my-group orders 0 1289 1500 211
my-group orders 1 2567 3000 433

关键指标解读：

• CURRENT-OFFSET：当前消费者组已提交的偏移量（最后处理的位置）
• LOG-END-OFFSET：分区中最新消息的偏移量
• LAG：消费延迟 = LOG-END-OFFSET – CURRENT-OFFSET，表示还有多少消息未处理

三、Offset 提交的两种方式

3.1 自动提交（enable.auto.commit=true）

自动提交是最简单的提交方式，由 Kafka 消费者在后台定时提交 Offset。

Broker

Consumer

Broker

Consumer

#mermaid-svg-q530XfF0rrvv1EGJ{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-q530XfF0rrvv1EGJ .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-q530XfF0rrvv1EGJ .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-q530XfF0rrvv1EGJ .error-icon{fill:#552222;}#mermaid-svg-q530XfF0rrvv1EGJ .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-q530XfF0rrvv1EGJ .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-q530XfF0rrvv1EGJ .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-q530XfF0rrvv1EGJ .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-q530XfF0rrvv1EGJ .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-q530XfF0rrvv1EGJ .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-q530XfF0rrvv1EGJ .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-q530XfF0rrvv1EGJ .marker{fill:#333333;stroke:#333333;}#mermaid-svg-q530XfF0rrvv1EGJ .marker.cross{stroke:#333333;}#mermaid-svg-q530XfF0rrvv1EGJ svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-q530XfF0rrvv1EGJ p{margin:0;}#mermaid-svg-q530XfF0rrvv1EGJ .actor{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-q530XfF0rrvv1EGJ text.actor>tspan{fill:black;stroke:none;}#mermaid-svg-q530XfF0rrvv1EGJ .actor-line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);}#mermaid-svg-q530XfF0rrvv1EGJ .innerArc{stroke-width:1.5;stroke-dasharray:none;}#mermaid-svg-q530XfF0rrvv1EGJ .messageLine0{stroke-width:1.5;stroke-dasharray:none;stroke:#333;}#mermaid-svg-q530XfF0rrvv1EGJ .messageLine1{stroke-width:1.5;stroke-dasharray:2,2;stroke:#333;}#mermaid-svg-q530XfF0rrvv1EGJ #arrowhead path{fill:#333;stroke:#333;}#mermaid-svg-q530XfF0rrvv1EGJ .sequenceNumber{fill:white;}#mermaid-svg-q530XfF0rrvv1EGJ #sequencenumber{fill:#333;}#mermaid-svg-q530XfF0rrvv1EGJ #crosshead path{fill:#333;stroke:#333;}#mermaid-svg-q530XfF0rrvv1EGJ .messageText{fill:#333;stroke:none;}#mermaid-svg-q530XfF0rrvv1EGJ .labelBox{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-q530XfF0rrvv1EGJ .labelText,#mermaid-svg-q530XfF0rrvv1EGJ .labelText>tspan{fill:black;stroke:none;}#mermaid-svg-q530XfF0rrvv1EGJ .loopText,#mermaid-svg-q530XfF0rrvv1EGJ .loopText>tspan{fill:black;stroke:none;}#mermaid-svg-q530XfF0rrvv1EGJ .loopLine{stroke-width:2px;stroke-dasharray:2,2;stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);}#mermaid-svg-q530XfF0rrvv1EGJ .note{stroke:#aaaa33;fill:#fff5ad;}#mermaid-svg-q530XfF0rrvv1EGJ .noteText,#mermaid-svg-q530XfF0rrvv1EGJ .noteText>tspan{fill:black;stroke:none;}#mermaid-svg-q530XfF0rrvv1EGJ .activation0{fill:#f4f4f4;stroke:#666;}#mermaid-svg-q530XfF0rrvv1EGJ .activation1{fill:#f4f4f4;stroke:#666;}#mermaid-svg-q530XfF0rrvv1EGJ .activation2{fill:#f4f4f4;stroke:#666;}#mermaid-svg-q530XfF0rrvv1EGJ .actorPopupMenu{position:absolute;}#mermaid-svg-q530XfF0rrvv1EGJ .actorPopupMenuPanel{position:absolute;fill:#ECECFF;box-shadow:0px 8px 16px 0px rgba(0,0,0,0.2);filter:drop-shadow(3px 5px 2px rgb(0 0 0 / 0.4));}#mermaid-svg-q530XfF0rrvv1EGJ .actor-man line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-q530XfF0rrvv1EGJ .actor-man circle,#mermaid-svg-q530XfF0rrvv1EGJ line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;stroke-width:2px;}#mermaid-svg-q530XfF0rrvv1EGJ :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

loop

[每 5

秒（auto.commit.interval.-

ms）]

触发自动提交

提交已处理消息的 Offset

提交确认

配置示例：

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "my-group");
props.put("enable.auto.commit", "true");
props.put("auto.commit.interval.ms", "5000"); // 每 5 秒提交一次

优点：简单，无需编码 缺点：可能导致重复消费或消息丢失（取决于提交时机）

3.2 手动提交（enable.auto.commit=false）

手动提交给予开发者精确控制 Offset 提交时机的能力。

while (true) {
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));

for (ConsumerRecord<String, String> record : records) {
// 1. 处理消息
process(record);
}

// 2. 处理完成后手动提交
try {
consumer.commitSync(); // 同步提交（阻塞）
// 或
consumer.commitAsync(); // 异步提交（非阻塞）
} catch (CommitFailedException e) {
// 处理提交失败
}
}

3.2.1 同步提交 vs 异步提交

// 异步提交的最佳实践
consumer.commitAsync((offsets, exception) -> {
if (exception != null) {
// 记录失败，通常会在下一次同步提交中重试
log.error("Commit failed for offsets {}", offsets, exception);
}
});

3.2.2 手动提交的三种粒度

// 1. 批量提交 – 一次性提交所有已拉取分区的 Offset
consumer.commitSync();

// 2. 分区级提交 – 单独提交指定分区的 Offset
Map<TopicPartition, OffsetAndMetadata> offsets = new HashMap<>();
offsets.put(new TopicPartition("orders", 0), new OffsetAndMetadata(1289));
offsets.put(new TopicPartition("orders", 1), new OffsetAndMetadata(2567));
consumer.commitSync(offsets);

// 3. 消息级提交 – 处理一条消息后立即提交（不推荐，性能差）
consumer.commitSync(Collections.singletonMap(
new TopicPartition(record.topic(), record.partition()),
new OffsetAndMetadata(record.offset() + 1)
));

四、消费进度的完整追踪流程

4.1 消费者启动时的 Offset 初始化

当消费者组启动时，需要确定从哪个 Offset 开始消费。这个过程由 auto.offset.reset 参数控制。

#mermaid-svg-eDy5asl1VzegFR0W{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-eDy5asl1VzegFR0W .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-eDy5asl1VzegFR0W .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-eDy5asl1VzegFR0W .error-icon{fill:#552222;}#mermaid-svg-eDy5asl1VzegFR0W .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-eDy5asl1VzegFR0W .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-eDy5asl1VzegFR0W .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-eDy5asl1VzegFR0W .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-eDy5asl1VzegFR0W .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-eDy5asl1VzegFR0W .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-eDy5asl1VzegFR0W .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-eDy5asl1VzegFR0W .marker{fill:#333333;stroke:#333333;}#mermaid-svg-eDy5asl1VzegFR0W .marker.cross{stroke:#333333;}#mermaid-svg-eDy5asl1VzegFR0W svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-eDy5asl1VzegFR0W p{margin:0;}#mermaid-svg-eDy5asl1VzegFR0W .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-eDy5asl1VzegFR0W .cluster-label text{fill:#333;}#mermaid-svg-eDy5asl1VzegFR0W .cluster-label span{color:#333;}#mermaid-svg-eDy5asl1VzegFR0W .cluster-label span p{background-color:transparent;}#mermaid-svg-eDy5asl1VzegFR0W .label text,#mermaid-svg-eDy5asl1VzegFR0W span{fill:#333;color:#333;}#mermaid-svg-eDy5asl1VzegFR0W .node rect,#mermaid-svg-eDy5asl1VzegFR0W .node circle,#mermaid-svg-eDy5asl1VzegFR0W .node ellipse,#mermaid-svg-eDy5asl1VzegFR0W .node polygon,#mermaid-svg-eDy5asl1VzegFR0W .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-eDy5asl1VzegFR0W .rough-node .label text,#mermaid-svg-eDy5asl1VzegFR0W .node .label text,#mermaid-svg-eDy5asl1VzegFR0W .image-shape .label,#mermaid-svg-eDy5asl1VzegFR0W .icon-shape .label{text-anchor:middle;}#mermaid-svg-eDy5asl1VzegFR0W .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-eDy5asl1VzegFR0W .rough-node .label,#mermaid-svg-eDy5asl1VzegFR0W .node .label,#mermaid-svg-eDy5asl1VzegFR0W .image-shape .label,#mermaid-svg-eDy5asl1VzegFR0W .icon-shape .label{text-align:center;}#mermaid-svg-eDy5asl1VzegFR0W .node.clickable{cursor:pointer;}#mermaid-svg-eDy5asl1VzegFR0W .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-eDy5asl1VzegFR0W .arrowheadPath{fill:#333333;}#mermaid-svg-eDy5asl1VzegFR0W .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-eDy5asl1VzegFR0W .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-eDy5asl1VzegFR0W .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-eDy5asl1VzegFR0W .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-eDy5asl1VzegFR0W .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-eDy5asl1VzegFR0W .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-eDy5asl1VzegFR0W .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-eDy5asl1VzegFR0W .cluster text{fill:#333;}#mermaid-svg-eDy5asl1VzegFR0W .cluster span{color:#333;}#mermaid-svg-eDy5asl1VzegFR0W div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-eDy5asl1VzegFR0W .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-eDy5asl1VzegFR0W rect.text{fill:none;stroke-width:0;}#mermaid-svg-eDy5asl1VzegFR0W .icon-shape,#mermaid-svg-eDy5asl1VzegFR0W .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-eDy5asl1VzegFR0W .icon-shape p,#mermaid-svg-eDy5asl1VzegFR0W .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-eDy5asl1VzegFR0W .icon-shape rect,#mermaid-svg-eDy5asl1VzegFR0W .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-eDy5asl1VzegFR0W .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-eDy5asl1VzegFR0W .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-eDy5asl1VzegFR0W :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

有

无

earliest

latest

none

消费者启动

__consumer_offsets中有提交记录？

从提交的 Offset 开始消费

根据 auto.offset.reset 决定

从分区起始位置消费

从最新位置开始消费

抛出异常，无提交记录

配置说明：

# 从最早的消息开始消费（适用于需要全量数据的场景）
auto.offset.reset=earliest

# 从最新的消息开始消费（默认，适用于只关心新数据的场景）
auto.offset.reset=latest

# 如果没有提交记录，抛出异常
auto.offset.reset=none

4.2 消费过程中的 LAG 计算

LAG（积压量）是衡量消费进度的重要指标，表示消费者落后于生产者的程度。

#mermaid-svg-t9890Z1xhN1SHQ6V{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-t9890Z1xhN1SHQ6V .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-t9890Z1xhN1SHQ6V .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-t9890Z1xhN1SHQ6V .error-icon{fill:#552222;}#mermaid-svg-t9890Z1xhN1SHQ6V .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-t9890Z1xhN1SHQ6V .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-t9890Z1xhN1SHQ6V .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-t9890Z1xhN1SHQ6V .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-t9890Z1xhN1SHQ6V .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-t9890Z1xhN1SHQ6V .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-t9890Z1xhN1SHQ6V .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-t9890Z1xhN1SHQ6V .marker{fill:#333333;stroke:#333333;}#mermaid-svg-t9890Z1xhN1SHQ6V .marker.cross{stroke:#333333;}#mermaid-svg-t9890Z1xhN1SHQ6V svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-t9890Z1xhN1SHQ6V p{margin:0;}#mermaid-svg-t9890Z1xhN1SHQ6V .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-t9890Z1xhN1SHQ6V .cluster-label text{fill:#333;}#mermaid-svg-t9890Z1xhN1SHQ6V .cluster-label span{color:#333;}#mermaid-svg-t9890Z1xhN1SHQ6V .cluster-label span p{background-color:transparent;}#mermaid-svg-t9890Z1xhN1SHQ6V .label text,#mermaid-svg-t9890Z1xhN1SHQ6V span{fill:#333;color:#333;}#mermaid-svg-t9890Z1xhN1SHQ6V .node rect,#mermaid-svg-t9890Z1xhN1SHQ6V .node circle,#mermaid-svg-t9890Z1xhN1SHQ6V .node ellipse,#mermaid-svg-t9890Z1xhN1SHQ6V .node polygon,#mermaid-svg-t9890Z1xhN1SHQ6V .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-t9890Z1xhN1SHQ6V .rough-node .label text,#mermaid-svg-t9890Z1xhN1SHQ6V .node .label text,#mermaid-svg-t9890Z1xhN1SHQ6V .image-shape .label,#mermaid-svg-t9890Z1xhN1SHQ6V .icon-shape .label{text-anchor:middle;}#mermaid-svg-t9890Z1xhN1SHQ6V .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-t9890Z1xhN1SHQ6V .rough-node .label,#mermaid-svg-t9890Z1xhN1SHQ6V .node .label,#mermaid-svg-t9890Z1xhN1SHQ6V .image-shape .label,#mermaid-svg-t9890Z1xhN1SHQ6V .icon-shape .label{text-align:center;}#mermaid-svg-t9890Z1xhN1SHQ6V .node.clickable{cursor:pointer;}#mermaid-svg-t9890Z1xhN1SHQ6V .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-t9890Z1xhN1SHQ6V .arrowheadPath{fill:#333333;}#mermaid-svg-t9890Z1xhN1SHQ6V .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-t9890Z1xhN1SHQ6V .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-t9890Z1xhN1SHQ6V .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-t9890Z1xhN1SHQ6V .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-t9890Z1xhN1SHQ6V .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-t9890Z1xhN1SHQ6V .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-t9890Z1xhN1SHQ6V .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-t9890Z1xhN1SHQ6V .cluster text{fill:#333;}#mermaid-svg-t9890Z1xhN1SHQ6V .cluster span{color:#333;}#mermaid-svg-t9890Z1xhN1SHQ6V div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-t9890Z1xhN1SHQ6V .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-t9890Z1xhN1SHQ6V rect.text{fill:none;stroke-width:0;}#mermaid-svg-t9890Z1xhN1SHQ6V .icon-shape,#mermaid-svg-t9890Z1xhN1SHQ6V .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-t9890Z1xhN1SHQ6V .icon-shape p,#mermaid-svg-t9890Z1xhN1SHQ6V .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-t9890Z1xhN1SHQ6V .icon-shape rect,#mermaid-svg-t9890Z1xhN1SHQ6V .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-t9890Z1xhN1SHQ6V .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-t9890Z1xhN1SHQ6V .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-t9890Z1xhN1SHQ6V :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

Partition 0

消息0Offset 0

消息1Offset 1

消息2Offset 2

消息3Offset 3

消息4Offset 4

消息5Offset 5

当前提交 Offset = 3

LAG = 5 – 3 = 2

LOG-END-OFFSET = 5

计算公式：

LAG = LOG-END-OFFSET – CURRENT-OFFSET

4.3 使用命令行监控消费进度

# 查看消费者组详情（包含 LAG 信息）
bin/kafka-consumer-groups.sh –bootstrap-server localhost:9092 \\
–group order-group \\
–describe

# 输出示例
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
order-group orders 0 1500 2000 500
order-group orders 1 2500 3000 500
order-group orders 2 3500 4000 500
order-group orders 3 4500 5000 500

# 重置消费位点
bin/kafka-consumer-groups.sh –bootstrap-server localhost:9092 \\
–group order-group \\
–topic orders:0,orders:1 \\
–reset-offsets –to-offset 1000 –execute

五、Offset 重置：手动调整消费进度

5.1 为什么要重置 Offset？

• 重新处理数据：业务逻辑有 bug，需要重新消费处理
• 跳过错误数据：某些消息导致消费失败，需要跳过
• 回退到特定时间点：基于时间的数据回溯

5.2 重置 Offset 的四种方式

# 1. 重置到最早（从分区开头开始）
bin/kafka-consumer-groups.sh –bootstrap-server localhost:9092 \\
–group order-group \\
–topic orders \\
–reset-offsets –to-earliest –execute

# 2. 重置到最新（跳过所有已有消息）
bin/kafka-consumer-groups.sh –bootstrap-server localhost:9092 \\
–group order-group \\
–topic orders \\
–reset-offsets –to-latest –execute

# 3. 重置到指定 Offset
bin/kafka-consumer-groups.sh –bootstrap-server localhost:9092 \\
–group order-group \\
–topic orders:0:1000,orders:1:2000 \\
–reset-offsets –to-offset –execute

# 4. 重置到指定时间戳
bin/kafka-consumer-groups.sh –bootstrap-server localhost:9092 \\
–group order-group \\
–topic orders \\
–reset-offsets –to-datetime 2024-01-01T00:00:00.000 –execute

5.3 代码中手动设置消费位置

// 在消费者初始化时指定起始位置
consumer.subscribe(Collections.singletonList("orders"));

// 等待分区分配
consumer.poll(Duration.ofMillis(0));

// 获取分配到的分区
Set<TopicPartition> partitions = consumer.assignment();
for (TopicPartition partition : partitions) {
// 设置从指定 Offset 开始消费
consumer.seek(partition, 1000);

// 或设置到分区开头
// consumer.seekToBeginning(Collections.singleton(partition));

// 或设置到分区末尾
// consumer.seekToEnd(Collections.singleton(partition));
}

// 开始消费
while (true) {
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
for (ConsumerRecord<String, String> record : records) {
process(record);
}
}

六、Offset 管理与监控最佳实践

6.1 生产环境配置建议

# 消费者配置
enable.auto.commit=false # 手动提交，精确控制
auto.offset.reset=earliest # 根据业务需求选择
max.poll.records=500 # 每次拉取消息数
fetch.max.bytes=52428800 # 每次拉取最大数据量

# 重试与提交配置
retry.backoff.ms=1000
request.timeout.ms=30000

6.2 监控指标

6.3 消费进度追踪流程图

#mermaid-svg-Qc26KJKRchQ1Njyo{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-Qc26KJKRchQ1Njyo .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-Qc26KJKRchQ1Njyo .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-Qc26KJKRchQ1Njyo .error-icon{fill:#552222;}#mermaid-svg-Qc26KJKRchQ1Njyo .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-Qc26KJKRchQ1Njyo .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-Qc26KJKRchQ1Njyo .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-Qc26KJKRchQ1Njyo .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-Qc26KJKRchQ1Njyo .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-Qc26KJKRchQ1Njyo .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-Qc26KJKRchQ1Njyo .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-Qc26KJKRchQ1Njyo .marker{fill:#333333;stroke:#333333;}#mermaid-svg-Qc26KJKRchQ1Njyo .marker.cross{stroke:#333333;}#mermaid-svg-Qc26KJKRchQ1Njyo svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-Qc26KJKRchQ1Njyo p{margin:0;}#mermaid-svg-Qc26KJKRchQ1Njyo .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-Qc26KJKRchQ1Njyo .cluster-label text{fill:#333;}#mermaid-svg-Qc26KJKRchQ1Njyo .cluster-label span{color:#333;}#mermaid-svg-Qc26KJKRchQ1Njyo .cluster-label span p{background-color:transparent;}#mermaid-svg-Qc26KJKRchQ1Njyo .label text,#mermaid-svg-Qc26KJKRchQ1Njyo span{fill:#333;color:#333;}#mermaid-svg-Qc26KJKRchQ1Njyo .node rect,#mermaid-svg-Qc26KJKRchQ1Njyo .node circle,#mermaid-svg-Qc26KJKRchQ1Njyo .node ellipse,#mermaid-svg-Qc26KJKRchQ1Njyo .node polygon,#mermaid-svg-Qc26KJKRchQ1Njyo .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-Qc26KJKRchQ1Njyo .rough-node .label text,#mermaid-svg-Qc26KJKRchQ1Njyo .node .label text,#mermaid-svg-Qc26KJKRchQ1Njyo .image-shape .label,#mermaid-svg-Qc26KJKRchQ1Njyo .icon-shape .label{text-anchor:middle;}#mermaid-svg-Qc26KJKRchQ1Njyo .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-Qc26KJKRchQ1Njyo .rough-node .label,#mermaid-svg-Qc26KJKRchQ1Njyo .node .label,#mermaid-svg-Qc26KJKRchQ1Njyo .image-shape .label,#mermaid-svg-Qc26KJKRchQ1Njyo .icon-shape .label{text-align:center;}#mermaid-svg-Qc26KJKRchQ1Njyo .node.clickable{cursor:pointer;}#mermaid-svg-Qc26KJKRchQ1Njyo .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-Qc26KJKRchQ1Njyo .arrowheadPath{fill:#333333;}#mermaid-svg-Qc26KJKRchQ1Njyo .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-Qc26KJKRchQ1Njyo .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-Qc26KJKRchQ1Njyo .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Qc26KJKRchQ1Njyo .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-Qc26KJKRchQ1Njyo .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Qc26KJKRchQ1Njyo .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-Qc26KJKRchQ1Njyo .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-Qc26KJKRchQ1Njyo .cluster text{fill:#333;}#mermaid-svg-Qc26KJKRchQ1Njyo .cluster span{color:#333;}#mermaid-svg-Qc26KJKRchQ1Njyo div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-Qc26KJKRchQ1Njyo .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-Qc26KJKRchQ1Njyo rect.text{fill:none;stroke-width:0;}#mermaid-svg-Qc26KJKRchQ1Njyo .icon-shape,#mermaid-svg-Qc26KJKRchQ1Njyo .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Qc26KJKRchQ1Njyo .icon-shape p,#mermaid-svg-Qc26KJKRchQ1Njyo .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-Qc26KJKRchQ1Njyo .icon-shape rect,#mermaid-svg-Qc26KJKRchQ1Njyo .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Qc26KJKRchQ1Njyo .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-Qc26KJKRchQ1Njyo .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-Qc26KJKRchQ1Njyo :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

消费进度追踪

生产者

消费者组

写入

新消息

拉取消息

处理完成

提交

记录

计算

计算

采集

采集

采集

Producer

Topic Partition

LOG-END-OFFSET

Consumer

CURRENT-OFFSET

__consumer_offsets

LAG = LOG_END – OFFSET

监控系统

七、常见问题与解决方案

7.1 重复消费

现象：消费者重启后，部分消息被重复处理。

原因：

• 自动提交间隔过长，重启前未提交已处理的 Offset
• 处理时间超时，导致 Rebalance

解决方案：

// 采用手动提交 + 至少处理一次的模式
try {
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
for (ConsumerRecord<String, String> record : records) {
process(record);
}
// 处理完成后立即提交
consumer.commitSync();
} catch (Exception e) {
// 异常处理，可以选择重试或记录失败
}

7.2 消息丢失

现象：消息从未被消费。

原因：

• 消费者组没有提交记录，且 auto.offset.reset=latest
• 消费者在消息到达前就退出了

解决方案：

# 确保不会跳过未处理的消息
auto.offset.reset=earliest
enable.auto.commit=false

7.3 Offset 提交失败

现象：CommitFailedException 异常。

原因：

• 消费者处理时间超过 max.poll.interval.ms
• 消费者组 Rebalance 导致分区所有权变化

解决方案：

// 1. 增加处理超时时间
props.put("max.poll.interval.ms", 300000); // 5 分钟

// 2. 使用异步提交，并在回调中处理失败
consumer.commitAsync((offsets, exception) -> {
if (exception != null) {
// 记录失败，通常在下次同步提交中重试
log.warn("Commit failed", exception);
}
});

八、总结

8.1 Offset 核心要点回顾

8.2 Offset 完整生命周期图

渲染错误: Mermaid 渲染失败: Parse error on line 13: …umer_offsets
存储 (group, topic, parti ———————–^ Expecting 'SQE', 'DOUBLECIRCLEEND', 'PE', '-)', 'STADIUMEND', 'SUBROUTINEEND', 'PIPE', 'CYLINDEREND', 'DIAMOND_STOP', 'TAGEND', 'TRAPEND', 'INVTRAPEND', 'UNICODE_TEXT', 'TEXT', 'TAGSTART', got 'PS'

8.3 一句话总结

Offset 是 Kafka 消费进度的"书签"，通过精确控制 Offset 的提交与重置，我们能够实现至少一次语义、精确一次处理、数据回溯等高级消费模式，是构建可靠分布式数据处理系统的基石。