欢迎光临
我们一直在努力

Redis - AOF 日志:宕机了,Redis 如何避免数据丢失

文章目录

  • 引言
  • 先执行命令,再写日志
  • 三种写回策略
    • Always
    • Everysec(默认)
    • No
  • AOF 文件会越来越大
  • AOF 重写:用最少的命令表达当前状态
  • fork 的隐性成本
  • 重写的触发条件
  • AOF 的恢复流程
  • 实践建议

在这里插入图片描述

引言

Redis 把数据放在内存里,速度是有了,但断电就丢。持久化是 Redis 从"玩具"变成"生产级存储"的关键一步。AOF(Append Only File)是 Redis 提供的第一种持久化方案,思路很直接:把每条写命令追加到文件末尾,重启时逐条回放就能恢复数据。

听起来简单,但细节里全是取舍。

先执行命令,再写日志

和 MySQL 的 redo log "先写日志再执行"不同,Redis 的 AOF 走的是后写日志:命令先在内存里执行成功,然后才追加到 AOF 文件。

在这里插入图片描述

这个设计有两个好处:

  • 不会记录错误命令。如果命令语法有误,执行阶段就会报错返回,不会污染日志文件。
  • 不阻塞当前命令。写日志是在命令执行之后,不会拖慢当前请求的响应。
  • 代价也很明显:

    • 如果命令执行完、还没来得及写日志就宕机了,这条数据就丢了。
    • 写日志虽然不阻塞当前命令,但如果磁盘压力大,可能阻塞下一条命令。

    所以 AOF 的可靠性完全取决于"多久把日志真正刷到磁盘"。

    在这里插入图片描述


    三种写回策略

    AOF 的写入流程是:命令追加到内存缓冲区 → 操作系统 write 到内核页缓存 → fsync 刷到磁盘。Redis 通过 appendfsync 配置项控制最后一步的时机:

    在这里插入图片描述

    Always

    每条写命令执行完就立即 fsync。数据最安全,最多丢一条命令。但每次写操作都要等磁盘 IO 完成,吞吐量会被磁盘拖到很低。适合对数据零容忍的金融场景,但实际很少有人用。

    Everysec(默认)

    每秒由后台线程执行一次 fsync。这是性能和可靠性的折中点:最多丢 1 秒数据,磁盘压力也可控。绝大多数生产环境用的都是这个。

    No

    Redis 只负责 write 到内核缓冲区,什么时候 fsync 完全交给操作系统。性能最好,但数据丢失量完全不可控——可能是几秒,也可能是几十秒。

    三种策略的对比:

    策略丢失上限性能影响适用场景
    Always 1 条命令 高(每次 fsync) 极端可靠性要求
    Everysec 1 秒数据 低 通用生产环境
    No 不确定 最低 纯缓存、可丢失

    AOF 文件会越来越大

    AOF 记录的是写命令本身,同一个 key 被修改 100 次就会有 100 条记录。时间一长,文件膨胀得很厉害,恢复时回放速度也会越来越慢。

    举个例子,一个计数器从 0 累加到 10000,AOF 里就有 10000 条 INCR 命令。但恢复时其实只需要一条 SET counter 10000 就够了。

    这就是 AOF 重写要解决的问题。

    AOF 重写:用最少的命令表达当前状态

    重写的核心思想是:不看历史命令,只看当前内存状态。对每个 key,用一条命令把它的当前值写出来,生成一份全新的 AOF 文件。

    重写过程由子进程完成(BGREWRITEAOF),主进程继续处理请求。具体流程:

  • 主进程 fork 出子进程,子进程拿到当时的内存快照(利用 COW)。
  • 子进程遍历所有 key,把每个 key 的当前值用最精简的命令写到新 AOF 文件。
  • 在子进程工作期间,主进程的新写命令同时写到两个地方:旧 AOF 缓冲(保证旧文件完整)和 AOF 重写缓冲(保证新文件不丢数据)。
  • 子进程写完后通知主进程,主进程把重写缓冲里的命令追加到新文件末尾。
  • 原子替换:用新文件替换旧文件。 在这里插入图片描述
  • 整个过程对客户端透明,不会中断服务。

    fork 的隐性成本

    fork 本身是个快速操作——它不复制物理内存,只复制页表。但页表的大小和实例内存成正比。一个 25GB 的 Redis 实例,页表可能有几十 MB,fork 这一步就可能阻塞主线程 50~100ms。

    这个阻塞在 INFO 的 latest_fork_usec 字段能看到。如果这个值经常超过 100ms,说明实例太大了,要么拆分,要么调整重写频率。

    另外,fork 之后如果主进程写入量很大,COW 会导致大量页面被复制,内存可能短时间翻倍。所以 AOF 重写期间要关注内存水位。

    重写的触发条件

    Redis 提供了两个配置项控制自动重写:

    auto-aof-rewrite-percentage 100
    auto-aof-rewrite-min-size 64mb

    含义是:当 AOF 文件比上次重写后的大小增长了 100%,且绝对大小超过 64MB 时,自动触发重写。

    生产环境建议把 min-size 调大一些(比如 1GB),避免频繁重写带来的 fork 开销。

    AOF 的恢复流程

    Redis 启动时如果发现 AOF 文件存在,就会逐条回放里面的命令来恢复数据。回放速度取决于文件大小和命令复杂度。一个 10GB 的 AOF 文件,恢复可能需要几分钟甚至十几分钟。

    如果 AOF 文件末尾损坏(比如写到一半宕机了),Redis 默认会拒绝启动。可以用 redis-check-aof –fix 工具截断损坏部分,但会丢失最后几条命令。

    实践建议

  • 生产环境用 everysec,这是性能和安全的最佳平衡点。
  • 监控 AOF 文件大小,设置合理的重写阈值,避免文件无限膨胀。
  • 关注 latest_fork_usec,如果 fork 耗时过长,考虑减小实例内存或降低重写频率。
  • 大实例避免频繁重写,fork + COW 的内存开销不容忽视。
  • 定期备份 AOF 文件,虽然 AOF 本身是持久化手段,但文件损坏的风险始终存在。
  • AOF 解决了"不丢数据"的问题,但恢复速度是它的短板。当实例很大时,逐条回放的时间成本很高。这就引出了另一种持久化方案——RDB 内存快照,它用二进制格式保存全量数据,恢复时直接加载,速度快得多。两者配合使用(混合持久化),才是当前的最佳实践。

    在这里插入图片描述

    赞(0)
    未经允许不得转载:171主机测评 » Redis - AOF 日志:宕机了,Redis 如何避免数据丢失
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址