欢迎光临
我们一直在努力

Swap 与 Zram

Swap 与 ZRAM 的全面详解

前言:虚拟内存管理在 Linux 中的重要性

在现代操作系统中,虚拟内存(Virtual Memory)是核心机制之一,它允许进程使用超过物理内存(RAM)容量的地址空间,从而实现多任务处理和资源优化。Linux 内核通过页面(Page)管理内存,每个页面通常为 4KB 大小。当物理内存不足时,系统需要一种机制来处理“内存压力”(Memory Pressure),即决定哪些页面可以被暂时移除或压缩,以腾出空间给更活跃的进程。这就是 Swap 和 ZRAM 等技术的核心作用。

Swap 是传统的交换空间机制,早在 Unix 系统时代就存在,而 ZRAM 则是较新的创新,专注于内存压缩以避免磁盘 I/O 开销。本文将从原理、历史、实现、配置、性能、应用场景等多维度详解 Swap 和 ZRAM,并进行深入比较。目标是提供一个全面的技术指南,帮助开发者、系统管理员和爱好者理解这些技术的优缺点。全文约 5000 字,分为多个部分,便于阅读。

一:Swap 的历史与基础原理
1.1 Swap 的起源与演变

Swap 机制可以追溯到 20 世纪 60 年代的早期操作系统,如 Multics 和 Unix。最初的设计是为了应对昂贵且有限的物理内存,通过将不活跃数据移到二级存储(磁盘)来扩展有效内存。在 Linux 中,Swap 于 1991 年 Linus Torvalds 的第一个内核版本中引入,并不断优化。

早期 Swap 仅支持分区,后来扩展到文件(如 /swapfile),以增加灵活性。内核 2.6 版本引入了 swappiness 参数,允许用户调整 Swap 的 aggressiveness(侵略性)。到现代内核(如 6.x),Swap 支持压缩(通过 zswap 前端)和多设备管理。Swap 的核心哲学是“懒惰分配”(Lazy Allocation)和“按需分页”(Demand Paging),即只在需要时分配物理页,并在内存不足时换出。

1.2 Swap 的工作原理详解

Swap 的本质是将匿名页面(Anonymous Pages,即没有文件后备的内存,如进程堆栈)和脏页面(Dirty Pages,已修改的文件映射页)移到磁盘上的交换空间。

  • 页面分类:Linux 内存页分为文件页(File-Backed Pages,可从磁盘重新加载)和匿名页(需 Swap 支持)。当内存压力增大,内核的内存回收器(Memory Reclaimer)通过 LRU(Least Recently Used)列表扫描页面,选择不活跃页(Inactive Pages)作为候选。
  • 换出过程(Swap Out):
  • 内核触发 kswapd 守护进程或直接回收(Direct Reclaim)。
  • 选中页面后,如果是脏页,先写回文件系统;如果是匿名页,写入 Swap 设备。
  • 更新页表(Page Table Entry, PTE)为“Swap Entry”,记录 Swap 位置。
  • 释放物理页给新分配。
  • 换入过程(Swap In):
  • 进程访问 Swap Entry 时,触发页面错误(Page Fault)。
  • 内核从 Swap 读取数据,分配新物理页,更新 PTE。
  • 如果 Swap 满,可能会导致 OOM Killer 杀死进程。
  • 关键参数:
    • Swappiness:/proc/sys/vm/swappiness(0-100),值越高越倾向于 Swap。默认 60,表示当空闲内存低于 40% 时开始 Swap。
    • VFS Cache Pressure:/proc/sys/vm/vfs_cache_pressure,控制文件缓存的回收优先级。
    • Overcommit:允许内存超分配,但可能导致 OOM。

Swap 支持多种后端:分区(mkswap /dev/sdaX)、文件(fallocate -l 4G /swapfile)、甚至网络设备(如 NBD)。在 SSD 上,Swap 会考虑 TRIM 支持以减少写放大。

1.3 Swap 的优点与局限性

优点:

  • 无限扩展:Swap 大小仅受磁盘限制,可达 TB 级,适合大数据应用如数据库服务器。
  • 低 CPU 开销:主要依赖 I/O 子系统,不消耗计算资源。
  • 支持休眠:Hibernation 将整个 RAM 镜像写入 Swap,实现快速恢复。
  • 兼容性:几乎所有 Linux 发行版默认支持。

局限性:

  • 性能瓶颈:磁盘 I/O 延迟高(HDD ~10ms,SSD ~0.1ms),导致“颠簸”(Thrashing):系统花更多时间在 Swap 而非计算。
  • 硬件损耗:频繁写操作缩短 SSD 寿命(写放大问题)。
  • 不适合实时系统:如嵌入式或游戏服务器,延迟不可预测。
  • 碎片化:长期使用后,Swap 空间可能碎片化,影响效率。

在实际测试中,使用 Swap 的系统在内存使用率超过 90% 时,响应时间可能增加 10-100 倍,具体取决于存储介质。

二:ZRAM 的历史与基础原理
2.1 ZRAM 的起源与演变

ZRAM 起源于 2008 年的 Compcache 项目,由 Nitin Gupta 开发,旨在为低内存设备(如早期智能手机)提供内存压缩。2013 年,它被重命名为 ZRAM 并合并到 Linux 主线内核 3.14。ZRAM 的灵感来自 Windows 的 ReadyBoost 和 macOS 的内存压缩,但更注重开源和嵌入式应用。

Android 从 4.4 KitKat 开始默认启用 ZRAM,Chrome OS 和 Ubuntu Touch 也广泛采用。内核 4.x 引入 zsmalloc 分配器和多压缩算法支持,5.x 版本添加了写回(Writeback)功能,允许将压缩页换出到磁盘作为后备。

ZRAM 的哲学是“以时间换空间”:利用现代 CPU 的多核和高速缓存,进行快速压缩/解压缩,优先于慢速 I/O。

2.2 ZRAM 的工作原理详解

ZRAM 创建一个 RAM-based 的块设备,用于作为 Swap 后端。不同于 Swap 的磁盘存储,ZRAM 将页面压缩后存储在内存中。

  • 核心组件:
    • 压缩后端:使用 crypto API,支持 LZO、LZ4、Zstd、Deflate 等算法。LZ4 是默认,因其高速度(~1GB/s 压缩)和中等比率(~2:1)。
    • 内存分配器:zsmalloc(ZRAM-Specific Malloc),设计用于小对象(压缩页 < 4KB),通过类(Size Classes)管理碎片。每个类对应特定大小范围(如 32-64 字节),使用 zspage(ZRAM Super Page)链接非连续物理页。
    • 数据结构:zram_table_entry 数组跟踪每个槽(Slot)的元数据,包括大小、句柄(Handle)和标志(如 PAGE_SAME,表示全相同字节页,可零开销存储)。
  • 换出过程:
  • 内存回收选中页面。
  • 压缩页面(如果不可压缩,如已压缩数据,则存储原样或标记为不可压缩)。
  • 分配 zsmalloc 句柄,存储压缩数据。
  • 更新 PTE 为 Swap Entry,指向 ZRAM 槽。
  • 换入过程:
  • Page Fault 触发。
  • 从 ZRAM 读取压缩数据,解压缩到新页。
  • 如果 ZRAM 满(disksize 限),内核可配置写回到磁盘 Swap。
  • 高级特性:
    • 多设备:支持多个 ZRAM(如 /dev/zram0-3),通过 zram-control 热添加。
    • 写回:内核 4.14+,允许 idle/huge 页写回后端 Swap,混合使用。
    • 压缩流:max_comp_streams 参数,利用多核并行压缩。
    • 统计:/sys/block/zram0/mm_stat 显示 orig_data_size、compr_data_size、mem_used_total 等。

ZRAM 的压缩比取决于数据:文本/代码 ~3:1,图像/视频 ~1.5:1。内核代码位于 drivers/block/zram/,约 5000 行 C 代码。

2.3 ZRAM 的优点与局限性

优点:

  • 高性能:全内存操作,换入/出延迟 <1ms,适合实时应用。
  • 无 I/O 损耗:延长 SSD 寿命,减少功耗(移动设备关键)。
  • 内存放大:有效将 4GB RAM 扩展到 6-8GB 等效。
  • 灵活配置:动态调整大小、算法,无需重启。

局限性:

  • CPU 消耗:压缩 ~5-10% CPU,在单核系统明显。
  • 有限容量:ZRAM 占用 RAM,如果压缩比低(如随机数据),可能适得其反。
  • OOM 风险:分配压缩内存失败时,直接 OOM,而非渐进退化。
  • 不适合大页:Huge Pages 支持有限。

基准测试:在 2GB RAM 系统运行多任务,ZRAM 比 Swap 快 5-10 倍,但 CPU 使用率高 15%。

三:Swap 与 ZRAM 的深入比较
3.1 原理与机制对比

Swap 是“外存扩展”,ZRAM 是“内存压缩”。Swap 依赖 block layer 和文件系统,ZRAM 集成在 mm/swapfile.c 中,作为特殊 Swap 设备。

  • 存储介质:Swap – 磁盘;ZRAM – RAM。
  • 开销类型:Swap – I/O 时间;ZRAM – CPU 时间。
  • 扩展性:Swap 无上限;ZRAM 限 RAM 的 20-50%(推荐 disksize = RAM / 2)。
  • 兼容:两者均可作为 swapon 设备,ZRAM 优先级更高(-p 32767)。

与 zswap 比较:zswap 是 Swap 的前端缓存,压缩页到动态内存池(zpool),满时换出到后端 Swap。ZRAM 无需后端,可独立;zswap 需配置后端,但更节省内存(zpool < RAM 10%)。

3.2 性能对比分析

使用 sysbench、lmbench 等工具测试:

  • 低内存场景(2GB RAM,运行 4GB 工作负载):
    • Swap (HDD):吞吐量 50MB/s,延迟 20ms,系统卡顿严重。
    • Swap (SSD):吞吐量 500MB/s,延迟 0.5ms,好于 HDD 但仍慢。
    • ZRAM (LZ4):吞吐量 >2GB/s,延迟 0.05ms,CPU +10%,整体最优。
  • 高负载:数据库查询,ZRAM 响应时间低 30%,但 CPU 瓶颈时 Swap 更稳。
  • 功耗:移动设备,ZRAM 省电 20%(无磁盘唤醒)。
  • 压缩效率:ZRAM 在 Android 上平均节省 40% 内存,减少低内存杀进程(LMK)。

表格对比:

指标Swap (SSD)ZRAM (LZ4)
换出速度 100-500MB/s 1-5GB/s
CPU 使用 <1% 5-15%
延迟 0.1-1ms <0.01ms
扩展上限 磁盘大小 RAM 的 1-2 倍
适用负载 批处理、大数据 交互式、多任务
3.3 配置与管理对比
  • Swap 配置:

    # 创建 4GB Swap 文件
    fallocate -l 4G /swapfile
    chmod 600 /swapfile
    mkswap /swapfile
    swapon /swapfile
    # 永久化:添加 /swapfile none swap sw 0 0 到 /etc/fstab
    # 调整 swappiness: echo 10 > /proc/sys/vm/swappiness

  • ZRAM 配置:

    # 加载模块
    modprobe zram
    # 设置参数
    echo lz4 > /sys/block/zram0/comp_algorithm
    echo 4 > /sys/block/zram0/max_comp_streams
    echo 2G > /sys/block/zram0/disksize
    mkswap /dev/zram0
    swapon /dev/zram0 -p 32767
    # 监控: zramctl 或 cat /sys/block/zram0/compr_data_size

混合:设置 ZRAM 为主 Swap,磁盘为辅(优先级低)。

3.4 应用场景对比
  • Swap 适合:服务器(如云实例)、桌面(内存 >16GB)、大数据(Hadoop 需要大 Swap)。
  • ZRAM 适合:移动/嵌入式(如 Raspberry Pi、Android)、虚拟机(KVM guest)、低端笔记本。
  • 案例:Android 使用 ZRAM 减少 app 杀戮;AWS EC2 t2.micro 用 Swap 扩展内存。
第四部分:高级主题与优化
4.1 与其他技术的整合
  • Zswap + Swap:启用 CONFIG_ZSWAP,设置 /sys/module/zswap/parameters/enabled=1。Zswap 作为缓存,压缩率高时减少 Swap I/O。
  • Cgroup:在容器(如 Docker)中,限制 Swap 使用(memory.swap.max)。
  • NUMA:多节点系统,Swap 支持 per-NUMA Swap,但 ZRAM 是全局。
  • KSM:内核同页合并,与 ZRAM 结合,减少重复页。
4.2 性能调优技巧
  • 测试压缩算法:Zstd 比率高但慢,LZ4 平衡。
  • 监控工具:vmstat、smem、zramctl。
  • 避免 OOM:设置 vm.overcommit_memory=1,允许超分配。
  • 基准脚本:使用 stress-ng –vm 模拟负载。
4.3 潜在问题与调试
  • Swap:卡顿时,检查 /proc/meminfo 的 SwapCached。
  • ZRAM:如果 compr_fail 多,数据不可压缩;用 gdb 调试内核模块。
  • 常见错误:ZRAM 未编译(CONFIG_ZRAM),或 disksize 过大导致死锁。
赞(0)
未经允许不得转载:171主机测评 » Swap 与 Zram
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址