端侧推理防爆内存：Linux Cgroups v2 内存控制器的硬限制与 OOM 规避

端侧推理防爆内存：Linux Cgroups v2 内存控制器的硬限制与 OOM 规避

在将 3B 到 8B 规模的量化大语言模型（如 Qwen2.5-3B-Instruct-GGUF / Llama-3-8B）部署在工控机、边缘网关或机器人车载计算单元（如 Jetson Orin、RK3588、x86 边缘主机）时，最让系统工程师头疼的不是推理速度慢，而是突发 OOM（Out Of Memory）直接导致系统崩溃或核心业务守护进程被 Linux 内核无情击杀。

端侧环境的典型特征是：物理内存极其有限（通常只有 8GB 或 16GB，还要与 NPU/GPU 共享统一内存），同时系统上往往还跑着实时控制、视频推流、传感器数据采集等高优先级任务。一旦推理进程因为上下文突发（Context Length 飙到 8K/16K）导致 KV Cache 暴涨，内核的 oom-killer 就会介入。

本文从 Linux 内存子系统与 Cgroups v2 出发，深入剖析如何构建多层内存水线防御，做到推理限流降级而不伤及系统大局。

一、 核心痛点与 Linux 内存分配陷阱

在端侧大模型推理（基于 llama.cpp 或 ONNX Runtime）时，内存分配有两大隐藏炸弹：

[ 物理总内存: 8GB (统一内存) ]
│
┌───────────────────────────────┴───────────────────────────────┐
▼ ▼
[ 核心控制与传感器采集系统 ] [ 端侧 LLM 推理服务 ]
优先级: 最高 优先级: 可降级
内存配额: 保证 2GB 内存上限: 严格限制 4.5GB
oom_score_adj: -1000 (免死金牌) Cgroups v2 memory.max / memory.high

二、 Cgroups v2 内存控制器多级水线配置

相比 Cgroups v1 混乱的多层级树状结构，Cgroups v2 统一了层级，并提供了更加精准平滑的内存调节接口：

• memory.min：内存绝对保护线。低于此水线内核永远不会回收，绝对不会发生 OOM。
• memory.low：软保护线。在没有全局内存压力时，内核尽量不回收。
• memory.high：限流降频线（Throttling Line）。一旦超过该阈值，内核不会直接杀进程，而是会通过强行把该进程挂起（Throttled）并执行前台直接内存回收（Direct Reclaim），同时向监听 epoll 的用户态发送通知。
• memory.max：硬绝对上限（Hard Limit）。超过且无法回收时，触发 cgroup 级别的 OOM。
• memory.oom.group：设置为 1 时，若发生 OOM，杀死该组内所有关联进程，防止残留孤儿僵尸进程占用锁。

实战配置脚本：构建隔离环境

#!/usr/bin/env bash
set -euo pipefail

CGROUP_PATH="/sys/fs/cgroup/ai_inference"

# 1. 创建推理专用 cgroup
mkdir -p "${CGROUP_PATH}"

# 2. 启用内存与 CPU 控制器
echo "+memory +cpu" > /sys/fs/cgroup/cgroup.subtree_control

# 3. 设置内存配额 (以 8GB 物理内存主机为例，分配 4.5GB 给 LLM)
# memory.high: 4GB 触发内核前台回收与限流
echo "4294967296" > "${CGROUP_PATH}/memory.high"
# memory.max: 4.8GB 绝对硬上限
echo "5153960755" > "${CGROUP_PATH}/memory.max"

# 4. 开启组 OOM 联动击杀，杜绝驱动悬挂
echo "1" > "${CGROUP_PATH}/memory.oom.group"

# 5. 禁用该组的 Swap 滥用 (防止推理进程把权重换入 Swap 导致帧率暴跌成幻灯片)
echo "0" > "${CGROUP_PATH}/memory.swap.max"

echo "Cgroups v2 内存防御配置完成: ${CGROUP_PATH}"

三、 用户态 OOM 避险：epoll 监听 memory.events

直接等内核 OOM-killer 拔网线是最粗暴的手段。优秀的端侧架构应该在内存触碰 memory.high 时，主动裁剪 KV Cache、降低并发 Batch Size 或拒绝新请求。

在 Linux 5.x/6.x 中，可以通过监测 memory.events 的 high 字段实现毫秒级反应：

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/epoll.h>
#include <string.h>

#define EVENT_FILE "/sys/fs/cgroup/ai_inference/memory.events"

void trigger_graceful_degradation(void) {
// 业务降级逻辑：例如通知 llama.cpp 丢弃最早的 25% KV Cache 上下文
fprintf(stderr, "[WARN] 触发内存告警水线！正在执行 KV Cache 主动缩容与请求拒绝…\\n");
}

int main(void) {
int fd = open(EVENT_FILE, O_RDONLY);
if (fd < 0) {
perror("打开 memory.events 失败");
return EXIT_FAILURE;
}

int epoll_fd = epoll_create1(0);
struct epoll_event ev;
ev.events = EPOLLPRI | EPOLLERR;
ev.data.fd = fd;

if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, fd, &ev) < 0) {
perror("epoll_ctl 添加失败");
close(fd);
return EXIT_FAILURE;
}

printf("开始监听 Cgroups v2 内存压力事件…\\n");
struct epoll_event events[1];

while (1) {
int nfds = epoll_wait(epoll_fd, events, 1, -1);
if (nfds > 0) {
char buffer[512];
lseek(fd, 0, SEEK_SET);
ssize_t bytes_read = read(fd, buffer, sizeof(buffer) – 1);
if (bytes_read > 0) {
buffer[bytes_read] = '\\0';
// 检查是否有 high 或 oom 计数递增
if (strstr(buffer, "high ") != NULL) {
trigger_graceful_degradation();
}
}
}
}

close(fd);
close(epoll_fd);
return EXIT_SUCCESS;
}

四、 进程避险：设置 oom_score_adj

对于系统核心控制服务与守护进程（Daemon），必须在启动时锁定免死金牌，避免被误杀：

# 将关键服务 (如传感器接入驱动、主控制 Loop) 的 oom_score_adj 设为 -1000 (禁止被 OOM Killer 选中)
echo -1000 > /proc/$(pgrep -f "core_robot_controller")/oom_score_adj

# 将端侧推理 Worker 设为极易回收 (分值调高到 800，确保如果必须死，优先死推理进程)
echo 800 > /proc/$(pgrep -f "llama_server")/oom_score_adj

五、 架构权衡矩阵