端侧多模态模型之LFM3详解：从混合主干到可微调的模型家族-171主机测评

写在前面

【从零走向AGI】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。项目地址🔗：https://github.com/AI-mzq/From-Zero-to-AGI.git

魔方AI空间猫先生从零走向AGI 面试面经

AIGC算法岗/开发岗面试面经交流社群（涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源）欢迎大家加入：https://t.zsxq.com/YtJ09

导读

Liquid AI 于 2026 年 10 月发布 LFM3，一组围绕同一基础模型扩展的开放权重型号，覆盖文本、视觉/视频、音频、全模态与结构化决策。官方主张是按具体任务选择、微调并部署到边缘设备。

LFM3-1.7B-Base 的主干采用三类序列模块混合：门控短卷积、滑动窗口注意力和全局注意力。围绕主干又加入按头门控注意力、部分 RoPE 与 Sandwich Norm。官方称它以 24 层、约 1.7B 参数提供 256K 上下文，并在长上下文和端侧推理上改善前代表现。视觉、音频模型则再接入各自编码器、解码器或 LiquidCodec；d1 系列把生成式回答转为一次前向输出多个带置信度的结构化结果。

猫先生认为，LFM3 的核心取舍是共用语言主干、按模态与任务分支。它可能降低端侧多模态部署门槛，实际价值仍取决于延迟、内存、任务效果和许可证。

发布文章：Build specialized multimodal models with LFM3
官方博客：https://www.liquid.ai/blog/lfm3
Hugging Face 发布文：https://huggingface.co/blog/LiquidAI/lfm3
模型集合：https://huggingface.co/collections/LiquidAI/lfm3
文本模型卡：https://huggingface.co/LiquidAI/LFM3-1.7B
视觉模型卡：https://huggingface.co/LiquidAI/LFM3-VL-2B
音频模型卡：https://huggingface.co/LiquidAI/LFM3-Audio-2B
全模态模型卡：https://huggingface.co/LiquidAI/LFM3-Omni-2B
微调示例：https://github.com/Liquid4All/cookbook/tree/main/finetuning/notebooks

原文脉络

发布文依次介绍主干、六个模型分支、使用场景、单 GPU 微调和机器人案例。它是模型发布与能力说明，不含完整论文式方法与第三方复现；下文沿其结构解释取舍，并将性能数字标作 Liquid AI 报告值。

1. 主干：三类序列模块各自承担不同范围的信息混合

LFM3 的基础模型有 24 层。官方披露的层类型数量为 13 层门控短卷积、5 层滑动窗口注意力（SWA）和 6 层全局注意力。短卷积核大小为 7，高于 LFM2 的 3；SWA 窗口为 256 tokens。发布文章没有给出完整层序列，因此下图仅表达类型与数量，不代表模块的实际排列顺序。

LFM3-1.7B 三类序列模块和配套设计图 1：LFM3 主干由局部卷积、局部注意力与全局注意力组成，并配合三个稳定性/门控设计。根据 Liquid AI 官方发布文章整理，非原始架构图。

短卷积混合相邻 token，SWA 在 256-token 范围内选择信息，全局注意力保留远距离交互。三者组合用来控制长序列成本，同时保留全局关联。Liquid AI 称其硬件在环搜索覆盖手机、Raspberry Pi 5、笔记本、云端 CPU/GPU 和 Qualcomm Hexagon NPU 等 14 种设备/后端组合。

此外，LFM3 使用 head-wise gated attention：每个注意力头的输出乘以 sigmoid 门控，模型可以压低当前不需要的头输出。Liquid AI 将它与减少激活离群值、改善量化联系起来。全局注意力层使用 partial RoPE，只对每个头中频率较高的一半维度施加旋转位置编码；SWA 层仍使用完整 RoPE。Sandwich Norm 则在每个 block 的输入与输出两侧都做归一化，目标是让激活尺度更稳定。

整体设计偏向部署：卷积和局部注意力控制序列成本，全局注意力保留长距信息，门控与归一化面向量化稳定性。各模块的独立贡献仍需消融验证。

官方称，LFM3-1.7B 在短提示的端侧场景中按参数规模匹配 LFM2-1.2B，输入上下文达到 8K tokens 时速度约快 25%。模型卡将基础模型训练量列为总计 22T tokens，其中最后 3.5T tokens 用于 curated data 的 mid-training，增加 Agent 轨迹与工具调用数据，并把上下文扩到 256K。

2. 共享底座：按模态和任务拆出六个分支

LFM3-1.7B-Base 是共同起点，但各产品分支并不都只是“同一模型换个名字”。视觉/视频分支加入视觉编码器；音频分支有音频编码器、音频解码器和 LiquidCodec；Omni 同时处理视觉与音频；d1 则针对结构化决策输出。选择型号时，输入、输出和任务形态比“全都用 Omni”更重要。

LFM3 六个模型分支与输入输出图 2：LFM3-1.7B-Base 向文本、视觉/视频、音频、全模态和决策任务扩展。根据 Liquid AI 官方发布文章整理，非原始架构图。

型号输入 → 输出主要定位

LFM3-1.7B	文本 → 文本	本地 Agent、工具调用、结构化生成与领域微调
LFM3-VL-2B	文本、图像、视频 → 文本	端侧视觉理解、视频问答与空间感知
LFM3-Audio-2B	文本、音频 → 文本、语音	语音交互、识别、合成、音频理解与工具调用
LFM3-Omni-2B	文本、图像、视频、音频 → 文本、语音	一个模型处理视听混合输入并流式回复
d1-2B	文本、图像、视频 → 结构化答案	一次前向回答多个判定、分类或评分问题
d1-Omni-2B	文本、图像、视频、音频 → 结构化答案	将全模态输入映射到带置信度的决策结果

2.1 视觉与视频：降低编码成本并缩短时间序列

LFM3 的视觉编码器由卷积与注意力组成。Liquid AI 报告其参数量为 164M；在相同的 LFM2.5-230M 语言主干条件下，编码器精度匹配 Qwen3.5-2B 的视觉编码器，FLOPs 少 2.2 倍；相较此前 LFM VL 使用的 SigLIP2 编码器，计算量约为三分之一。视频输入时，每对采样帧被嵌入到一个 temporal slice，官方称这能把时间序列长度减半。

这种设计压低视觉输入的 token 与计算开销。发布文没有完整列出分辨率、采帧和硬件条件，跨模型 benchmark 还使用各自推荐的预处理，比较时需对齐设置。

2.2 音频与 Omni：因果输入和流式语音生成

音频编码器把滑动窗口注意力与短卷积结合，并采用因果结构，模型可以在用户仍说话时开始 prefill。官方称首 token 延迟最低可到 50ms。LiquidCodec 将生成 token 解码为语音；发布文报告在 Apple M4 Max 单 CPU 线程上达到约 87 倍实时速度，并支持流式解码。LFM3-Audio 面向 18 种语言的语音识别、合成与翻译，还能把口语指令转成工具调用。

LFM3-Omni 把文本、图像、视频和音频输入放在同一个模型中，输出文本或语音。模型卡的评测表显示，Liquid AI 在 Daily-Omni、WorldSense、AV-SpeakerBench 等视频加音频理解测试中报告了与数个更大模型的比较结果；但在 OCR、视频、语音和图像等不同任务上并非全面领先。Omni 的价值更适合从“减少多模型拼装、保持流式视听交互”理解，而不是把它看作所有模态榜单上的通吃模型。

2.3 d1：把自由生成改成一次前向的多问题决策

d1 系列面向工单分流、票据字段、界面状态或语音请求等需要稳定结构的任务。调用方一次传入若干命名问题，例如是否退款、由哪个团队处理、包含哪些主题、紧急程度如何；模型通过一次 system_one 前向返回相应答案和置信度。这样做可减少逐个问题调用模型的开销，也更容易把结果交给后续业务逻辑。

它解决的是输出接口问题，并不自动保证判断正确。置信度是否校准、阈值如何按业务错误成本选择，仍应由使用者在自己的数据上评估。模型卡把 d1-2B 在 ImajevBench 的结果列为 75.5，高于 d1-3B 的 64.0；这属于发布方报告的特定基准结果，不等同于生产环境准确率。

3. Agent 与端侧推理：模型小只是条件之一

LFM3-1.7B 主打本地 Agent、工具调用和 256K 上下文。模型卡报告 WebArena-Verified 为 38.42，而 LFM2.5-2.6B 为 3.02；多个 agent benchmark 上也报告了相对前代的提升。需要结合评测说明理解：这些测试使用 vLLM、BF16 和模型各自的完整上下文设置；WebArena-Verified 最多运行 40 步。Agent 成绩还会受到工具接口、执行框架、成功判据与重试策略影响，不能直接等同“装上模型就能可靠操作浏览器”。

官方称 4-bit 权重约占 1GB，但运行还需 KV cache、激活和多模态输入缓存。256K 是上下文上限，不代表手机能以该长度低延迟运行。模型卡报告的 32K 端侧速度来自特定设备、Q4_0 量化与 llama.cpp 配置，不能脱离这些条件比较。

4. 单 GPU 微调：将通用模型变成专用模型

发布文章列出的微调方式包括 SFT、DPO、GRPO 和继续预训练 CPT，覆盖文本、视觉、音频与 Omni 型号。案例包括从混乱文档抽取 JSON、基于检索内容作答或拒答、在 108 个手机工具中选择调用、训练新语言、读取票据图片，以及把语音家居指令映射为函数调用。

“单 GPU 可微调”降低了起步门槛，但不等于任意型号都能在任意显存的消费级显卡上完成训练。实际需求还依赖序列长度、分辨率、batch size、优化器状态、精度、LoRA/全参策略和数据管线。Liquid AI 发布了 Colab notebook，但上线前仍需用目标硬件复测显存峰值、吞吐、微调前后回归与量化质量。

5. 机器人案例：从视觉理解扩展到规划和动作块

Liquid AI 展示了基于 LFM3-VL-2B 构建的机器人模型组合。高层 orchestrator 通过工具定位物体、查询深度、调用运动规划器，再读取新相机图像检查结果；navigator 根据路线描述与最近 RGB 观测预测空间目标和 waypoint；manipulation VLA 则以图像、语言和机器人状态为输入，一次前向生成 8 步连续动作块。

官方报告该 VLA 联合 15 种 embodiment 训练，在四个 LIBERO 套件上的平均成功率为 96.2%，在 RoboCasa-GR1 桌面任务上为 45.7%；在 Jetson AGX Orin 上以 TensorRT FP16 生成动作块用时低于 50ms。这说明小型多模态底座可能覆盖从感知到低层控制的不同环节，但目前这些数字来自发布文章中的案例介绍。文章没有给出足够完整的数据构成、任务协议、失败分析与第三方复现实验，所以不能据此推断它已经在开放真实环境中具备通用机器人能力。

6. 如何读懂这次发布的证据与边界

LFM3 的公开材料主要回答了三个问题：主干由什么组成、模型家族怎样分工、官方示例在哪些任务上可用。对架构与产品形态的说明较具体；性能证据则依赖 Liquid AI 自己给出的基准和设备测试。模型卡也注明了评测由 Liquid AI 测量，且模型使用各自的 chat template、提示格式以及图像/视频预处理。复现或横向比较时应优先固定输入分辨率、采帧、提示、解码参数、硬件和推理后端。

官方称 LFM3 为 open-weight，Hugging Face 模型卡列出 LFM Open License v1.0。更准确的中文是“开放权重”，不能据此推断训练数据、完整训练流水线和所有工程组件都已开源；商用、再分发和衍生模型使用前还应逐条检查许可证。

对部署者来说，最实用的选择顺序是先明确输入与输出，再决定是否需要视听统一模型：纯文本 Agent 先评估 LFM3-1.7B；视频理解优先看 VL；需要实时语音输入输出再测 Audio 或 Omni；固定格式的多字段判断可试 d1。之后用自己的设备和数据测精度、延迟、内存、量化损失与失败模式，而不是仅凭型号参数或发布榜单选型。

总结：LFM3 把端侧小模型做成可组合、可专化的产品线

LFM3 的技术路线可以概括为三点：主干用卷积、局部注意力和全局注意力分摊序列建模成本；模态分支按视觉、音频、Omni 与决策任务增加专用组件；微调与量化部署则把模型交给具体场景继续适配。它的意义在于让“端侧多模态”不再只是一项大模型压缩任务，而是模型结构、模态编码器、生成接口和工具链共同设计的问题。

目前最值得继续观察的是：官方报告的效率与基准成绩能否由社区在同口径下复现；真实设备上长上下文和多模态缓存的内存成本是多少；单 GPU 微调在什么资源边界内成立；以及 open-weight 许可允许哪些部署与再分发方式。把这几项验证清楚，才能判断 LFM3 对某个实际产品是否比“一个更大的通用模型”更合适。

端侧多模态模型之LFM3详解：从混合主干到可微调的模型家族

写在前面

导读