欢迎光临
我们一直在努力

Agent 执行层选型:Nemotron 3.5 Lightning 拆解与路由实测

Agent 执行层选型:Nemotron 3.5 Lightning 拆解与路由实测

原文:OpenRouter Blog – 《What Is Nemotron 3.5 Lightning? Specs, Context, and API》(https://openrouter.ai/blog/insights/nemotron-3-5-lightning)

一个 Agent 跑完一次任务,模型调用的数量分布是很不均的。真正难的那一次调用在开头:读懂仓库、想清楚要改什么、定下实施计划。剩下的是几十次更窄的调用——读一个文件、选一个工具、拼参数、校验结果、改一行、决定下一步做什么。

如果这几十次调用全部交给前沿推理模型,成本会随运行时长线性放大。NVIDIA 的 Nemotron 3.5 Lightning 就是冲这部分来的:一款开放权重的 MoE 模型,定位在 Agent 的"执行层"。这篇把它和同门的大模型放在一起对比,并把路由降本的实测数据与端点级别的坑讲清楚。

一、先看这个模型被设计来干什么

官方给出的定位句很直白:一个 Agent 可能为了规划任务做一次困难的调用,然后为了把任务执行下去再做几十次调用;后面这些调用会读文件、挑工具、校验结果、决定下一步。Lightning 就是为工作流里这个高频的部分造的。

对应的适配特征是四条:Agent 调用次数多、延迟或成本会在整轮里累积;每次调用目标清晰、上下文足够完成任务;需要工具调用、指令遵循或者返回结构化数据;希望拿到可以针对领域或部署目标自行定制的开放权重。

一个具体例子:编码 Agent 用更大的推理模型检查仓库、决定实施方案,然后由 Lightning 负责"定位符号、改一个文件、跑一个工具、解释结果"这类单步动作。把"执行步骤"和"复杂推理"拆给两个模型,是这套选型的核心思路。

二、30B-A3B 到底是什么意思

Lightning 是一个稀疏 MoE 模型:总共 300 亿参数,但并不是每个 token 都跑全部专家,路由器会为每个 token 选一小部分专家,30B-A3B 指的是 300 亿总参数、每个 token 约激活 30 亿。

这个设计的收益是:它比同激活量的稠密模型有更大的总容量,又不必为每个 token 跑满 300 亿参数,于是把"相对大的权重文件"和"高频调用所需的吞吐"凑到了一起。

但这里有个容易误解的点:活跃参数不等于完整的算力与显存规格。整个模型仍然要被存下来,共享层在推理时同样要跑;真实硬件需求取决于精度、上下文长度、推理引擎、批处理和缓存配置。

架构上它不是纯 Transformer 栈:模型卡描述的是 Mamba-2 与 MoE 层交错、外加部分注意力层;支持可配置推理;还带多 token 预测和两个用于投机解码的 drafter(DSpark 与 DFlash),并提供一个为推理调优的 NVFP4 checkpoint。

三、Lightning 与 Ultra:定位、规格与价格

NVIDIA 从 Nemotron 3 Ultra 蒸馏出了 Lightning,但两者不可互换。Ultra 负责复杂推理与编排,Lightning 负责高频执行。下面是 OpenRouter 在 2026 年 9 月 11 日快照下的对比:

维度Nemotron 3.5 LightningNemotron 3 Ultra
总参数 30B 550B
激活参数 3B 55B
主要角色 高频执行与专门任务 复杂推理与编排
上下文(平台侧) 262,144 token(所有当前供应商) 202,800–262,144 token,因供应商而异
工具调用 4 家标准供应商中 2 家列出 每家都列出
结构化输出 标准模型 4 家全部列出 4 家中 1 家列出
输入价格 $0.065–$0.10 / 百万 token $0.50–$0.625 / 百万 token
输出价格 $0.18–$0.25 / 百万 token $2.20–$3.125 / 百万 token

价格一栏已经说明问题:同样的输出量,Lightning 的单价大约只有 Ultra 的十分之一量级。

NVIDIA 官方还给了两条性能口径:Lightning 能达到同规模开放模型最高 4 倍的吞吐;在官方的 PinchBench 测试里,它以相近准确率把 10,000 个 Agent 任务跑快了最多 30%。这两条都是厂商自测口径,实际吞吐和任务完成率要在自己的工作负载上复测,不能直接当结论用。

四、端点差异:模型卡上的 1M 上下文不等于你能用到

这是最容易踩的坑,也是"对比模型"时最该看的一段。

模型层面 Lightning 支持最长 100 万 token 上下文(依 NVIDIA 模型卡),但应用真正能拿到多少取决于服务它的端点。在 2026 年 9 月 11 日,标准模型 ID 背后每一家供应商暴露的都是 262,144 token 上下文,完成上限在 32,768 到 235,929 之间因供应商而异。标准端点只给 262144 token,模型层的 100 万 token 只在免费端点上开放,而免费端点的完成上限是 65,536 token。

免费端点和标准端点还有三处功能差异,选型时都会咬人:

  • 免费端点列出了工具调用,但不列出结构化输出相关的参数,需要 JSON 返回时只能自己校验;
  • 免费端点带 NVIDIA 的提示:使用会被记录用于安全目的与改进产品服务,并要求不要上传机密信息或个人数据,所以它适合评测和低量实验,不适合生产;
  • 在免费端点跑通的请求,换到标准端点可能直接超上下文上限。

还有一个更隐蔽的差异:同一个模型 ID 在不同供应商那里支持的能力并不一致。默认情况下,平台会优先选择支持你传的 tools 与结构化输出参数的供应商,而不支持某个参数的供应商会静默忽略它——你收到 200 响应,但参数根本没生效。require_parameters 设为 true,请求才会被限制在支持全部参数的供应商上。

五、最小调用

一个带参数门控、工具调用与结构化输出的请求(官方文档示例的整理版,SDK 以官方文档为准):

from openai import OpenAI

client = OpenAI(
base_url="https://openrouter.ai/api/v1",
api_key="<YOUR_OPENROUTER_KEY>",
)

resp = client.chat.completions.create(
# 执行层用的小模型;想先试免费端点可改成 nvidia/nemotron-3.5-lightning:free
model="nvidia/nemotron-3.5-lightning",
messages=[
{"role": "system", "content": "你是仓库里的执行 Agent,每次只做一步,返回结构化结果。"},
{"role": "user", "content": "在 src/config 下找到读取超时时间的函数,返回文件与行号。"},
],
tools=[{
"type": "function",
"function": {
"name": "read_file",
"description": "读取仓库内文件的一段内容",
"parameters": {
"type": "object",
"properties": {
"path": {"type": "string"},
"start_line": {"type": "integer"},
"end_line": {"type": "integer"},
},
"required": ["path"],
},
},
}],
response_format={"type": "json_object"}, # 免费端点不支持,那里要去掉
extra_body={
# 只路由到同时支持 tools 与 response_format 的供应商,
# 避免参数被静默忽略
"provider": {"require_parameters": True},
},
)

print(resp.choices[0].message.tool_calls or resp.choices[0].message.content)

几个参数和返回值的含义值得单独说:

  • model:换 nvidia/nemotron-3.5-lightning:free 可试免费端点;模型 ID 后缀还有两个变体,Nitro 按吞吐给供应商排序,Exacto 偏好工具调用质量信号更强的供应商。对一个专门为延迟和工具使用而选的模型,这两个变体值得知道。
  • tools 与 tool_choice:这两个参数被列出后,模型就可以放进 Agent 循环里使用,由 harness 负责执行工具、把结果写回下一轮请求。
  • response_format:要求 JSON 输出时要用它;如果走免费端点,要删掉这个字段并自己校验 JSON。
  • require_parameters:本段最重要的一个开关,作用见上一节。
  • 返回值:模型可能只返回 tool_calls(要你去执行工具),也可能直接返回 content(普通文本)。执行层调用通常以前者为主,因为它做的是"选工具 + 填参数"。

六、路由:执行步骤下沉能省多少,代价是什么

选型之后,真正影响账单的是"哪些调用路由到哪个模型"。官方给了三种做法:

  • 平台侧 Auto Router:直接把模型 ID 传 openrouter/auto,由它先给提示词分类,再按任务类型、模型能力、工具支持与成本选模型;cost_tier 用来限定成本档位(low 到 max),但它不会把一次会话从便宜模型升级到更贵的模型;如果只想在 Lightning 与 Ultra 之间选,用 allowed_models 限制候选。
  • 自建编排层:NVIDIA 的 NeMo Switchyard 是开源编排层,它的 escalation router 让每次会话从更低成本的模型开始,由一个 LLM judge 在检测到持续困难时把会话升级到更强的模型。
  • 自己写策略:按调用类型静态分配,比如规划走大模型、执行走小模型。

路由到底省多少?OpenRouter 引用了 LangChain 的一组评测:在 145 个多步 Agent 任务上,在 Lightning 与 Claude Opus 4.8 之间做路由,成本比"全部走前沿模型"的基线降低 74%,代价是准确率低约 6 个百分点,同时只有约 7% 的调用被送到前沿模型。要注意这条数据的边界:它是"Lightning + 前沿模型"的组合结果,不是 Lightning 与 Ultra 组合的基准,换到自己的任务上必须重测。

这里可以提炼一个不对称的结论:真正的判断标准是完整一轮的成本与成功率。便宜的单次调用如果导致 Agent 重复执行、或者频繁触发升级,省下来的钱会被吃回去。官方文档给的验证方法也是这个顺序——自建评测集,量任务成功率、重试次数、延迟和整轮总成本。

七、哪些调用适合下沉,哪些不适合

文档里给的区分标准是"调用的难度与后果":

适合下沉到执行层小模型的:

  • 目标明确、范围清晰,例如定位一个符号、改一个文件、执行一个工具、解释一次工具返回;
  • 需要工具调用、指令遵循或者结构化输出,而不是开放式的长文本推理;
  • 重复频率足够高,延迟与成本会在整轮里累积。

应该留给大模型的:

  • 需要在模糊问题上做深入推理的步骤;
  • 为一条长工作流产出计划的步骤;
  • 决策一旦做错、回头代价很高的步骤。

一句话概括官方口径:不需要给整个 Agent 只配一个模型,把复杂调用路由给大模型、把高频执行调用路由给小模型,然后测量这种混合是否真的改善了"每个完成任务的成本"而没有牺牲可靠性。

八、本地部署与许可

如果要自托管,先看权重形态:NVIDIA 发布了 BF16 参考权重,以及优化过的 NVFP4 与 GGUF 版本,许可为 OpenMDW-1.1。BF16 参考 checkpoint 面向单张 80GB 的 H100 或 A100;NVFP4 与 GGUF 版本面向 RTX 5090、RTX PRO 6000、DGX Spark 这类本地硬件。具体精度、上下文与引擎配置下的显存占用,要以 NVIDIA 当前模型卡为准,本文不替官方承诺硬件下限。

一个实用的顺序:先用平台端点做选型评测(免费端点跑通行为、标准端点跑量),确认"哪些调用下沉"有效之后,再决定要不要为了成本或数据边界去自托管。

九、小结

把这篇当成一次 Agent 模型选型的完整演练更合适:先按"调用分布"确定需要什么样的模型(高频、范围清晰、要工具调用与结构化输出),再按"定位与价格"在两个同门模型之间分工(30B-A3B 做执行、550B 做推理与编排),最后按"端点能力"和"路由实测"把账算清楚。

三个最容易被忽略的点再强调一次:模型层的上下文不等于端点给你的上下文;同一个模型 ID 在不同供应商那里支持的能力不同,必要时用参数门控把请求限死;便宜的调用只有在不引发重复与频繁升级时才是真的便宜。价格、端点限制与功能支持都可能随供应商变化,落地前请以官方模型页与文档为准。

赞(0)
未经允许不得转载:171主机测评 » Agent 执行层选型:Nemotron 3.5 Lightning 拆解与路由实测
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址